Я могу в Kaspi Pay открыть счет в иностранной валюте без счета в теңге?

Нет. Для открытия валютного счета и совершения валютных операций необходимо наличие Счета Kaspi Pay.