Можно открыть депозит в Kaspi.kz по внутреннему паспорту другой страны?

Нет. Граждане другой страны могут открыть депозит только по заграничному паспорту.
 

Внутренний паспорт другой страны не является документом, удостоверяющим личность, в Республике Казахстан.