Kaspi.kz может снимать деньги с моих депозитов при просрочке по кредитам?

Да. Kaspi.kz может списать деньги за просрочку по кредитам с вашего депозита до неснижаемой суммы. 

Закон Республики Казахстан от 31 августа 1995 года № 2444 "О банках и банковской деятельности в Республике Казахстан"