Я могу отказаться от конвертации в приложении Kaspi Pay, если сделка уже состоялась?

Нет. Сделка проводится онлайн. При необходимости вы можете провести обратную конвертацию.