Взяли на воспитание двух малолетних детей, через месяц муж ушёл, потому что дети стали его раздражать. Как поступить?

Христос Воскресе!
Подскажите пожалуйста, незнаю, что делать.
Взяли в приемную семью двоих детишек 2 и 3 года, через месяц муж, понял, что не может их воспитывать(они его очень сильно раздражают, он гневается на них, обижает) и ушел от нас. Ставит мне условие, чтобы я вернула детей и тогда он ко мне вернется (отказаться от детей, я даже мысли такой не допускаю, они уже со мной 6 месяцев, стали родными), сама подавать на развод не хочу, да и времени сейчас нет (работа и воспитание моих малышей), но муж требует от меня или, чтобы я вернула детей и мы будем вместе , или, чтобы подала на развод и его освободила, сам не хочет идти разводиться (говорит не хочет нарушать клятву),брак у нас не венчанный. Как поступить правильно? Посоветуйте. Пробовали, чтобы он приходил в гости, постепенно попробовал привыкнуть к детям, терпит какое-то время, а потом снова начинает обижать их, обзывать, они уже его боятся. Спаси Вас Господи!
...........................................
Светлана В. , г.Тверь - (S71)