人格に難ありな妻を見捨てても人として許されますか？

まだ幼い連れ子の次男と、実子である三男についてはそれを心配しています。
妻方の家の悪影響は次世代へ次世代へと受け継がれ長男までモロに波及しているし、長女も女の子だから大人しく目立ちにくいだけで独特で変わった子だから、社会に出てから、彼氏や夫が出来た際などに何か弊害が表れそうな気がします。
次男は6歳でまだこれから普通に教育していけば間に合うんじゃないか？という可能性は感じます。
実子である三男にはあんな自己中で人に思いやりのない、人を傷つけたり、犯罪をして相手を不当に傷つけたりするような人間に育って欲しくないので、妻が育てるのは不安です。
しかし、幼児期から第二次成長期あたりまで男児には理屈よりは母親の女性的なものを感じて育った方がいいかもしれない。
自分も父親の存在の役割に助けられたのは思春期以降だったので、
幼児期に俺いらんかも等と思っています。