妻の不倫

元々の原因がどうとかいう域を超えてますね、奥さんの態度は。

お子さんが気掛かりなのは当然でしょう。母親を取り上げる決断は大変だろうし、そんな母親に任せるのも不安。
父親放棄にも抵抗が強いはずです。

ダメ元で奥さんと離婚を含めた将来の話をしてみませんか？
まともな会話にならない可能性もありますが、相手の考えは見えてくるかもです。

男の場合、嫁に浮気されたなんて相談はかなりし辛いもんですからね、ここにスレ立ててる時点で限界近いと想像します。

どうするにも、腹を据える必要がありますよ。話して、気力絞って決断です。
これしか言えません。