旦那が不倫しています。相手には子供も出来たようです。 何度も離婚話が出ました。旦那は悪怯れる様子も無く、子供を置いて早く出て行ってくれと私に言ってきます。

仲が悪くても4人で一緒に過ごしたい、は間違いです。
お子さん達は、親がどれほどの問題を抱えているのかまだ理解していません。今まであったものが無くなるのがただ嫌なんです。
そんな状態で両親が一緒にいたら、子供達が自分の家の家庭環境が悪いと認識した時、悪い影響が出てきます。
シングル親でも前向きに生きている親の姿を見て育てば問題ないです。むしろその方が真っ直ぐ育つでしょう。父親がいなくて寂しい瞬間もたくさんあるでしょうが、その父親と暮らす方が辛い思いをするだろうと、私は思います。
もう一度言います。仲が悪くても4人で一緒に過ごしたい、は間違いです。
仲良く3人で暮らしてください。