夫35、私40、私の連子14才、夫婦の子3才４年ほど前に夫が浮気しました（肉体関係無食事のみ、下心は認めた）私は不妊治療中だった事もあり心身共にボロボロにな

No.45さんに同意です。

私、2才年下の夫と18才の娘を連れて再婚して5年経過した者なんですが
いまのところ家族関係は良好？です。夫に実子はいません。
毎日幸せで ラッキーだったな、 と思うこともありますが、夫と娘と私みんながみんなお互いに思いやり気づかいと努力を忘れずに暮らしていると思っています。
母子家庭が長かったので、まだみんなで作り上げた というよりも私と娘ががっちりつながっているところに夫が入ってきた感じです。最初はお客さま感覚だったのが、娘が働き出して 最近は協力し合ってなかなか家族らしくなってきたような気がしています。
お金のことを言うと、大学卒業までの学費と自宅購入までは私が支払い、生活費やレジャー費用、将来の貯金等は夫が払っています。夫には自分名義の実家のローンが別途ありますが（それを嫌じゃないか？と人によくきかれますが）特に気にしていません。
私（たち親子）としては
おかげさまでおいしいごはんが食べられて、きれいな洋服が着られて、この人のおかげで 幸せだな、という気持ちがあるので、私も娘もよくお礼の言葉を口にします。
毎日いっしょに生活をしていても、感謝と気づかいの言葉しか出てこないんです。
そういえば夫もです。

主さんがどこかで間違ってしまったとしたら
それはやはり下のお子さんを不妊治療をしてまで持たれたことではないかと正直思います。不自然になにかを強行すれば、どこかで歪みが出るのだと思います。
あとは毎日の暮らしで少しずつずれていったのでは。
これから先修復するのはかなり難しいと思います。
離婚して、主さんと上のお子さんと下のお子さん 3人でがんばった方が良いと思います。