平気で不倫してる人に腹が立つ

不倫も浮気も、マナーというものがあると思うのです。
配偶者の心を傷つけない、もしも傷つけたら全力で補償する、それが結婚という契約の意味の一つです。
ですから、いわゆる浮気不倫の当事者は外の恋人の存在を家庭には持ち込まず、また事情があってやむを得ず存在を知らせてしまったら双方にできる限りの償いをするのです。

しかしそれは、円滑な家庭生活には必要な苦痛ではありません。無駄な苦痛は人生の損です。
ですから一般に、浮気や不倫はやめなさいと言われるのです。

稀に特殊な仕事に就いている人でどうしても家庭外に異性関係を持たなければならない人もいますが、そういう人は配偶者に対しては大変気を使うものです。
私の親戚で、仕事柄ホステスさんと関係を持っていた人がいましたが、彼はその高い収入で妻に何枚も高級な着物を買ってあげて機嫌を取っていたそうです。

しかしこれはあくまでも特例。
日本では家庭は一夫一婦から始まるので、その家庭を壊さない努力は恋愛の当事者は惜しむべきではないのではないかと思います。
お子さんがいたら、さらに責任は重くなるのではないでしょうか。