主人の同僚が再婚。同じ社宅に。

たしかに良い気分ではありませんね。
しかし、その２人は不倫から発展したのでしょうか？
相手の女性は子供を置いて来てるのですか？
もし違うなら、あまり偏見は持たないであげてください。
どんな過去があろうと主さんには関係ない事ですよ。
その女性の人となりを見て判断したらいいと思います。
社宅で偏見の目で見られたら辛いでしょうし、昔のおばちゃんみたいに人の過去などで他人を判断するなんて若い主さんには止めてもらいたいです。