妻の浮気(本気)相手に会うべきか

子供のことは妻や双方の親、弁護士と相談して決めたいと思います。
自分が育てていきたいけど、自分一人では現実的に無理。
子供のことを考えると、親権だけはもらって普段は妻と一緒に暮らすのがいいのかなとも思います。
でも、だんだん時が経って浮気相手が家に入り込むようになると、“息子の気持ちが不安定になるから”とか言って、会えなくなるような気がする。
そうならないような形にしたいんですが。。。
ホント息子に申し訳ない。