自分が仕事が忙しくてあんまり家族と会えないのですが、休みの日に会えば加齢臭臭いとかガンガン言われ、マジ無理まで言われ、それ以外はほとんど誰かとLINEしてます。

別れる前提でなんで言ってるの？
離婚した場合主さんが引き取ればいいだけじゃないかな?
私の彼の両親も主さんのような状況で、お父さんが彼を育てましたよ。お父さん似の優しいでもちょっと不器用な大人ですよ。彼は。
不倫女に女に子供は任せられないと、お父さんは立派に育て上げました。
そして、不倫女に子育てさせたら子供も不幸になりそうです。知らないお父さんとスグにでも、暮らし始めるでしょうね。

後は探偵の人に妻の行動を依頼して、調査させ、証拠を掴んでおきましょう。証拠結果から、今後どうするかも考えられるし、離婚の決定的な証拠としても、主さんが有利になる為の調査依頼です。
また、同時に妹さんの旦那様の行動も伺えると思いますよ。