家族愛てどうなんでしょうか？ 私は５０代の男ですが、自分で言うのもなんですが、 今まで苦労しながらも頑張ってきたと思います。 過去　私の父が借金をして破産

浮気だと話は変わっては来ますが。

男性の怒ったときの大声、モラハラは、
男性が思っている以上に、家族や奥さんを苦しめます。
怒っているから大声になる、、
大声にならないように怒ればよかったのにと思います。
ほぼ怒らず溜め込むとありますが、怒る時は声が大きく、モラハラと言われるなら、態度で不機嫌を表したり、上からのモノ言い、考えを押し付けてはなかったでしょうか？？
やる方は気がつかなくても、やられる方は、怒らせないように、細心の気を使わなければならないです。
単身赴任でコミニュケーションが少なかったとのことなので、たまに帰って来た時、ご自身の話をえんえんされて、ご家族はそれを聞くだけ、それを仲良しの良い家族と捉えられていたのかも、と感じたりしました。
主様のように、裸一貫、一代で財を作る方は、知らず知らずそれをすごいと思い、考えを押し付ける傾向にある方が多いです。
（主様がどうかはわかりませんが、わたしの周りにはです）
辛い時の事は忘れようと言う考えや、ラインでみんな元気？と送られていたとの事ですが、明るく前向きは良い事かも知れませんが、ご家族、奥様の心に沿っていたり、共感はされていたのかな？とも思いました。
単身赴任を長くしていた夫が定年後家にいるようになってから、妻は原因不明の痛みが出る＝夫源病になる方と話しをすると、夫は全く気持ちをわかってくれない、と、せつせつとおっしゃいます。これからこの生活が続くなんて、ゾッとする、と。
まあこう思うのは、多くの日本の妻に共通するかも知れませんが。
離婚まで考える、そこに20年前のご実家の破産の話しが出るなら、そこからの年月、奥様は、相当にしんどい思いをされて過ごされてきたのに気がつかない主様との差が出ているのでは？とも思いました。

妻や家庭からの目線でいろいろ書いてしまいました。
もしまだ、関係改善の余地があるなら、
奥様と話し合って、後悔のない選択になることを願っております。