そんなに悪い事なのですか

彼は今、51歳ですか。ご両親が健在であれば、結婚後間もなく介護問題が発生します。
介護と育児の両立は、ハッキリ言って大変です。

また、あと10年で彼は退職。
お子さんの養育費用はどうされますか？ 20年後、主さんは44歳、彼は71歳。
子供が成人する前に、第二の介護生活が始まる可能性もあります。主さんのご両親も同時に弱って来る頃でしょう。

結婚するにしても、女性としての悦び（セックス）と子供を諦めざるを得ない状況になるかもしれません。
年の差があっても幸せに暮らしているご夫婦もいらっしゃいます。でも、不倫→結婚のように少数派であることは否めません。