私は20才です。40代後半の男性とお付き合をしています。すごく優しく、包容力があり、色々相談に乗ってもらっているうちに、仲良くなり夕方に待ち合わせして飲みに行き

お話できて良かった。
主さんが思うのは好きに思って構いません。
私が不倫相手は実は奥さんに話して何かいないよ。と主さんに言ってもそれは私の予測にしかならないから、だから私は主さんの想いは否定しません。

現実的な話をしますね。
慰謝料は婚姻年数が長く、子供が居て、離婚が絡むと高くつきますよ。
この場合だと、離婚＝不倫を認めるなので、主さんは金銭的な痛みを伴います。相手ももちろん慰謝料をとられます。(不倫をした2人それぞれに慰謝料の請求がきます)
あと、不倫相手は２人分の養育費も徴収されます。
不倫をしてしまうとその後一緒になるにしてもお金が無くなってじり貧の生活になる可能性が高いのです。