同じ職場の既婚男性(40歳)と不倫関係になりました。彼は単身赴任中、子供が3人います。大切にしたい、愛してる、ずっと一緒にいたい。実家には帰りたくない。などなど

その選択は正解ですね。単身赴任で 寂しくて 独身気分を満喫したいんですね。
愛してるや ずっと一緒など甘い言葉は 何の責任も真実もない
不倫の名文句あるあるです。
騙されないで。依存しないで。

直接話すと また甘い言葉で引き戻されそうで心配です。
きっと単身赴任が終わると
次第に連絡も減り フェードアウトされると思います。
傷つく前に 奥さんにバレて騒ぎになる前に 終わる方が 自身の為だと思います。