客観的に見て彼ってクズですか？ 彼、既婚、単身赴任、４２歳、子ども1人。 私３０歳、子なしバツイチ。 不倫関係1年くらいになります。 付き合った頃から彼

クズかと問われているので、回答すると確かにクズだと思います。
しかし主観的に主さんの為になっているかというと、確かに心を豊かに楽しくしてくれる人なんだろうなと思います。でもそれはご自身でおっしゃる通り、問題山積な上、目標としている結婚が叶うのかというと難しいところです。失う物は多いですし、実際相手の奥様が離婚に応じてくれない可能性だってあるのはその通りだと思うので。
とにかく現状主さんには別の心の拠り所や、広く周りを見る視野が必要なのだと思います。
他の男性と出会ってみても良いと思いますし、趣味ややり甲斐を感じる何かを見つけると、精神の均衡が保て、少しずつ彼から心を離す準備が整っていきます。
いきなり彼と別れるのが怖いとお思いでしたら、少しずつ彼と離れる準備をしていきましょう。
デメリットを多く知りつつ離れられないのは一種の依存や中毒です。この恋は病気と言われても仕方ない事なのかと思うと、異常性の把握や踏ん切りがつくかもしれません。
病気を乗り越えるように、少しずつ彼から離れる努力をしてみる事をおすすめします。