不倫した(かなり長文です。)

辛いですよね。
離婚したいという感じも受けないので…

罪悪感のようなもの、男として奥さんに受け入れてもらえなかったこと…
その辺が不倫出来ない要因なのかも。

あなたが思っているよりも相当奥さんに受け入れてもらえず、夫婦関係を維持しようと努力したけど無駄だったことが傷となっていると思います。

またその不倫相手に拒絶というか、出来ないから仕方ないわねっていう風になったら傷は深まるだけだと思います。

解決方法は別にあるような気がしますね。
奥さんと仲良く自分も受け入れてもらえ添い遂げる事が出来るように話あってはどうでしょう？
不倫する、前に別れる覚悟はあるのか…奥さんに突きつけてみては？