妻が浮気をしたのですが、ちょっと特殊なパターンなので、相手の男から慰謝料を取るかどうか悩んでいます。 ちゃんとした意見が欲しいので正直に書きます。

>>僕にも非があるのは承知ですが、だからといってやっていい事とそうでない事ってありますよね。

これはあなたにも言えますよね？
離婚する気ないなら、今回はお互い様という事で水に流したらどうですか？
あなたに１つも非が無いなら理解出来るけど、全く非があるのに奥さん側の男性だけがおとがめ食らうっておかしくないですか？
こういう事が後から尾を引いて奥さんと上手くいかなくなる可能性があるから、あなたも何もしないで引き下がった方が身の為だと思います。