40代です。 不倫はやっぱり最後は女性が傷つくのは合っていますか？

不倫は年に一回でいいなら不倫関係でなく、一度きりの相手を探す方がいいかと。

深入り拒否してますが、独身相手を選んだからでは？
主さんは既婚者だから割り切るつもりでも相手は既婚者とわかってたとしても独身なので本気になる可能性は充分ありますし。

今が辛いのは相手がのめり込もうとしてるからですか？

ダルイなら別れて年に一回程度の相手をお探しならアプリで沢山いると思いますよ。