不倫？

なぜ既婚者を選んでしまったのでしょうね。

もし、家庭の無い人ならば会ってみれば良いと言っているところです。

例え体目的だったとしても、それだけ主さんの気持ちをひきつけ続けてくれたなら、有り難い事ですよね。主さんが後悔しなければいいだけのことです。
逆に言えば、既婚者であるという事も含め、実際に会うに至るまでの魅力が相手になかったとも言えますが。

もう答えも出ているようですが、付き合いのあった期間に感謝して先に進んでいいと思います。主さんの出した答えで良いと思います。