私には旦那がいますが色んなことが重なり愛情はもうありません。 さらに私は現在単身赴任中で、よく職場の人たちと飲みに行くのですがその中の1人と一線を超えてしまっ

あなた同様に割り切った関係でワンナイトを過ごしただけ。またSEX出来る機会があるようなら繰り返すだけ。

【男は性欲から体の関係を持ちたがり…女性は情から体の関係を繋ぎたくなります。】

ですから、彼に情がわいてしまい…あなたは今、悩んでいるのだと思います。
対して、その彼は特に何も考えてません。
彼女以外に自身の性欲を満たす女性が現れた、お互いに本来のパートーナーがいるし進展するものでもないし別にこのままでいいだろう、という感覚です。

今後は、そのあたりを頭に入れて、特定の男に情がわかないように、割り切った関係を保てるならワンナイトでもツーナイトでも男を変えてみるなり、あなたの好きにしたらいいと思います。
そのうち、不倫とか気にしなくなり、どうせ、この男も性欲を満たしたいだけなんだろう、と割り切ったSEXにあなたの思考も変わることでしょう。
そんなふしだらな女には成りたくない、と思うようなら…自身が人妻であることを再確認し、行動を改めましょう。
また、すでに旦那に愛情がないようなら…これから先、自分はどうしたいのか？を考えて下さい。体の関係を持ってしまった彼について悩むより、そちらを先ず悩んで下さい。
あなたは単身赴任してなくても、愛「情」がないから旦那とあなたとはSEXしたくないだろうし、旦那とは今後も繋がりたくないのです。
紙で繋がってるだけの旦那ではなく、情で繋がり合いたい男性を見つけてみるのもあなたの人生ですし、このままでも勿論自由です。