25さん。お言葉ですがこれは不貞行為です。

家庭にとっての世間体的には大変なことです。
堅い職場なら左遷ですよ。彼は主さんに感情が無く、一過性のものだとしても場合によっては他人の家庭を壊す重大な出来事です。感情が無ければ罪にならないと仰ってるようなものですよ。

現に何度か関係を迫っています。人の一生を左右する行為です。心配無いとか何を根拠に？軽く考えないほうがいいと思います。