同じ職場の男性（20代）と数日前に 肉体関係になりました。 お互い既婚者です。 半年程前からグループで飲みに行ったりしていくうちに 好意を持ってくれ

その行為をしたあとあからさまに冷めた態度なら、行為がイマイチだったことも考えられますが、それならその場の雰囲気で主さんもわかるはずだと思うので、雰囲気が良かったなら行為自体には問題なかったとは思います。
身近な人と関係を持ってしまってやらかしたなと思ってる、罪悪感や後悔を感じているか、行為をしたことがゴールになったかですかねー。既婚の身でありながら職場の既婚女性に手を出したことについて、リスクを感じているのかも。だとしたら、主さんよりは冷静に考えられているかもしれませんね。

とりあえず、社内不倫は身近な関係性であれば周りにバレますので、１回きりでやめておいたほうがいいですよ。本人達が知らないところで、気づく人が異変に気づいて噂になります。