同じ職場の男性（20代）と数日前に 肉体関係になりました。 お互い既婚者です。 半年程前からグループで飲みに行ったりしていくうちに 好意を持ってくれ

再です。そうですね、いきなり返信しなかったら仕事もやりにくくなるかもしれないので、何かしら関係に終わりを告げてからの方がいいかもしれませんね。そんなに重くしたくなければ、「この間、気持ちに応えてしまったけど、やっぱりこういうの良くないと思った、会う約束してたけど、やめておこう。また機会があったら皆で飲みに行こう」くらいかなあ。
というかその人って、主さんのことが気になってることを同僚に相談してたんですよね？そしたら、同僚にはやれたってことは言ってるだろうし、このまま関係を続ければ広まるのも時間の問題だと思います。すぐに手を引くことをお勧めします。