他部署の既婚男性と仲が良く、毎日ではないですが、話すタイミングがあれば延々と世間話をしたり、毒を吐いてからかいあったりしています。 ある日後輩女性と恋愛話にな

あなたもその男性も、嬉しそうに楽しそうに話してたのでしょう。
あなたはそういうつもりが無くても、人が見たらそう見えた、という事です。

その後輩女性が言った、付き合ってるのかと思った、って発言はあなたに対する嫌みだと思うのですが。

既婚男と不倫してる女、と思われていたわけですから。

世間話を延々としていたり、からかいあったり…　お昼休み？　じゃなければどんな職場？
人がおかしく思うのも当然だと思います。