職場の同僚等との会話でいつも名前(話題)が出て来る人がいます。本人が休みの日でも盛り上がる位です。 名前(話題)が出て来るからと言って悪い意味で出て来る訳では

その人と仲良くしている人伝えにでも良いですから、｢自分はそんな事をしていない。｣とハッキリ伝えるべきです。

その様な問題は、放置して時間が経てば経つほどより面倒になっていきます。
もし人伝えが無理なら、｢お願いします！話を聞いてください！！｣と引き留めて(最終手段ですが…)でも言った方が良いです。

貴方とその人の対立構造が職場に出来た!
と周囲に認識されるだけでも、段々と空気が悪くなっていきますし、それが貴方の評価にも繋がってきかねません。