みなさんはこういうことありますか？ 他部署の女性で、たまに社内で見かけたら挨拶する程度の関係。仕事でほとんど関わることはなく、ごくたまに連絡事項のやり取り

主様、そうだったんですね。
気が付かぬうちに相手に不快な思いをさせていた、無礼を働いていた、の可能性が思い浮かんだんですがその線は薄そうですね。

私は女性ですが、昔働いてた会社で私にだけ嫌味を言ったり意地悪してくる男性がいて、一度喧嘩になったことがありました。その男性には嫌悪感一杯で態度にも出てしまってたかと思います。
他には思い出す限りではないですね。

想像する範囲であるとしたら、上の方もおっしゃってますがあまりに匂いとか、不潔だと反射的に顔に出てしまうと思います。

あとは、社内であなたに関する悪い噂が広まっていて、それを信じてしまってるとか。一例ですが、不倫してるとか。
でもこれに関しては、直接話したときに自分に対して感じが良い方なら、私なら噂は気にしないですね。