根にもつにもほどがある

傷ついた方は覚えていて傷つけていた方は忘れているってことはよくある話なのでややこしいですね
そういう場合、傷つけた側はそんな些細な事をいつまでもってなってしまいますが傷ついた側は憎い憎くないは別として傷つける事をいう人扱いは当然ですでにそういう関係ができあがってると思います

ですが
相手の言う状況自体が思い当たらない事なので相手の人の人間違いの可能性が十分にあり
挨拶はしたことがあったりと全く可能性がないことが微妙ですね

その場でうまく勘違いかどうか確認が出来ていればよかったのですが
お仕事上問題がないなら
ご主人に確認をして
その上で様子をみてみるのがいいのかなと思います