容姿に対する悪口を言われると、結構引きずるタイプです。気にしない人はどういうふうに考えているのでしょうか？

容姿に関する悪口は言われたことはありません。
もし言われたら、付き合いをやめるので、そういう人は身近にはいません。
主さんも我慢するのではなく、関わる相手を選びましょう。
いちいち怒って絶縁宣言とかする必要はないと思うけど（バカバカしいし）
次回からよそよそしくしたり、極力避ける、話をしないなど
その人の言葉が届かない程度に距離を取ったらいいと思います。