「優しい」と言われるのが嫌です。自分で自分のことを優しいと感じたことはありませんし、むしろ冷淡な方だと思います。優しいと言われるとその人には優しい私でいなくては

僕もよく優しいって言われるから主さんの気持ちはよくわかります。お前らに俺の何がわかるんだよｗって感じがしますね。怒ったことある？とか言われるけど、お前の言葉に怒ってるわって心の中で思ってます。怒ったことがないとしたらそいつは人間じゃねえよ。

まあ、とはいえ、こちらがそういう振舞い方をしてるであろうことは事実。
何でも言われた事を引き受けるとか、相手の発言を一切否定しないで共感するとか、周りに敵を作りたくないのもあるし、ただ良かれと思ってやってるだけの事が裏目に出たりするんですよね。
一番手っ取り早いのは、ドン引きされる位にあなたの冷淡な部分をそのまま出すことですね。それを見たら二度と優しいとか言われなくなると思うし。
まあ、そこまではできなくとも、ちょっとイラっとした時に、軽く態度に出すだけでも、(この人もこんな風に怒る事あるんだな…)って思ってもらえるかもしれませんね。