ガチな質問です。 調子に乗ってる訳じゃないです。 自分、男ですが格別にカッコいい訳じゃありませんが…、一部の女性に驚くほどモテます。 それって何なのか

臆病なところはその通りだと思います。
臆病プラス、やたら常識とか体裁は気にしてしまいます。
ですから、ハッキリとNO！が言えない部分はありますね。

特にどんな形でも人からの好意的な感情を突き返すのは、相手への優しさと言うより、自分を守るために言いにくいのが本音です。

何でも許せるという訳ではありませんが、可能な限り譲歩するという性格でしょうか。
それがこの様な事態を引き起こしてるかもしれないですが、それを変えるのは難しいです。
人格そのものを変えるのと同じなので…。