｢自分がされたら嫌でしょ？｣｢自分だってこうされたくないでしょ？｣と言われること、大抵別に嫌じゃないからそう思えないんです。 かといって｢私は何とも思わないの

「いいえ私は平気です」では、相手に不快な思いをさせたことに対する謝意は皆無ですよね。
問題は主さんがほかの人が嫌なことがわからないことより、嫌だと主張されてるのに反省しないことだと思いますよ。

「すみません、私は平気だったものですから気づかなくて。以後気をつけます」と返事して、理解できないまでも実際心がけることができれば摩擦も減ると思うんですけどね。