自分の柔軟で寛容的な考え方に最低限のラインを設けたいと思っています。 私は人と接する際、常に相手の心境やバックグラウンドを考慮しています。 例えば相手が攻撃

思考停止に陥ろうとしてはいけませんよ。
画一的なラインを引けば楽なように思えるのかもしれませんけど、それはきっと自分の感情を無視してるし結局ストレスに繋がるやり方だと思います。

自分でおっしゃる通り、もっとちゃんと自分の感情を見つめて、自分の損得を考えて発言すれば良いと思います。

好き嫌いとか、楽しいか苦痛かとか。

人付き合いする中で、ある人を相手には１０点まで許せることが、ある人には３点も許したくない。
なんて、えこひいきする人いますけど。

それが人の自然な気持ちではありませんか？

そもそもどうして他人の顔色を見るのでしょうか？
本当に相手のためですか？
相手が喜ぶという状況を、嬉しいと感じられる人なら。そういう悩み方はしない気がします。

質問主さんは自分のため、保身のためにやっているのではありませんか？
責めているわけではありませんよ。
そんなの珍しくもない、多くの人がやっていることですから。

ただそうした自分の動機をちゃんと見つめて把握できていれば、今よりもっと自分に気持ちの良い人付き合いのやり方にもたどり着けるのではないでしょうか？

つまりしっかり損得や貸し借りを考えて、相手とフェアになるか自分が得するように考えれば良いだけ。