勝手に他人のせいにする人にうんざり。 駅で障害者（奇声を上げるタイプの人）…

勝手に他人のせいにする人にうんざり。

駅で障害者（奇声を上げるタイプの人）がそばにいた時、周囲の人になぜか私が睨まれた。
職場で席の隣の人が問題行動を起こした時、なぜ止めなかったのかと私が注意された。
出席必須のPTA会合（数あわせ会合）に、同じクラス委員のママが欠席。PTA会長からそのママの欠席は私の責任だから、私が他の誰かを連れてこいと言われた。

私関係ないし知らないし、なんならお前の責任だろう？私に言うなよ。と思うのですが、私の見た目や話し方が責任を押し付けやすいのかもしれないと最近思うようになりました。
責任を押し付けらないようにするにはどうしたらいいですか？