知的障害者の兄に両親が外出するときわざと障害者です！と主張するような服を着させます。 兄は重度で中身は3歳児以下で意味のある言葉は話せず奇声をあげたりしますが

わざとなのでは？

見た目でヤバそうなら近寄らないもの。知らない近づいて来ないようにしてるんだと。
もし、不用意に近付いてお兄さんが通行人に害をなしてしまったら、責任を取らなきゃいけないのはご両親ですので。主さんは、責任とれるの？って事になってしまいます。
ご両親は、一目で障害者だと分かるようにして、それでも近付いてしまって人は、害を加えられても文句言えないだろって考え方なんでしょう。

主さんは、優しい人ですね。
言い分は分かります。