弟がわたしのことを「アタマがおかしい。」とか「き◯がい」とか言います。どうしたらおかしいと言われなくなりますか？それとも、わたしは本当にアタマがおかしいんですか

実際に発達障害のテストを受けたのでしょうか。
お医者様は病気ではないとおっしゃってますが、それはつまり一般の人が言う「あいつくるくるパー」みたいなイメージの病気のことを言ってるのであって、障害ではないとははっきり言われてないのでは…
発達障害、発達グレーでも、生まれ育ってきた環境との相乗効果でひどくズレてる人もいれば、療養で言われなければわからないくらいの人もいて、つまりは環境に依存してその様子は変わるわけでしょう。お医者様にご家族のこと(単語で話すなど)も言っていた場合、安直に育った環境だと言っちゃってるのでは？