僕は、軽度の発達障害があります。 ところが、通行人に頻繁に顔を背けられたり、店員さんにも素っ気ない態度をされます。 敬遠もされてしまい、どうも不審者扱い

「優しそう」というのはどういうところで判断されているのかわかりませんが、見知らぬ通行人が顔を背けるのは、もしかして主さんがその人の目を見てしまっているからじゃないですか？
私なら、前方から歩いてくる知らない人が自分の目をガン見してきたら思わず顔をそむけてしまうと思います。
人と話すときもそうですが、直接相手の目を見るのではなく、相手の鼻ぐらいを見たほうがいいと聞いたことがあります。

知らない人が反応するなら何か客観的な原因があるはずです。
その原因さえ突き止められれば、必ず対処法は見つけられるはずです。
自分を責めたり落ち込んだりする必要はないですよ。
「誰かに避けられる」と気が付いて治そうとすることは、健常者でも普通にする努力です。
自分を否定したり気にしすぎちゃだめですよ。