自分はアスペだったらしいと判明しました。 そのうえで改めて過去のことを思い返すと、あのとき相手はこう受け取ってたのかとか、こう思ってたのかとわかってきました。

基本的にマイノリティが悪いということになりやすい気がします。
世界的に見れば日本人みたいなタイプがマイノリティかもしれませんが、日本という国単位で見ればアスペルガーや外国人の方がマイノリティなのでしょう。
本当は互いに分かり合ってうまく共存できたらいいのですが、主さんのおっしゃる「ガツガツしてて怖い」←→「ろくに話さずに勝手に妄想してきて怖い」のように、互いに相手に対して苦手意識があるから、マジョリティマイノリティで優劣が生まれてしまうのかなと思います。