思い返せば小さいころから他人からの当たりがやたら強いなあと感じていました。 最初は小4のときです。連絡ノートを親に見せるのを忘れてしまい担任に別室に連れていか

主さんは感情表現が乏しいタイプではないですか？表情があまり変わらず一見落ち着いてるように見えるというか。

そういう人がうっかりミスをすると「やる気が無い」「不真面目」「仕事を舐めてる」と勘違いされがちです。
内心真面目で一生懸命でも、焦ったりいっぱいいっぱいになっていても、それが周りに伝わっていないのです。
テキパキ動いて感情表現も豊かな人から見ると、『やる気が無い人間』というのはイライラしてしまうのでしょう。（たとえ誤解であってもそういうレッテルを貼られたら嫌われる、という事です）

それとADHDというのは診断が出てるという事でしょうか？もし実際に発達障害があるのなら誤解はさらに加速していくと思います。

改善策になるかはわかりませんが、とにかく今より他者と関わって主さんの事をよく知ってもらう事が必要かと思います。
もしくは割り切って、仕事を変える際かなり単純な作業のもの（工場のライン系など）やほとんど毎日一人で勤務するもの（クリーニングの受付など）を選ぶと良いのではないでしょうか。

新しく趣味などを始めるのもオススメです。仕事以外の場なら責められる場面も少ないでしょうし、新しく友人が出来たり居場所を見つけたりすると自己肯定感が高まりますよ。