障害まで行く場合は障害者雇用プラス年金や生活保護で暮らしていきます。
ただ、社会人になって正社員ですかね？働けているのであれば自分が悪いと言うよりはボロクソ言ってくる人間のほうがおかしいです。
とりあえず病院やカウンセリングで相談すると自分の考えが整理されると思います。
自分の場合、対人恐怖がひどすぎて仕事が続かないので通院してます。

言い忘れました
なので、心配や不安が尽きないのなら、信頼できる病院を受診するのは何の問題も無いと思いますよ

えーと、「変な人、頭がおかしい人と、ボロクソ文句を言われます。でも直接は言われてません」
落ち着いて？
被害妄想だったりしませんか？考えすぎだったりしませんか？
今は人並みにお仕事できているんですよね？

正直、何年経っても人並みに仕事が出来るようにならない人も、割りといるんで十分頑張っていると思いますよ？
まぁ、別に病院にいって、診断が出ても会社に伝えたりしなければ、障害者雇用になるわけではありません
さらに、障害者雇用に変わった所で別に賃金が下がるわけでもないです。今までと同等の仕事が出来るのであれば、不当に賃金を下げる事は問題ですし、そのためにも障害者雇用助成金などがあるんですから
それこそ、障害者雇用率制度がありますので、民間などでは戦力になる上にその枠を埋めてくれて喜ばれるかもしれません