職場の9割がアニメやゲームのオタクで肩身が狭いです。 デスク周りにアニメグッズを置いてたり、化粧や服に全く興味がなく髪もボサボサかペタペタしてて若干変なニオイ

陰口ぐらいならって思うけど、いい年した（年齢分かりませんが）大人がこそこそ陰口ってまあ気持ち悪いですね。
職種が不明ですが、９割というほぼ１００％の人たちがアニメやゲームのオタクというと、アニメやゲームに関連する仕事ですか？
それならそういう人たちが多いのは仕方ないけど、だからと言ってアニメ等に詳しくない主さんのことを好き勝手に言うのは違いますよね。ましてや、プライベートなことも話したことがないのなら。

まあ、オタクに限らず妬み僻みであることないこと言う人はいるし現に主さんも彼ら？彼女ら？のこと書いてますし。
大体どの職場でも人間関係のことは付き物な中、それでも主さんは嫌にもなりながらお母様にも相談せず仕事に行かれてすごいです。
私はとある人の裏の顔を知り、今まで騙されてたことが分かり長く勤めていた職場を辞めた経験があります。

上司や上司の上の人たちには相談できますか？
あまりにも酷く、更に主さんが耐えられないようになったら転職を考えることもおすすめします。
お母様の介護で地元に戻ったということなので、もし主さんに何かあったら大変です。

でもお母様の心配も分かりますが、主さんのご自身のことも見てくださいね。