私は気が弱いため、いつも気が強い人から攻撃されます。心の中では強がって｢なんなのアイツ！むかつく｣って思いますが、本人目の前にすると勇気がでず、言い返すこともで

以前テレビで言ってましたが、例えば隣の席の人に心の中で「嫌い」と言っていたら必ず関係は悪くなるんだそうです。
心の声であっても自然と伝わると踏まえて考えたらわかりやすいかもしれません。
それと家族でと考えたらわかりやすいかも、叱られた時に「なんだその目は、言いたいことがあれば言いなさい」の状況だと思います。
職場だから、まずはわからない事はひとつひとつ無くすことが良いと思いますよ。
聞きやすい人に聞くこと、聞いて教えてくれないなら上司に相談です。
その場合は、主さんには落ち度はありませんから状況を説明して辞めたら良いですよ。
言い返せないのは、主さんの伝え方かもしれませんよね？仕事上疑問になれば相手が何か言ったとして質問で返せるようになると思います。
「なぜでしょう？」や「何か問題ありましたか？」で伝えてもいいと思います。
仕事で自信が付くと気持ちも楽になると思うんです。
それでも悪く言われるんならば、上司に相談することとダメなら転職も視野に入れたら良いと思いますよ。
主さんの良さがありますなら、自信なくさなくて大丈夫だと思います。
職場の相性もありますから、やるだけやってみて無理なら辞めたら良いんですよ。