管理職ですが、もともと人づきあいが苦手で、無口な性格です。 飲み会の席でそのことを指摘され、存在感がないというふうにも言われました。 今の職場が向いていない

それは無口とは言いません。

無関心です。

管理職なのに、部下の事に無関心で会議で意見も言えない。
部下に変な気を使わせる。

なのに、飲み会で部下に指摘されたら自己主張。
管理職辞めたら？

頼りにならない上司だと、部下の中で裏のボスみたいな人が出来て、そのうち主さんの指示に従わないようになります。
んで、主さんが居なくなって新しい人がきてもそれは変わらずで大変厄介な部署になる。
そうなる前に辞めたらどうですか？

と中間管理職をしている私は思います。