職場である人の声を聞くだけで、イライラしてしまいます。 確かにそんなに好きじゃないですが、別にすごく嫌いってわけでもないです。 なんかすごく疲れるというか、

共感します。
私も嫌な人います。声自体が苦手です。
私語はないんですが、とにかく声が大きくて…。注意してもらったのですがだめでした。
まあ、6割方外に出てるので、なんとか耐えてます。

在宅とかはできないですか？
また、話している内容が、私語であれば注意してもらえるかもしれません。
あとは、外に出てぼそっと「本当に【自主規制】」って言って発散してます。
その仕事を続けたいなら、カウンセラーに通ってみるのもいいかもしれません。
保険適用のカウンセリングも増えてきています。
最終手段は転職ですね。
ご参考までに。