職場の悩みです。 今働いている職場に、とても苦手な人がいます。どのくらいかと言うと顔を見るのも声を聞くのも、存在を認知するのも嫌というレベルです。たぶん人間的

私もやたらプライベートに踏み込んでこようとする人やパーソナルスペースが近い人は、不愉快ですね。主さんのように、なるべく最低限でって気持ちになるのわかります。
ただ他の回答者さんも仰るように、周囲が悟るくらいの態度は、むしろ最低限を通り越して“避けてる”ようにも見えるのかな？と。またそういった態度は、冷たい人間として映ってしまって主さんにとって損になるのではないかと、自分に重ね合わせてみて思いました。

難しいですよね。自分を傷つける人や不愉快な人から、守ろうと思えば思うほど。
感じ方も人それぞれですし。

仕事以外で世間話とかはしなくていいと思うし、主さんもしたくないだろうから、その代わり仕事中に必要最低限+αとかを意識してみてはどうですか？
その+αは主さんの無理のない範囲で。
例えば天気の話題や花粉の話題、「昨日大変だったね」「今日は○○したら、早く帰ろう」など