女性が多い職場に勤めてる男です。女性が苦手なので女性同僚とは仕事に関係しない会話はほとんどしません。一緒に仕事をしてる女同僚とはそれで問題ないのですが、知人レベ

どうあれば納得できるのでしょうか？

自分も女性の多い職場で働いてたことがあります。ですが、あんな働きにくい職場はもう２度と働きたくないですね。そこの仕事自体は好きだったので別の同じ業界の職場に転職もしたんですが、やはりそこも似たようなところでどうしても自分には合いませんでした。

そういう職場で働いてる男性も、やっぱりそういうところで働いてるだけあって似たようなタイプが多くて、嫉妬や妬みで入ったばかりでほぼ初対面の自分に対して嫌味を言われたのを覚えています。

その知人がなぜそういう態度になったかなんて本人以外誰もわかりませんよ。本人でさえ自覚ないかも。
それよりも、主さんは堂々と今の職場で主さんの目指す働き方を貫けばいいと思いますよ。