友達関係…自分が嫌！

彼が主さんをけなす←「飲まない、ユーモアがない云々」などと言われた件の事です。
どう思われてるのか、友達として平温でいられるかについては、
彼は職場で数少ない女性を自分に振り向かせることで、まわりの仲間達に威張りたいのではないでしょうか。
対抗心でいっぱいの男性によく見られる行動です。
あと好意はあまりないと思います。
なぜなら男性の多くが、本当に好きな女性にはもうすこし甘く優しいからです。
友達として円満に続けるには、今のように愛想だけ良くしつつ、誘いはやんわりと断り続けるなら大丈夫だと思いますよ。