私だけ誘われないのが嫌です。 皆で飲みに行ったとか 遊びに行ったという話を聞くと 複雑な気持ちになります。 自分だけが誘われないのが とても嫌

普段のコミュニケーションの度合いによると思います。
主さんは飲みや遊びに誘って貰えるくらい職場の方々とコミュニケーション取っていますか？プライベートの話をどの程度行っていますか？
それが分からないとなんとも言えません。

主さんはそう言った交流を嫌う人と思われて、配慮から誘わない可能性もありますし。あえて誘わないだけかも知らない。
どうしても気になるようなら主さん主催で飲みや遊びに誘ってみてはどうですか？1度一緒に過ごしたら次から誘われると思います。