人を避けてしまう

Webデザイナー、ちゃんと資格もあり手に職があると
別の仕事にも役立ちますよね。

女性が多い職場は特に気を遣わないとやっていけないことが多いですよね。
私も３年間、毎日お昼を一緒に女性同士過ごしてましたが 本当に窮屈になり、一緒に食べてもテンションが上がらず、顔も引きつってしまうので陰で何を言われてもいい覚悟で、抜けてしまいました。

案の定関係は悪くなってしまいましたが それでもいいと思ってる自分がいます。今までは合わせたり気を遣って嫌われることを恐れて振舞ってましたが
急に気が抜けて、 本当に陰で何を言われてようが構わないです。
ですが今までこういう状況に自分がなったことがないので、よく噂されていたような人に自分がなっていることに
違和感を感じながら会社で過ごしています。
家に帰ったら忙しくはないのに身体もボロボロになる程疲れ、朝起きてもぐったりしています。

転職活動をする元気が今はなく、かといってこのまま会社に行くのも周りに対して申し訳ない気持ちで葛藤しています。
会社に対して失礼ですよね？
もう辞め時ということでしょうか？