皆さんが会社を辞める・辞めたくなる理由を教えて下さい(>_<)

私の場合は、普通の職場じゃなくて、A型事業所で利用者として、働くための訓練をする所で就労しているのですが、辞めたいと思った事が何度も…
指導員（上司）の方と合わない。
仕事中に女子更衣室を５分間で掃除する様に言われる。
同じ利用者さんとのトラブルで相談したら、人間関係が理由で、休んだり辞めたりは、ありえませんと言われる。
「次の日、休むかも知れないです。」
と言ったら、
「それは、僕に対するおどしですか！？」
と言われ、逆に自分がおどされた気持ちになり、この方に２度と相談しない事を決意しました。
相談した事をとても後悔し、とても落ち込み、次の日それが理由で休もうと思いましたが、怖くてやめました。
私もだいたい皆さんと同じ理由で、会社を辞める理由って人間関係が理由な事が多いと思うのですね。
けど、この指導員の方は、そんなことは、僕は、ありえないと言い放ち、真っ向から私の話を否定してくる。
正直、辞めたいです。
けど、普通の職場ならまだしも、A型事業所の利用者、辞めるのも辞めにくいみたいです。
利用者さんとの話によると…
ちなみに、その指導員の方、パワハラされても、休んだり辞めたりは、ありえないと言っております。
私は、精神的にしんどくなる前に、逃げて転職してもいいと思っているのですが…