障害者枠雇用の部下の相手がしんどいです。 精神障害が1人、身体障害が1人、健常者3人の部下がいます。 自分の手持ちの仕事もしながら、部下の状況把握したり

おっしゃる通りです。
でもそれを声を大にして言うと、虐待だとか差別だとかこちらが悪者にされてしまうでしょうね。弱者という味方が強いからなのか。それこそ差別な気もしますが。
誰だって得手不得手はあるし、特別な存在でもなく同じ人間なので、そこはお互い支え合えば良いわけですし。
私も障害持ってる方のために余計な負担が増えて、だからって給料が変わるわけでもないし、相手から当たり前感覚で感謝されるわけでもないし、むしろ怒鳴りつけられてパワハラ発言されることもありました。でも言い返すことはできなかった。周りの特別扱いしてる雰囲気はあったし、障害者だから言っちゃいけないような空気があったから。
それでも上司は、私は○○さんに対してもちゃんと言う時は言ってたけどって言い訳してましたけど。