苦手な人がいて、関わらない方がお互いのためと思い、上司に来月１日だけ接触する日があるのですが、その日私のシフトを無くして他の人に頼めないか、相談してしまいました

おはようございます。3です。
私の場合はその人とは週2回ほどしか顔を会わせないですが、基本的には1人で仕事を進めてます。
自分は自分ですし、3人体制で仕事をまわしていますのでその方に関わるなら仕事を進めた方が全然いいです。毎日が3人でまわしてるわけではないので私が1人体制の時もありますしね。
主さんもお辛い状態でしょうが、頑張って下さい。