育休復帰、、

その上司、人事権持ってるんですか？チーフの上なら副課長か課長でしょうか。子育てしながら仕事できるのか試しにかかってるのかもしれないですね。パワハラに近いですが。
とにかく部長クラスに言わないと希望通りに異動はできないですが、捕まえて相談してみましょう。間違っても、頑張ればできそうとか周りがフォローしてくれればできそうとか、ひるんじゃダメですよ。
あるいは、その仕事を受けるにしても、時短なので勤務時間外や休日の対応は一切上司に対応してもらうようにしましょう。資料も全て上司に共閲、決裁取って情報共有し、打ち合わせにも参加させておけば、さすがに知らず存ぜずでは済まないでしょう。仕事を残して帰ることを責められたら、「時短なので残業できませんから。サビ残は労働基準法違反になっちゃいます」と言って帰りましょう。ただし、帰宅前の引き継ぎは書面にして抜かりなく。
女性が育児しながら仕事をするとは、こういうことなんですよね。女性活躍社会といいながら、家庭を犠牲にする男性的な前時代的な働き方を、望まれてるんです。私はもう辟易してます。