良かったら話を聞いて下さい。長文になります。 新卒で今の会社に入社して、5年目になります。 今年の4月から、４年間居た部署から新しい部署に異動となりまし

人事部にいます。
人事異動の選択は、拒否しても大丈夫です。（うちの会社では。）
人手不足での移動の場合、スキルUPさせたい人材･まだ担当が任されていない短期間の人材が選ばれます。
主さんより短期間の人がいる場合、主さんは最初の例と考えて喜んで移動するのが得策です。
仮に短期間だからだとしても、色んな部署に顔を覚えて貰うのは長期間に考えれば良い事です。