こんな悩み良くないと思いますが、 産休明けの人は 早帰りの上に、突然の休みも多いし。 一緒に働くことが疲れます。

わかるよ。
でも普通の人なら、それを「当然」と思わずに、「申し訳ない」と心苦しく思っていて、「いつか自分がフォローする側になろう」と思っていると思います。わたしがそうでした。
そして、そういう人が「心苦しくて、周りからの冷たい目に耐えられなくて」辞めてしまったら、今の若い人たちが結婚して子供ができた時に、産休育休などが取りづらくなります。
結局は、女性が働きにくい職場環境になってしまいます。
フォローさせられる側は大変だと思います。愚痴も出るでしょう。
ただ、出来ればそれを職場では出さないようにしましょうね。結局は、それが将来の自分のためでもあると思います。