４歳の子と3か月の赤ちゃんがいます。 上の子が保育園から帰宅後、上の子をお世話してる時に、下の子が泣いてもあやされないからか、パニックのような泣き方をしました

毎日大変ですね。

私ならその異常な泣き方を見たら、「ごめんとりあえず待って〜！緊急事態だから！」と言って下の子のお世話を優先しちゃうかなぁ。
それと並行して、保育園であったことなどを聞いたりして「あなたのことも見てますよ」とさりげなくアピール。

そしてその後「待ってくれてありがとう。助かったよ〜。」なんて言いながら上の子のお世話をします。

『後か先かの問題ではないんだよ、赤ちゃんのお世話は大変だけど、ちゃんと君のことも愛しているんだよ』と伝わればいいかと。

あとは、赤ちゃんに関する小さいお手伝い（おむつ替え時にお尻拭きを持ってきてもらう、主さんがトイレに行く間の遊び相手になってもらうなど）を頼んで、やってくれたらその都度しっかりお礼を言う、ということを繰り返していけば「お姉ちゃん」としての自覚とやる気が少しずつ芽生えてくるのではないかなと思います。