土日にイベント対応や緊急の呼出で出勤した分、平日に振替の休みを取っています。 休みそのものは取らせてくれますが、それを知った時の周り(同じ課内)の目が冷たいで

この世界に絶対に正しいことなんて存在しないので、間違いかどうか、という質問自体が無意味です。
あなたが正しいと思ったことをすれば、そのことを正しくないと思う人たちと衝突する、それだけのことです。
ましてや振替休日は会社の制度であり社員に認められた権利ですから、それを使うこと自体が間違いなわけがありません。

もし考えるとすれば正しいかどうかではなくて、
振替休日を取った結果他の人達と不仲になったり白い目で見られたりすることを主さんが受け入れられるかどうか、ではないでしょうか。
誰かに正しいと言われたから休んでもいいんだ、という発想でいるなら、休むことが正しくないから休んだ人を白い目で見ていいんだ、と思っている周囲の人とたいして変わらないのではないでしょうか。