体調不良で仕事を早退しました。翌日は休みだったので体を休め、その翌日は普通に出社しましたが、また体調が悪化したので早退しました。この際、しっかり体調を整える必要

>遊びに行ったのは休養期間中ではなく、出勤日当日なんですよね。その日の出勤時間が遅かったため、午前中にでかけました。

出勤日当日だから問題無いという事ではありませんからね。体調回復しました等の報告も無ければ出勤するまでは会社の方々はあなたの体調がどうなのかも分かりませんのでそこで遊んでいる姿を目撃した人からはどういう事なのかと疑念を持たれるのは普通なら当然だと思います

>でも、順番が違うということですよね。次の公休日まで自粛するべきでした。

絶対自粛すべきだとまでは言いませんが今回みたいに目撃されたりズル休みだったのかと思われたりするケースがあるので、遊ぶならば目撃される可能性が低いところでした方が良かったでしょうし今後は運悪く遭遇したり見られたりしない場所で遊ぶ等の対策を自身で考えておく事をお勧めします