体調不良で仕事を早退しました。翌日は休みだったので体を休め、その翌日は普通に出社しましたが、また体調が悪化したので早退しました。この際、しっかり体調を整える必要

軽率か否かを極端に判断するならば、私から見たらですけど軽率だったかなとは思います
仮に遊びに行くにしても同僚とかに見られる可能性とかを考慮した場所にしたりしますね
同僚さんから見たら主さんの体調が回復に向かっているからという前後や背景事情なんて分からないですから、しっかり働く為回復させる為に早退とかしてるのに職場に心配や負担かかったりと気遣いしてる人達に失礼だと思う人もいます
仕事を万全にこなせる為に休んだり早退したりするもので本来は次の出勤までに回復させる為に安静に休養するのが普通です
勿論家の事情とかで買い物とかしないといけないならばしても問題無いですが、遊んだりするのは良い印象は持たれないですね
何せ早退休んだ分会社は穴埋めだったりその分働いてくれてる人だっている訳ですのでね。なので回復後普通に出勤したとしても最低限の軽くでも良いからご迷惑ご心配をおかけしたお詫びぐらいはした方がいいです。誠意あればあるほど悪い印象だった人でも多少なり印象は変わりますから