そんなに怒ることですか？

単純に考えればそんなに大きなことじゃないのかもしれないけど、「そんなに怒ること」にしたのは主さん自身ですね。

仕事上大きな支障がなかったとしても、決められた時間に戻ってこないといけないというルールがある以上、戻れなかったことに対して攻められても謝る他ありません。
それが日本の社会のルールです。
ひどく問い詰められたのは、今回のようなことが以前にもあった可能性ありですね。

あとで勘違いだったから反論した、とありますが、結果遅れた主さんに反論する権利はありません。
そこで反論したので、かえって50代の上司を怒らせてしまい、自分で自分の評価をさらに下げたのでしょう。

悔しいなら次からは電話連絡一本する！
社内のルールは守る！
営業さんなら成績あげて得意先の評価上げて、上司が何も言えないよう努力しなさい！！
反論するのはそこからです。