【結論】
「原因だけ直して、あとは今までの関係をキープしよう」
「怒らない上司だからと言って甘えるのはやめよう」
と思うこと。そのうち、鎮火というか平常に戻りますから。

優しい上司なら下手に疎遠になったり
びくびくされても罪悪感というしこりが残ります。
怒らない人は「怒ってしまったことに後悔している」
がほとんどなので。

もしくはもう完全に関わらないかのどちらか。

---------以下解説------------
日頃怒らない人が怒り狂う場合

「日頃積もり積もったものが、爆発した」
これがほとんどです。
例外としては「一発KOの地雷を踏んだ」もあります。

数字で書いていうと、（わからなかったらスルーで！）
①普段は２０のことで怒り狂う（怒りやすい人）
②２００までたまらないと怒らない人（怒りにくい人）

①②にそれぞれ３０ぐらいのダメージが入るような粗相をしたとします。
①の人からはすぐに雷が落ちます。
②の人からは表面上笑って許されます。
が、この場合３０のダメージはしっかりと蓄積される形になります。
怒らない人を怒らせる人は、このあたりわかってないです。
許してくれる＝ダメージ０　と思っています。

「許してくれている＝何にも思ってない」ではなくて
「許してくれている＝まだ耐えられる」です。

ダイジョーブという言葉も「まだ耐えられる」の意味です。

で、この手のダメージが加わって累計２００ぐらいのダメージ超えると
とうとう②の人も耐えられなくなります。
②の人がキレる時には、
今まで許してもらっていた（実際は耐えていた）分の
怨念も一緒になって雷が落ちるわけです。

この場合、①の雷どころの話じゃすまないことになります。
罵詈雑言は当たり前。極端に言うとモノや手が飛んできかねません。

普段怒らない人を怒らせたら怖い、
というのはそのあたりです。
「怒らない」じゃなくて「我慢している」だけ。

だから今後やっていくことは
「『怒らない人だから、このぐらい大丈夫だ！』と甘えるな！」
これに限ります。
--------------------------
ちなみに、原因なんですか？