私は間違っていますか？

ありがとうございます。
元旦には義実家近くに用事があり、子供たちと行っていました。
旦那が何度も「どこ行くん？」と聞いてきましたが、何故か言いたくありませんでした。
そのときに義実家に行き、用事も済ませていれば、一石二鳥で、旦那の機嫌も良かったんだろうな と後悔ばかりです。
正月に行かないのは、今回が初めてではないけど、こんなにネチネチされたのは初めてです。

旦那は2日と3日に私たちが寝ている間に、黙って義実家に行き、遅くまで帰りませんでした。旦那に連絡してでも義実家に行けば良かったけど、子供たちが私の実家に行きたがり、母から電話があったのもあり、行ってしまいました。
2日、旦那がいない間に私の実家に行ったことを、帰宅した旦那に子供が話したら、母から貰った食べ物（子供のオヤツ）を旦那から床に投げられたので、子供らが義実家から貰ったもの（子供のオヤツ）をゴミ袋に捨ててしまいました。
ちなみに義弟一家は元旦に来て、餅つきして、３日には兄弟で遊んだみたいです。