私は間違っていますか？

今までの行いが一気に旦那さんの中で爆発した感じですね。

これまでも疎遠にしていたのは何故ですか？

お子さんが義理実家に行きたがらないのはあなたが知らず知らずのうちにそうなるように仕向けたからですよ。
ご自身に思い当たる節はおありでしょう？
子供は母親の心を反映する鏡と言っても良いです。
幼い子供は母親が行きたくない雰囲気を醸し出していれば子供はそれを察知しますし、母親が楽しそうなら子供も楽しいんです。

今はもう小学生とのこと、主さんの重苦しい雰囲気を察知したのと、子供達自身も意思を持って行動出来る年齢なのですから、元来疎遠の祖父母宅には片身も狭く、行きたくないと思うのは当然と思います。

主さん選ぶ道を間違えてしまいましたね。

今から出来る事、お義母さんご挨拶が遅くなりましたとお年始を持って伺う。

お子さん達が行きたがらないようならお一人でも。

旦那さんの機嫌が直らなくてもそれは仕方ない事なのです。
旦那さんの機嫌を直す事を目的として付け焼き刃的に考えるのではなく、素直にこれまでの義家への無礼な振る舞いを謝ってあげて下さい。

そしてこれからの正月は義家へしぶる事なく行ってあげて下さい。

お父さんとお母さんが楽しそうに出掛けて行ってたらそのうち子供達も行く気になるかもしれません。

これまでの行いを打ち破って新しい道を行くのですから楽な道ではないと思います。

最悪の事態にならない為にも腹をくくって頑張って下さい。