新築祝い行かないといけませんか？

昼食の用意とか、今ならまだキャンセル(人数変更)間に合うんじゃないですか？

きっと相手方は、過去に主さんに招待されてるから招待しなきゃ失礼かと思っただけかと。
そんなに疎遠なら、お祝いさえきちんとお渡ししてお断り＋謝罪のお電話でもおけば、相手方も断られても不快とまでは思わないのでは。むしろ、人数減ってラッキー！くらいかも(笑)。

ただ、叔母さん世代にはやはり「失礼」と思われ兼ねないので、角が立たないよう、欠席理由は絶対に伏せておき、叔母さんにも一言お詫びとお招きのお礼を伝えておくのが賢明かと思います。