飲み会に子供?!

子供お断りな集まりなら、はなから２歳のお子さんがいる人は誘いません。声をかけるならまず預けられるかどうかの確認をして、お子さんには悪いけど遠慮してもらいたい旨を伝えます。
今回のような場合なら、理由をちゃんと話して『欠席すればいい』なんて言い方はせず、『今回はごめんね』と謝罪して欠席という形でお願いします。

誘われなくて寂しく思う人もいるのかもしれないけと、子供がいる人を『子供お断り！』な集まりに誘う意味がわからない。誘うなら子供連れでも大丈夫なように配慮しますね。