今日隣の家の子供たちに遊ぼうと言われてその時にちっちゃい子供に家バレちゃって、明日とか明後日も絡まれちゃうのかなって不安です。 私は子供への接し方が分からない

絡まれてから悩めば良いんじゃない？

あとはまぁ、普通に「ごめん忙しいからまた今度ね」て断り続ければ良いと思います。

難しく考えすぎかと思います。

「子供に愛情がない」とかそんなこと誰も言いませんよ。
子供だろうが何だろうが他人は他人。
困ってれば助けるくらいはともかく、無理に遊び相手を務める義理なんてないでしょう。

他人の評価を気にしすぎですよ。
己の心をもっと尊重してあげてください。