隣の家が・・・・

色々なケースが考えられるでしょ？
遠方の私立に通ってる子供なら朝早く登校するし（始発に近い電車で通学してる子もいます）、他にはその家は子供の親の実家で夜だけ預けてるとか、何かの障害で学校に通えてないとか…とにかくそれだけでネグレクトとは言い切れません

それと、昔から長く住んでる人達が引越して来てまだ日が浅い人に何もかも話さないと思いますけど？
言葉を濁すのは主さんの主観で、ご近所さん達は別に詳しく事細かく話す必要がないと判断したのではありませんか？
主さんが誰かから興味持たれて他の人にアレコレ詮索されても気持ち悪くないですか？
騒音については遠慮なく注意すればいいのに
深夜だから…って言ってますが実際にその家族は起きてるんだから問題ないですよ