高学年の息子です。 最近誘われて遊んでいる友達ですが、自分が１人のときは、ひつこいくらい遊びの約束をしてくるのに、他に誰か遊ぶ人がいると、手のひらを返した

ウチの場合。
住んでいるのは都市部に近い住宅地。
小学校高学年位になれば、スポ少で頑張る子、塾へ集中的に行く子、そして何もしない子、の三種に大別されます。
そして、はっきりいってこの『何もしない子』は、たいてい放置親、問題家庭で、出来れば関わらせたくない子。
意味もなく公園やスーパーにたむろしたりして、トラブルの温床になったりします。

高学年になる手前位で、それなりになにかさせる(習い事含め)お家が多いです。
学校以外の友人(地元スポ少はほとんど同じ学校の友達ですけどね……学校生活とは違う結束力ができるし)も、必要かと思います。
主さんは、そういう読みは無かったですか？
今からでも習い事か何かさせて、フリーの時間を減らすことを考えては？
それはすなわち、問題児につけこまれる機会を減らすことにもなります。