現在シングルで小１と小４のふたり男児を育てています。 昨年下の子の入学とあわせて実家の近くに越し再スタートと思っていた矢先にコロナになり、転校先の学校でも長男

元の環境に戻れるなら戻ったら？
その程度の事であれこれ言う人はどうせ何をやってもアレコレ噂する人だし、そういう人はどこの地域社会にいても一定数存在するよ。
つまり、引っ越さないで頑張っても別の事でアレコレ言われたりすることは十分ありうるってこと。
お子さんのことを一番に考えてあげたら、その事実は一生彼の心に残ります。
「自分は大切にされていた」という実感が持てる。
そういう実感を持っている子は人間として強くなれる。

それと、現在の転校先の人とうまくいかない原因としては、地元VSよそ者状態だからかもしれません。
よその土地から引っ越してきて今までの暮らしで培ってきた価値観や感覚が新しい地域では通用しないっていうことを実感することは大人でも珍しくないと思うのですが、地元にずっといて離れたことのない人間はそういう体験をしたことがないので、転入してきた側の苦しみが理解できない場合が多い。
お子さんじゃなくても大人でもこういう経験で苦しむことってありますよ。
転入者を受け入れる側には全く悪気がなくても、転入者にとってはその無理解がものすごく負担になることが。
例えば、つい先日も関西→関東に転校した子供のスレで「転校先の生徒が今までのクラスメイト/友達とあまりにも違う。困っていても誰も助けてくれないし、話しかけても反応が薄い。元の学校に戻りたい」というすれがあがっていましたし、大人でも「結婚を機に地元を離れてよその土地に来たが全然なじめないし、新しい土地が好きになれない。もうひっこしたい」という悩みを抱えている人は珍しくないです。
だからこそ、お子さんには「そのくらい試練として乗り越えろ」ではなく「元に戻ろう」という対応をされた方がいいと私は思います。