自治会で同じ班の人が、会長に自治会抜けると言ってきたそうです。 我が家は今自治会の班長で、会費を集めに行ったのですが、その時の対応があまりにも酷いから辞めたい

その理論が通るならそもそも回覧板なんて要らないでしょ。となりますよ？
自分のミスを隠す為に言ってるようにしか思えませんが。
昔からそうだから、集金近くに回覧板回して集金日に気づかないお宅が多くても仕方がないだろうって言い訳も通りますからね。

回覧板回したタイミングと集金に至る期間が短かったのは間違いなく主さんが原因で、それが問題無ければ同じ班の皆さんの『回覧板が届いてない』というクレームに繋がりません。