自治会で同じ班の人が、会長に自治会抜けると言ってきたそうです。 我が家は今自治会の班長で、会費を集めに行ったのですが、その時の対応があまりにも酷いから辞めたい

居留守を使うタイプの人はいますよ。
あと、主さんがちょっと交渉下手な感じがします。

居るのは分かっていたとしても、インターホンを押すのは2回までですね。
一回押して、3分ほど待って出る気配が無ければもう一度押してみる。
中でお着替えなど準備してる可能性もありますし、確実に聞こえてるのは分かってるのですからしつこくするのは流石に不愉快にもなるかと。

あと意地でも集金は自分の足で伺います。
ルーズな方なら尚更料金が間違ってる可能性がありますし後々面倒ですからね。
その方の家の都合をその時に聞いて受け取りに行き、領収書をお渡しする形が良いです。

そんなことで？と思うかもしれないけれど、同じ班なら関わりたくないと思われてしまったのかもしれません。