はじめてアルバイト募集しました 面接の約束を来週だったのですが一身上の都合で辞退させていもらいたいと断りの電話を担当者の人に伝えたところ承諾してもらえました

アルバイトとはいえ
雇用契約というのは対等な立場だよ。

仕事が気に入ったら働くし、気に入らなかったら働かない。と選択をする権利はこちらにもある。

相手に気を使いすぎる必要はないよ。

ただし、アルバイト契約した後に突然「明日からもうきません。」みたいなのは迷惑になるからマナー違反です。
仕事の引き続きが必要かを確認し自分の穴埋めの人材が見つかる猶予をもって最終出勤希望日の最低1ヶ月前くらいまでには辞めたいと伝えよう。