家が近いという理由でバイトに来れない人の代わりに頻繁に呼ばれます。私だって休みの日ぐらい家でゆっくりしたいし、出かけたりしたいのに...。一緒にバイトしてる友達

ハッキリ断っていいと思いますよ。
私も今の職場が家から近いけど断ってます。無理して出勤して体調崩して自分のシフトに穴あけたら本末転倒だし。
お友達はもう休み癖がついてるように思えます。ハッキリ言って無責任過ぎる。私が働いてる職場だったら、クビとまではいかなくても出勤めちゃくちゃ減らされますよ。穴開けられる位なら最初からシフト入れないでおこう、と店側からすれば考えるので。