毎回テスト週間がやってきたら僕は帰宅部なので、僕のクラスの上位層の奴が僕に「帰宅部だから、いい点とれるんだよ」「帰宅部は羨ましい」と言って来ます。 それじゃあ

破綻してないと思います。

運動部でもいい点とる人がいると思うんですよね。
なんなら本来、運動してる人は勉強できると言われてます。
（運動は脳に刺激をあたえるため）

逆に帰宅部でも勉強できない人もいます。

シンプルに普段授業を真面目に聞いてるか
予習復習してるか。その積み重ねです。

帰宅部であることで相手があなたを攻撃するのは
勉強できない自分への意味のない言い訳を作って自己防衛してるだけです。
「哀れなやつ」とでも思って、優しく微笑みかけましょう。