昔アイドルに貢いで借金して、彼女が出来てからアイドルに貢ぐのを辞めたのですが借金が残ってるため彼女とはあまり頻繁に遊びに行けないし、金を使うことに色々制限かけて

今現在、お金がない不自由さが不満なんでしょ。
誰にでも過去はありますから、きちんと返済してるなら現在の主さんが悪いとは言えないけど、彼女にしてみたら、昔のことがあった結果の現在に不満があるんでしょうね。
転職やWワークするとかして、収入を増やしてサッサと完済するか、もう少しお金をかけた付き合いが出来るようにならなきゃ解消されない不満だと思います。
それが無理と感じるなら、彼女とは合わないと思います。
不満を持つのは個々の感性なので、彼女が悪いとも思わないけど、借金のある彼氏の過去や現在が不満なら、別れれば良いのにと思う。
時計や歌に当たっても完済が近付くわけじゃないのにね。
別れず付き合ってる彼女、我慢強いのか主さんに惚れてるのか他に選択肢がないのか。