アイドルなどの推し活で借金して、彼女が出来てから推し活はやめましたがお金がなくて彼女とあまり出かけたり出来ないし、誕生日プレゼントも大した物をあげれませんでした

なんで同じ文章繰り返してるんですか？

ご質問文に関しては、「少なくとも今はダメ」です。借金がなければ許されたんでしょうけどね。
たとえば、かつて競馬で借金こさえた人間が、「楽しくて見るだけだから」といって競馬情報をチェックしてたら、その人の恋人はどうしても不安になるでしょう？

ギャンブルと推し活は性質が違う、とかいう話ではありません。『借金を負ってまでのめり込んだものがある』という意味では同じです。感覚が普通ではありませんから、なかなか信用されません。

とはいえ、推しを一切見るなというのは酷な話です。ですから、こっそり応援しましょう。今もアイドルを応援していることを彼女さんに話さなければ解決すると思います。