浮気した私は離婚すら許されない？

現状では、浮気という過失がある主さんから離婚を申し出る事は出来ません。
主さんが離婚を申し出るには、浮気以前から結婚生活が破綻していた事を証明する必要があります。
主さんが借金を返済していようと、それなりに結婚という形態が維持されていたのですから、破綻していたと認定されるのは難しいでしょう。

結論：
ワガママかどうかは関係なく、現状では主さんからの申し出で離婚はできません。