彼には、借金がある兄(60歳)と高齢の母親(89)がいます。団地に2人で住んでいました。 彼はマンションで1人暮らしです。 私、49歳。 彼、55歳。

借金や無年金等どうしようもない家族かもしれないけど、それでも彼にとっては身内な訳で、彼が助けるつもりでマンションに引き受けたなら主さんがどうこう言える立場ではありません。
第3者の私からすれば、主さんも十分自分勝手な人だと思います。外で会うのが嫌なら主さんちで会う事はしないんですか。いつも彼のマンション有りきの考えだった訳で、主さんも彼に頼って甘えてるだけですよね。面倒な身内がいる以上は彼と一緒になるつもりも無さそうですし、寂しい時だけ頼りたいという身勝手なら、割り切って外で会い続ければいいじゃないですか。お互い何の責任も無く自由ですし。そもそも妻でもなく、たまに転がり込んでただけなのに、マンション乗っ取られたみたいに自分の事しか考えていないようなので非常識だと思います。