彼には、借金がある兄(60歳)と高齢の母親(89)がいます。団地に2人で住んでいました。 彼はマンションで1人暮らしです。 私、49歳。 彼、55歳。

主さんと同じ年令の女性です。
借金持ちの義兄はいませんが
私は40才のときにいまの夫と再婚（夫は初婚）しておりまして、私の持ち家（祖父からの相続　　私の両親、義両親共に　健在　皆近居）に住んでいます。
夫実家は夫（長男）が36才のときに建て替えた夫名義、夫ローン（リレーローンではなく最初から）で、今現在もローン支払い中ですが、そこには夫の両親が住んでいます。
夫には姉が2人いて2人とも結婚して家を出ていますが、もしも誰かが離婚したりがあれば、出戻りもあるかもしれません。
義姉は夫の家の合鍵を持っていて、甥っ子姪っ子を連れていつでも出入り自由です。
特に不満に感じたことはないです。最近はじまった私の親の在宅介護にも毎日通えますし、なにより　後から「他人」の家に入ってお互い気を使って消耗するよりも自分の家に迎えたほうが　気楽でした。
私が微熟年再婚で、成人した子供がいたから？たまたま自分の家があったから？
借金持ちの義兄がいなかったから？
結婚したから、夫名義の夫の家なので　妻である私は堂々と夫実家にも行きます。
合鍵は持っていないし（3個までしか作れない？とかで）実家に入るときは「お邪魔しまーす」と言って義家族には笑われていますが。笑

シングル家庭時代が長かったせいか、前から思っていたんですけど、女の人って「夫のものは私のもの、私のものは私だけのもの」な人が多いですね。
配偶者は元は他人なのに
実子を産み育てるから？権利関係が広がって　母として強くなるからかな、とも思いましたが

主さんの場合ほんとうの他人だし　彼の実子を産むわけでもないし、結婚するつもりもない
わけですから
デート場所のこと？や彼が頼ら
れすぎてかわいそう　などの感情についてはやはり他人の口出し余計なお世話、ということになっちゃいますね。