ストーカーと言われたら、離婚しか道はないのでしょうか？ 浮気相手と旦那が私たちの住んでた家に一緒に住んでます。 夫婦でも紙切れだけ、意味がないですもんね。

同居義務はあるし、一方的に相手が出て行くなのどの別居って認められないから、家庭裁判所へ訴える事もできるけど。
でも、もう3年も別居してるから主さんが別居を拒否しているとみなされるかは微妙なとこだな…。

リンク貼っておくから、詳しくはここ読んでみて。わかりやすいから。

https://www.rikon119.jp/14051304006181

まぁ、本当一番いいのは悩んでいる事全部を弁護士へ相談して、法律を見方につける事かな。
弁護士さんには嘘をつかず全部話すこと。
相談前に事前に相談内容を箇条書きにしてまとめておくこと。
アドバイスはちゃんとメモを取ること。
これするだけでも弁護士さんからの心証はいいし、頑張ってもらえると思う。