主人に「俺の家族を蔑ろにしている」と言われました。 それは、私が中々義実家に行きたがらないからです。最後に義実家に行ったのは3ヶ月位前です。主人と子供達だ

その義妹さんっておいくつですか？
いつからそんな状態に？
両親が亡くなったらお兄ちゃんに頼るしかないから死んだほうがって、頼るか死ぬかしか選択肢ないのかよ！ってそこに一番苛立ちと疑問を感じます。
義妹さんが自ら必死に立ち直ろうと努力しているなら、 またはそうなってしまって日が浅いなら、いくら他人と言えども親切ですから多少は巻き込まれても仕方ないかもしれませんが。
早く立ち直ってくれたほうが、結果、主さんたちも楽ですしね。
でも、最初から立ち直るのを諦めてるスタンスなら、距離は絶対置くべきですね。