主人に「俺の家族を蔑ろにしている」と言われました。 それは、私が中々義実家に行きたがらないからです。最後に義実家に行ったのは3ヶ月位前です。主人と子供達だ

ご主人が主さんに求めてる協力の度合いと、主さんが許容できる協力度合いを話し合われれば良いと思います。
ただ漠然と「協力してやってくれ、頼むな」だけでは主さんが不安になるのは当たり前です。
また逆にご主人は主さんが想像してるほどではない協力を頼みたかったのに拒否されたらそれを冷たいと感じてしまうでしょうでしょうし。

要は主さんが「何より優先すべきはまずは自分達家族の先々。それが結婚した者の責任であり子供への親としての責任だ」ということをご主人に話される。
そのうえであなたの兄弟が困ってるなら協力はしたい。
けれど姑やあなたの言葉を聞いていると、どこまでかのボーダーラインがわからないから不安なのだと。
そうご主人に聞かれてみれば良いと思います。

ご主人の仰る、家族なんだからみんなで助け合ってという曖昧な言葉がすべての行き違いを招いてるのかもしれません。
協力とは具体的にどんなことか？

もしも先々、義妹のために妻や子どもが犠牲や負担を強いられてもあなたは助けろと言うのか？
そう聞かれてみればそうだとは言わないはずです。

そこをちゃんと話し合い、次回から義妹さんのことで主さんやお子さんに負担がかかると感じたら、そのときはご主人に負担だからできないと言えば良いと思います。

一度取り決めておけば主さんも安心ですし、ご主人との曖昧さからくる喧嘩もなくなると思います。
なによりご主人も取り決めた以上は怒れなくなると思いますし。