実の母親から、父親との浮気を疑われました。 実家には母親、継父、兄、弟が住んでいます。 妹と私は実家を出ており、実家と私の家は車で30分くらいの距離です

弟さんはお母さんと結託してるんでしょうか。
怪しいと思うのには根拠があります。
なんとなく怪しいは根拠じゃないです。
具体的にどんな行動が怪しいのか。
その返答次第で、お母さんは本当に精神病の可能性があります。
お母さんと縁を切っても良いと思いますが、貴方が弟さんや他の親戚にも一方的に悪者にされないか心配です。
話し合いの場を設け、それで話にならなかったらもう完全に切る。もありだと思います。