別れるべきでしょうか？

怖くて帰れないということは同棲されているんですか？
あと彼の言葉が乱暴なのが気になります。彼は暴力もあるんでしょうか？
だから怖い？

とにかく状況がよくわからないんですが、主さんが怯えるほどなので今まで色々なことを彼から強要されているんでしょう。

異常な付き合いなので、誰か家族や友達に事情を話してついてきてもらい別れを伝えることをすすめます。
あと同棲も解消しましょうね。
強要されて怯えて暮らす生活なんてしてたら主さんの人生が駄目になります。

よほどのことがあれば警察へ。