いや、彼氏の身体の問題だと思います

でも、それ言ったら可愛いと思います

医学的に金縛りが「特定の人が原因」の可能性は極めて低いです。

金縛りは脳のイタズラです。彼氏さんの脳が誤作動を起こしているだけ。

泊まり先を変えても起こるのは「自分の家以外で寝ている緊張感」や寝具の違いに脳が反応している可能性があります。

今の不安を伝えて大丈夫ですよ。「わたしのせいかと思って不安だった」「別れたくない」という言葉は、彼に「自分を大切に思ってくれている」と伝わります。

彼氏は悪気なく事実を言っているだけだと思いますが、
「主と寝ると必ずなるんだよなぁ」と主さんのせいのように不快感丸出しで言ってましたか？

相手がどう思うかまで頭が回らず言ってしまう彼にも問題があると思いますね（笑）
私のせいかな？って無邪気に聞いてみたらどんな反応するか試してみたらどうでしょう？
それで本気で主さんのせいみたいに言ってくるようだったら、そういう人間なので一緒に過ごしていてもそのうちボロが出ますからお別れした方がいいと思う。いい彼氏なら、そうじゃないよとか緊張してるのかもとか弁解してくるんじゃないかな。