私は諦めるしかないのでしょうか？

悲しい経験を共にした人って、そこで絆が深まると思いきや、実際は離れたくなることが多いと思います。
親の死やら中絶やら、主さんにとっては絆のひとつかもしれないけど、彼にとって重たい思い出でしかないんですよ。
もちろん結婚していれば、その重みを分け合って生きる覚悟と希望があるのが普通ですが、ただの恋人ですからね。
リセットした方が気楽です。
もう無理でしょう。