携帯番号で住所は特定されますか？

会わなくたって詐欺罪は問えます。振り込み詐欺も会わずに電話一本で振り込ませているでしょう？
今はこう言ったネットを利用した犯罪が増加していますから、警察も敏感です。
どんなやり取りがあったか分かりませんが、相手が詐欺だと解釈し警察や弁護士に相談すれば主さんは調べられたり、下手したら結婚詐欺の容疑を掛けられたりする訳です。
相手の解釈次第なのだから、きちんと対処すべきです。
騙すつもりはなかった、心変わりしてしまった、金銭の返還は必要か、必要ならば今は一括では返せないから分割の相談をする、等。
甘く考えず、きちんと対処対応しておかないと、何かあった際に不利になるのは主さんですよ。