このまま離婚でしょうか？

ご主人は、子供ができないのは自分に理由がある。と思っているんじゃないですか？

実際はどうなのかはわかりませんが、
ご主人目線で主さんの文章を読むとそう感じます。

もし子供をつくる能力がご主人にない場合、別れるんですか？
子供がほしい、なんで欲しくないの？と言われてもご主人は困るだけだと思います。

子供が欲しい！以前に、もし、どう頑張ってもどちらかに原因があり子供を持てない場合の事を考えてみてはいかがでしょうか。

ご主人はそれを考えているから、

主さんが思い描いてる結婚生活をさせてやれない。
自分は結婚を軽く考えていた。
自分には結婚がむいていない。

と言った可能性もありますよね。

主さんがご主人に対して、〜〜〜なら別れた方がいいのかな。と言ってしまった事で、
子供出来ないなら結婚した意味ない。と言われた感覚なのかもしれませんよ。