子無し夫婦で、結婚して10年目になります。 昔、不妊治療も進めていましたが、私が途中癌になった（寛解してます）のと、旦那が不妊検査をする段階になった途端旦那が

いや…普通？かどうかは分からないけど2人の事なのに旦那さんが言っていい言葉じゃないと思います。

主さんの感じた通り味方であるはずの旦那さんには言われたくなかった言葉だと思います。
正に私は不妊治療中なので…余計に言われたらと考えるとショックです。
私は不妊治療開始と共に悪性では無かったけど卵巣に癌が見つかり片方の卵巣を摘出してもう片方も卵管に異常が見つかったので…不妊治療も約一年伸びて自然妊娠は無理だと言われている状況です。
もし子供が出来なくても2人で生きて行こうね、養子という手もあるからね、と話をしてますが将来「子供出来なくて良かったね、君は子育てに向いてないし子供を殺しかねない」なんて言われたら発狂します。

旦那さんの言葉は他人事すぎて、欲しくなかったわけでは無い、出来れば欲しかったけど諦めた、という気持ちを1ミリも共有出来てなかった人がいう言葉ですよ。
全力で協力してない人が「出来なくて良かった」なんて言葉、言う資格ないですよ。

他人同士の結婚なので全てを分かり合うとか、理解し合うのは難しくても芯の部分で信頼出来るかどうか、普段はムカつくけど大事な部分だけでも共有出来るかどうかで変わってくると思います。

他人に理解されなくても旦那だけは分かってくれてるだろう部分が分かってもらえてなかったって、すごいショックだと思います。

答えは主さんが出すものだと良いと思いますが
「そんな人」とやっていく自信が無くなった気持ちは理解できますので十分に悩んで良いと思います。

私情を挟んで書いてしまいましたが、
みんなが何と言おうと主さんが無理だと思うなら無理でいいと思います。
許せないなら許さなくていいと思います。
それでもやっていこうかなと思うならそれでも良いと思います。
ただ、辛い気持ちを我慢して押し殺して一緒にいるよりも、喧嘩してでも気持ちをぶつけてみたらいいんじゃないかなと思います。それで分かり合えないならその時にまた答えが見えてくるのかなと。

すごく個人的な感情で書いてしまったので、熱くなってしまったかもしれません。すみません。