主人の不倫 私の事を石って...

辛いですね。大丈夫ですか？まず、ご自分を責めてはいけません。どんな理由があるにせよ不倫は悪いことですから。
あとは、主さんが決めても良いことだと思います。どうしても我慢出来なくなったら離婚しても良いと思います。
ただ、どんな場合でも用意周到に動いたほうが良いです。不倫がバレた時、最もらしい屁理屈を並べて開きなおられるのが一番面倒くさいですから。
間違った考え方の人と居ると、自分のほうが間違ってるんじゃないかと思ってしまう事がありますが 主さんに罪は無いので堂々としていて下さい。子どもが出来ないことは決して妻を騙して不倫をしていい理由にはなりませんし、子どもについて一番悩んでいるのは旦那さんでは無くて主さんだということを忘れないで。