俺の子じゃない

その言葉が聞きたくないならそもそも旦那さんと喧嘩しなきゃいいんじゃないですかね。
お子さんの為にも喧嘩になりそうになったらグッと堪えてごめんねと言える位の努力は必要と思います。
スレから察するにお子さんはまだ小さいですよね？
実の子だって、男は父親になるのに時間がかかるものです。
血が繋がってるとか、戸籍上とか、関係なく。
血が繋がっていれば、なかなか父親になりきれない苛立ちをぶつけるところや言い訳もないので何も言えませんが、旦那さんの場合はその理由があるだけにその言葉が出てしまうのだと思います。
そこを上手く父親に育てていくのが主さんの役目だと思います。
例えその言葉を旦那さんが言わなくなったとしたって、主さんも変わらないなら旦那さんの気持ちだって変わりませんよ。
まずはお子さんを一番に考えれば答えは出るんじゃないでしょうか。