このような理由での離婚は浅はかでしょうか？

とにかくまだまだ話し合いが必要だと思います。
主さんの気持ちを旦那さんにすべて話していますか？
もう安心だと言われても、やはりその土地を知らない人にとっては心配になりますよね。ましてや、小さな子供さんもいる。
でも、旦那さんの生まれ育った町に帰りたいという思いも間違いではないと思います。
町が新たに復興して、戻ってきたのがお年寄りばかりだったらなおさら若者の力は必要です。
旦那さんがそこまでの気持ちを持っているのかどうかはわかりません。
旦那さんの気持ちもよく聞いてあげて下さい。
よく話し合って、それでも、旦那さんが主さんの話をまったく聞かず自分の考えだけを押し通すようであれば離婚も視野に入ると思います。