以前に離婚すると言われ嫁が子供を連れて実家に帰ってしまった事があります。 その時に私は子供を取られたと心底落ち込みなぜか謝罪し帰ってきてくれと頼みました。その

離婚については別途協議ということになります。離婚すること自体についての過去の誓約書に強制力はありません。協議で結論が出なければ調停になるでしょう。この辺りの展開は多様な動きがありえますから、簡単にはかけません。
その中で、親権の帰属や養育費、親子の面会交流など話し合いになると思います。
こういう掲示板で相談できることは限られていますから、差し迫ってくれば、弁護士に相談してください。