過去の養育費は諦めるしかないのでしょうか

請求するだけしてみる、という方法もあります。
少なくとも直近5年分に関しては、請求する権利があります。

相手が時効について知らなければ、もしかしたら支払われる可能性もあります。
元旦那さんが、確かに自分には支払い義務がある、と認めれば、その時点で時効はリセットされます。
時効が成立するためには、相手が「これは時効だから支払わない」と意思表示する必要があります。

取り敢えず一度、自治体の無料相談などで訊いてみてはいかがでしょう。