この先どうすればいいですか？

55歳ってことは、もう生理はきてませんよね？だとしたら、将来結婚しても子供はつくれないですよね。
体の関係お持ちなら、もうやめられないと思いますけど、将来の奥様に相応しい女性が現れたら、きっぱり関係はやめるべきです。
もし55歳でも結婚してもいいと考えても、かなり身内同士の結婚になりますよね。世間的に考えたら、あまり風当たりは良くないですよね。
主さん自身の問題だと思うんで、主さんが「良くないことだ」と自覚しない限りやめられないかもしれませんよね･･･。