現在、不倫関係を続け4年 同棲生活2年半になります。 職場も同じです。 ほぼ24時間行動を共にしているような生活をしています。 四年たった今でも、彼

同じ職場に転職され同居もされていると言う事でお二人なりに築き上げた関係性があるのだと思います。
個人的には彼と離れるとか一緒になるというより、質問者様の夢や幸せを見つけてそれに向かって一歩踏み出されるといいなと思いました。
どうせ誰にも認められない関係なのですから別れなんてあってないようなものです。わざわざ言わなくてもいいと思います。
お互い心地よいなら今まで通りでもいいと思いますし、今迷われる部分は少しずつ気持ちと行動を変化してみてはいかがでしょうか？
質問者様がご自身で幸せを見つける事を願っています。