彼が、付き合ってすぐの頃、まだ信頼関係もできてない頃にやたらと職場の女性の話をしてきて、我慢してましたが、嫌だと言ったら、その人の話はしなくなりましたが、今度は

いえ、大丈夫です。
ちょうど今暇なんです。

私の知ってる人にちょっとだけ似てるので主さんのモヤモヤした気持ち理解出来ます。その人対して責めたりすると逆効果になってしまいます。またそういう人は自分は悪くないと思っています。悪くないけど相手が傷つくって言ってるからしないという考えなので努力しろ合わせろって言うんだと思います。

責めたり怒ったりせずに何故自分が不安に思うのかを手紙でも良いので彼に伝えるといいかもしれません。主さんはただの嫉妬ではなく信頼がないという状態だと思います。この状態が続くと主さんのメンタルが崩壊すると思われますのでここが正念場です。関係を続けるために2人で努力するのか別れるのか…よく考えて下さい。