彼が、付き合ってすぐの頃、まだ信頼関係もできてない頃にやたらと職場の女性の話をしてきて、我慢してましたが、嫌だと言ったら、その人の話はしなくなりましたが、今度は

それは無くはなさそうです。
昔、後輩男性は誘われなかったけど、自分だけ女性たちから誘われたご飯とかもあって行っていたと言っていて、後輩男性が可哀想だと思いました。
想像ですが彼は嬉しかったと思います。

彼は、主が嫌なことは今はしていないのに、未だに不安定になるのはやめてほしい、と言われます。
確かにそうなのですが…
私だけを見てくれて大切にされる、ということが分からなくなっています。