出入り禁止になった営業マンが個人的に僕の働いてる部署の事務員と会ってるって おかしいと思うんですがそう思うのは僕だけでしょうか？ その営業マンが出入り禁止に

一瞬事務員さんの表情が曇ったのは、

主さんの余計な憶測と、口出しに対して不快感を感じたのだと思います。
営業さんの行動が嫌なら、主さんに助けられなくても、上司に相談するし、
主さんに口出しされたくない、変に勘ぐられたくないと、
私が事務員さんの立場ならそう思います。

職場で事務員さんと前の営業さんのやり取りに主さんがどうか変わっているのですか？

単なる、『旗から見て迷惑』その程度でしょ？
それなら、主さんは主さんのポリシーに添って、淡々と無駄口たたかず、黙々と仕事をしていれば良いだけ。
主さんもそうなんだから、周りも主さんに合わせて、私語禁止で働けなんて自己中過ぎます。
他人に関わって、余計な憶測で上司に告げ口する暇あるなら、そんなことより仕事をしてください。と上司ならそう思っていると思いますけどね。