お土産を渡すな言われて困っています。

主さんがドコに住んでるのか分からないから、主さん達にとって『東京』がどれほど『遠出』なのかは分からないけど…
どこか行くたびに毎回一人ずつお土産買うのは、やめた方が良いと思う。
職場ならせいぜいお菓子の詰め合わせとか買って『○○行って来たんで皆さんでどうぞ』とか。

じゃないと他の人にも『今度○○行くけど、私もお土産配った方が良いかしら』と気を使わせるし、貰った人にも『主さんいつもお土産くれるから、私もたまにはお返ししなきゃ』と気を使わせるし。

主さん達が東京付近に住んでないなら、会社がらみで行った場合でも東京土産は喜ばれると思います。
ただ、一人ずつはやりすぎかな。

あと今回みたいに職場の誰かと一緒に行った場合、職場へのお土産は共同で買うとか、ちゃんと口に出して『私は職場へのお土産を買おうと思ってる』のをアピールした方が良い。