小学生の頃 とある上級生男子に暴力を受けていました その人は下級生の女子ばかりを狙って教師の見ていないところで顔に唾を吐いたり、お腹を思いきり殴ったり、

実際その人がしたことで貴方が害を受けたことでの忠告なので、名誉毀損ではないですね。
むしろ、今からでも謝れ、反省しろと言いたいですね。
というか、言ってもいいですね。
貴方も相手側の人間に話したことは迂闊だと思ったけど、親切心だけからのようだし、
他の意図は見えないけど、相手側夫婦の関係にヒビを入れる行動という自覚もすべきでしたね。
それでも、名誉毀損にはなりません。
吹聴して回っているわけでもないし。