セクハラで訴えられますか。

正式な手続きとしては、派遣会社にクレームをして、対処してもらうしかないと思います。
弁護士さんを立てて名誉毀損で訴える事が出来ると思いますが、慰謝料と言っても少ないでしょうから、持ち出しになると思います。

人のうわさも75日と言いますから、放って置くのが一番だと思います。

こういう場合の心構えとしては、人は人、自分は自分、マイペースが一番良いと思います。