単発バイト先での出来事なのですが、出会って3回目くらいの方に「財布をなくしたため、5000円ほど貸してほしい」と言われ、親切にしてくださった方だった為、お貸しし

催促する際にボイスレコーダーを気づかれないように仕込みましょう。

後でしらばっくれられた時に貸した証拠を残す為です。
そもそも催促する時点でしらばっくれられたらどうしょうもないですけどね。

腕を掴まれたって、相手は男性ですか?

主さんが２週間に一度の頻度で周囲にも知り合いが居ないからカモと思ったと思います。

今後返す気配無ければ派遣会社には出来れば主さんの名は匿名で
相手のこと報告したほうが良いです、
他でもやってる可能性ありです。

良い年の男で単発バイトで食いつないでる人は借金まみれや前科アリ（偏見でしたらすみません）の可能性もあるので
人にタカる事で繋いでるかもしれません。

むしろ初対面で腕を掴んで来た時点で話も聞かず逃げるべきでした。