お金を返せとしつこくつきまとわれる

浴衣は、プレゼントとして買ってもらったものですか？
手持ちが足らないなどで、立て替えてもらったものですか？

立て替えてもらったものなら、借金と同じなので、お金を返す必要があります。

プレゼントされたものなら、返す必要はありません。
プレゼントは、法的にいうと「贈与契約(民法549条)」に当たります。
「契約」というのは、彼が「あげる」意思があり主さんには「もらう」意思があった、という意味です。

一旦契約が成立したからには、一方的に解約することはできません。
だから、浴衣を返す必要もないし浴衣の代金を返す必要もありません。

彼がたとえ裁判を起こしたとしても、彼に勝ち目はあらません。