パート先の上司に一目惚れしました。 相手も気にかけてくれてたようで、声をかけてくれたり、優しくしてくれたり… でも、私は恥ずかしいのと、不倫はダメだと思い、

不倫かどうかとは別として、自分が気になっていた相手からの返信（告白）は嬉しいです
ただ、肉体関係に関しては、それこそ離婚しない限り、お答えできません

特に女性は、体の関係から浮気が本気に変わるような精神構造になっています
職場の仲間でもあるわけですから、余計に一線は避けると思います

もし主さんが、一生続けられる親友のような関係でも良いのでしたら、他にはない貴重な存在になり得ます
その時は食事に誘うと思います
どちらにしても、主さんの思いを伝えなければ何も始まりません
どういう道を選択されるかは主さん次第です