同僚の好きじゃない人から食事に誘われました。 その人は見た目は一言で言えばデブスでバツイチでタイプじゃないため、どう考えてもないなと思ってます。 断ったんで

気がないのなら断りましょう。
"会うだけでも..."とまで言われて誘いにのれば、例え主さんからしたら"職場の人だし、しつこいから..."という理由だけだったとしても　お相手の方は"脈あり"と勘違いされますよ、きっと。
それでも主さんが良いなら問題ありませんが.....（汗）
そうでないなら　一言、「折角なんですけど、職場とプライベートは混同しない主義なので　スミマセン」で済むと思います。