以前の部署関連で少人数（6,7人）の飲み会に誘われているのですが、 参加する人の中に一人嫌いな人がいます。 その人から度々嫌味を言われたりすることがあります

楽しいか楽しくないかではないと思います。友達の集まりじゃないんですから。
付き合いとして参加するかどうかですよね？
別に嫌なら参加しなければいいと思います。当然、付き合いが悪いってことにはなるかもしれませんが。もしくは全然気にもされないかもしれません。それは主さんと周りとの関係性にもよるかもしれませんね。
私は参加するけど、嫌いな人とは近くには座らないしあまり話さないようにします。もし全員嫌いな人だったら参加しませんけど。