このような場合私はどうすればよかったのでしょうか？

そんな微妙な会、二次会だなんて私なら行かないよ。
楽しくないの見え見えで時間とお金の無駄でしょ。

二次会は私は行かない(やめておく)けど
Aは行ったらいいじゃん、と普通に言えないかな?

いい人過ぎると、都合のいい人、どうでもいい人に
成り下がってしまいますよ?

自分の意見くらいは言えるようにならなきゃ。

無愛想な感じで「私は帰る」とかなら感じ悪いけど
ニッコリ笑って「私は行かないけど
Aは行きたいなら行ってきたらいいよ♪」と言えば
感じも良いし、都合よく扱われないから。