ハッキリ断っていいものかどうか、角を立てないためには黙って我慢すべきかどうか、アドバイスください。 夫の趣味友の飲み会が年に数回あり、そのうち2回ほど、妻

あくまで趣味の友人なんですよね？
仕事の繋がりなどはないのですよね。

旦那さんに「私はプレゼントも困るし、彼が愛人連れてくることもよく思ってない。できれば行きたくない。」と伝えればいいのではないでしょうか。
行かなければ余計な気を使ったり、嫌な思いをしなくてもいいので。
旦那さんの趣味なのだし、全員が妻や夫を連れてくるわけでもないなら、行く必要性がよくわからないです。

うちの夫もスポーツチームの仲間がいて、医師や経営者もいますが、みなさん気さくで楽しい集まりなので、私は時々参加します。でも嫌な人がいたり、気を使い続けなければいけないのなら、行かないと思います。