旦那に私と旅行する意味や私の行きたいところに行く意味がわからないと言われました。 それでも私は時々でいいので出かけたい思いがあり、旅行やお出かけに付き合っ

ちょっと話しが違いますが…

昔友達グループで、映画に行こう！となり数人で観ました。
その中の一人は映画に興味がありませんが、仲間はずれになるのが嫌だし、皆んなと一緒にいるのが楽しいから付き合って観るんだ！と言ってましたよ。

ご主人は旅行に興味無いけれど、、
主さんが友達と行くのは仲間外れになった気分なのでは？

結局、主さんと一緒が良いなら旅行に付き合うか、、
旅行面倒臭いなら友達とどうぞ！

の2択しかないですよ。
ソコをご主人に話して選択してもらうしかね。