不安な気持ちを伝えたいです。 彼氏が休日は友達優先で時間を使って、わたしに対しては仕事終わりばかりで 寂しいなとかもう少し時間使ってくれてもと思います。

簡単な事です。まずその不満が解消されないなら主さんはどうしたいのかよく考えてみる事ですね。

なぜその不満を言えないかは不満を伝えて関係が悪化するとか振られてしまうのが怖いからですよね？

不満を伝えれば関係性がどうなるかは分からないものです。相手がどう思うかどう対応してくるのかですから。

どなたかも言ってますが不満を伝えて反応を見るべきでは？どう対応してくれるかその行動がどうなのかでしょう？

言えないのなら忙しいからと暫く平日は会わずに断り続けるのもひとつ方法だと思います。