やはり男の子は運動部活をやって当たり前でしょうか。今日お友達のママに「男の子なんだから運動部に入部して体動かしてもらわないとね！」と言われ凹んでしまいました。

当たり前ではないですよ。
それは、ただの思い込み。
ステロタイプな親の希望の押し付けです。

男の子にも女の子にも、その子ごとの向き不向きがあります。
性別だけで運動部だ文化部だと決めつけるのは、性差別ではないですか？

子どもの事は、親が知っています。
何も知らないよそのお母さんの言うことなんて、気にする必要はありません。
息子さんがしたいように、させてあげてはと思います。
世間の無理解から子どもを守るのも、親の務めではないかと思っています。

息子さんが楽しくスイミングに通っているなら、帰宅部で帰ってきてからスイミングに行けばいいのではないかと思います。