子供？お年寄り？

一般常識の上なら、本当に５・６歳であるならお年寄り優先だと思います。
だから、向こうのご家族に主さんのおばあさま達に配慮があっても良かったと思います。

しかし、今回おばあさま達はご自分が乗りたいと仰ったことや、子供さんの実年齢が見た目でしか判断出来ないことから、仕方ないことだったと思いますよ。

従って、今更主さんがそこまで怒ったり悩んだりしなくても良いと思います。