優先席に座る必要のない人。 パッと見じゃわからないので一概には言えませんが、40-50代のサラリーマンよりは足腰弱そうな白髪のおじいさんが座るべきじゃない

主さんが仰っているようにぱっと見では目に映らない何かがあるのでしょう
足に怪我や、病気、体力が単純に少ないかもしれないですね

正義漢ぶってお年寄りの方に席を譲るように声をかけてそういう方だった場合に、その方も周囲の方も嫌な思いをされますのでよっぽどの場合で無い限りはこちらから行動する必要はないですよ
物事の表面ではなく、何かあるのかも知れないことを考えて行動を起こしましょう

目に見える弱者だけを優先してしまう世の中なんて馬鹿馬鹿しいですからね