40歳になって一から人生やり直す意味で違う事にチャレンジするのは、いけない事なんですかね？ よく「あんた、この仕事してたのか？」って言われるもので。

それ自体はいけないことではないんじゃないでしょうか。

ただ、例えばあなたが既婚で妻子を養う立場だったりすると
「違うことにチャレンジ」することで彼らの生活をおびやかす可能性は出てきます。
そこに同意を得ていないなら「いけないこと」かも知れませんね。

>「あんた、この仕事してたのか？」と言われる
誰から？
面接先の担当官とか？
そうならやはりある程度その仕事経験があった方が望ましいと思われてるんでしょうね。