そこまで言われるようなもんなのでしょうか？

劣等感の塊みたいな父親のストレスのはけ口にされていますね。信じられないかもしれませんが、あなたを責めることでようやく自分を保っているのです。精神的に幼い父親のお守りをしていると同じことですよ。これを親子の逆転現象といいます。あなたは今、大変危険な状況にいます。父親の言動を真に受けていたらあなたボロボロになりますよ。もう二十歳なんだから、実家にいないで早く自立して下さい。