同棲してる彼女がいます。自分は転職(フリーター)したばかりなのですが、ほぼ毎日上司・先輩に帰りに飲みに誘われて、定時8時のところを11時、12時くらいに帰ってい

飲み会を《ちゃんとした理由》で断ってはどうでしょう？
もし《彼女が待ってて〜》という理由が受け入れられなそうなら他の理由をでっち上げるのも手だと思います。嘘も方便というやつです。

それでもダメなら仕事を変えましょう。24歳でまだフリーターならどうにかなるはずです。
むしろその英断が出来なければ、彼女に『男らしく無い』と思われても仕方ないと思います。