バイト先社長に28で職を転々としてるのはマイナスだと言われました。しかもバイト期間終わった後どうやって帰ろうかなというつもりで帰るときはと話したら、もう帰ること

いやぁ〜…（汗）
それは相手のパワハラというか、マウントというか、ひたすら性格悪いだけだと思います。

雇った後で経歴がマイナスも何もお前に関係ないやろって話だし。

転々としてマイナスって…
「すぐ辞めそうだ」て印象を与えるってことでしょう？
雇った後で指摘するのは辞めさせる気満々でしょうｗ
そりゃやる気なくなるって。

強気で行こう。
「気に入らないならご想像通り帰っても良いですよ」て。

バイト先くらい、代わりはいくらでもある。

それはそれとして、そろそろ資格とって定職ついた方が良い歳だと思いますけど。
食っていける自信があるなら好きにすれば良い話でしょう。