上司は私のことをどう思っているのでしょうか？

主さんの意識や悩みは 会社員として誰もが 思い悩みむ事です。そんな悩みが人間関係を強くしたり、組織が向上する基になります。
だから 自分が悪いとは思わず、どう自分が対処すべきか？だけを考えて下さい。
文面からは 上司Ａさんの態度が 配慮やデリケートさに欠けている気がしますね。
正社員の事なんかは 冗談でも、表立って話すべき事では ありません。管理職としては失格です。
もしかすると、主さん達の前で、自分の力、権限などを誇示したいのかもしれませんね。
ちょっと醒めた感じで対応するのが 良いと思いますよ。