パート先の上司からあなたと話してたらイライラするといわれました 例えば怒られたときに ハイ気をつけますで終わればいんだろうけど 本当にやってるからやってます

詳しい状況が分からないので何とも言えないのですが。。
例えば主さんがちゃんとやったつもりでも気付かないうちに抜けていた所があったとか、そういうことはないですか？
それか上司の人は単に他の人のミスを主さんのミスだと勘違いしてるとか。
あとは、単に八つ当たりかどれかかと。。

自分は言われたことはしっかりやっていて、確認もして、うっかりミスもなさそうなら
「すみません。(自分の仕事を詳しく説明)言われたことはしっかりやって確認もしましたが何か他に問題がありましたか？」など、言葉で何か駄目だったのか聞いてみてはどうでしょうか？
相手は上司なのでまずは下手に出といた方が色々得だと思います。

「やってます」は「私に全く非はありません」ということになるので反抗と捉えられてしまうでしょうね。
他の人から見たら出来てないこともあるかもしれません。
例えば「声が小さい」とかそういう事だと自分では気付きにくいと思います。