私の職場は8チームに分かれていて私のチームはほぼ社員で揃えていますが、中にはパートさんと上司だけで構成されてるチームもいくつかあります。 それでパートさん

ある意味、大丈夫な会社ですね。
パートさんということは、働いた時間分の給与を頂けるので、仕事が遅くて長い時間働けるのであれば、パートさんは給与をたくさんもらえます。また、そんなパートさんを雇用していて問題にされていない（部長クラスの方が気にするなといっているので）ということは、経営的にその程度のコストが問題にならない利益がでているのでしょうから。
そう考えると、他のチームのことを考える前に、ご自身の能力UPを最優先に考え、ご自身の仕事に没頭されてはいかがでしょうか？