上司が私と雑談した際の話題を 他の人に振る際に必ず 「Aさん(私)にも話したんだけど…」と 話し始めるのが気になります。 1、2回なら自然な事かと思

他人に責任を押し付けるタイプか、自分ひとりで責任を負いたくないとか。

提案になりますが。

＞「ね？」「俺と話したよね？」

話がおかしい場合は
「え？すみません。それについては聞いていません」と、
皆の前で否定しておいた方がいい。

あなたが全て先に上司から説明を受けている印象を持ちます。

先に話を聞いていながら、他の人には話をしていないという印象も。

他の方から、あなたが贔屓されていると思われている可能性もあります。

＞その回答の大半が「この前Aさんと話してー」「Aさんには言ったんですけど…」ばかり。

親密みたいな誤解を受けますよ。
否定するとか、何か言っておかないと誤解されそう。

「話していませんよ。他の方と間違えていませんか？」とか、
「え？私は聞いていませんよ。誰かと間違えていますよ」と。

実際、聞いている話に関しては
「あ、どこどこでの話ですね。」
「それは、こういう話で、こういうことだと話していたことですか？」
という感じで、親密なことではないという意思表示を示す。

というのは、どうですか？