複数人での会話ができない。 自分と相手２人で話してる部屋に他の人が入ってくる（…

複数人での会話ができない。
自分と相手２人で話してる部屋に他の人が入ってくる（席に戻る）だけで気になって会話できなくなる。
話してた相手は急に会話が尻窄みで終わって変な思いしてるだろうし、部屋に戻った人は自分が急に黙るからこそこそ話されてるようで気分悪いと思う。
自分はコミュ障で会話下手な自覚があり、会話上手な人がまわりにいるとその人に主導権を握ってもらいたい衝動に駆られてしまって結果黙ってしまいます。
気にせず話せば良いのは分かってますが、この癖が抜けません。
人によって話し口調変わってしまうのもあり、あぁその人の前ではそんな砕けた感じで話すのねみたいな感じに取られてしまうのではないかと自意識過剰になるのもあります。
どうすれば統一性をもって誰が周りにいても話せるようになりますか？