出向先の会社の方から飲み会に誘われたけど不安すぎます…… 私の知らない人が半分ぐらいいるみたいです。 私は女なんですが、参加される女の人はかなり年上の人ばか

あくまで一般論としてで、質問者様の職場がそうでない場合もありますが、
●幹事さんに「家庭の事情で22時には（もしくは1次会で）帰ります」と伝えて、Noと言ったり・事情を詮索してきたりすることはほぼ無いと思いますよ。
（詮索されるようならそれはヤバい文化がある会社なので、距離を置きましょう）
●その上で「飲み会のポジティブな面・可能性」も意識してみては如何ですか。
（お局様と仲良くなればいろいろ融通が利くとか、思わぬ転職話が転がり込むとか、同じ趣味の人が見つかるとか）
少し気が楽になると良いのですが