既婚者同士で同級生。 二人で飲みに行くのは不倫なんですか？ 肉体的な関係はなく、連絡も頻繁にとってない状態です。 会う約束も不定期、早めに言ってくれた

継続的な配偶者以外との肉体関係を一般的に不倫と言います。
貴方がしている事は、主観で言えば不倫でも浮気でも無いでしょうが只、配偶者の理解が無いとしたら不貞にあたると思います。
そして多分、貴方は男女間の友情は無条件に成立すると云う考え方だと思いますが、双方の配偶者が異なった考え方ならば、揉め事の火種になりますから、少なくとも配偶者の同意と理解が必要でしょう。
又この先関係性がどうなるかを他人に聴くようでしたら、そこには友情以外の何かが存在しているのではないでしょうか。