40後半独身男です。職場で気になる人が出来たので、仕事中に思い切って連絡先を聞きました。 といっても、仕事中しか聞くタイミングが無くやはり仕事中だとどう交換す

良識のある大人であれば、既婚と知った時点で距離をとるものです。
たとえ彼女から連絡が来たとしても、やんわり断るのが普通なのですが、それができないから、未だに独身なのでしょう。

もしかしたら、あなたのアプローチが怖くて仕事を辞めたのかも知れませんし、逆恨みが怖くて1度食事に行ったに過ぎないとも思います。

世の中には、押しに弱い方もいますが、普通に通報されるレベルの行動を主さんはされていますので、早めに諦めてくださいね。

若い子が好きなのは自由ですが、相手に迷惑をかけないでください。

年の差なんて気にしないと言えるのは、主さんではなく相手側だけです。主さんは気にしてください。