既婚者です。パート先の4つ歳上の同じ既婚者男性が好きです。気持ちを押さえようとすればする程感情が増していってます。もう連絡先を書いた紙を渡してしまうと思います。

好きになったこと事態は仕方ないことだけど、自らちゃんと抑えるのではなく相手に委ねる気満々ですね。

初めから友人関係だったという訳ではないのですから、主さんが連絡先を渡したら好意を持ってることは伝わりますよね？
では、相手の方が火遊びのつもりで連絡してきたら話に乗るんですか。

主さんは「相手の家庭を壊す気はない」と仰いますが、相手が何の気持ちもなかったとしても主さんの連絡先を書いた紙を持っている、若しくは主さん達お二人とも軽い気持ちでやり取りした程度のことでも奥様に知られたら、そこから相手の家庭がギクシャクし最終的に壊れる可能性は十分に考えられます。
あわよくばと考えていたら尚更です。
それについてはどうお考えなのでしょうか。

ご自分の家庭ならともかく、お相手夫婦に態々波風を立たせるようなことをしようとしているのですよ。責任取れます？

そもそも、まだ個人的に連絡も取っている状態でもないのにまるで恋に恋する十代の若者のよう。
冷静になって考えて下さい。誰も幸せになれません。大切な人を傷付けたり手放したりしたいですか。