さみしかったからかな？過去に不倫しました。相手は独身、チャラいけどやさしく、とことん私の話を聞いてくれました。私は親から誉められたこともなく、愛されてる自信がな

貴女が不倫の原因を配偶者への不平不満だと考えている限り、己の幼少期からの境遇だと責任転嫁している限り、おそらくは又同じ事を繰り返すでしょう。
要は、貴女は不倫が発覚した事を反省しているだけで、不倫と云う行為の本質を根本的に理解していない、御主人への罪悪感も無いといった状態だと見受けられます。
己の倫理や道徳、貞操観念が低いから、貴女がそう自覚していないから、連絡とる位は許される、次は体の関係が無ければ、最終的にはばれなければ良いそんな思考のバターンになるのではないかと予想されます。
貴女もそして御主人もおそらくは、エスパーではないでしょうから、お互いの心はよめない、判らない、しかしなから貴女は継続的に御主人に対して嘘の上塗りを続けながら、間男と肉体関係を結びながら、家庭では平然と家庭生活を送る事が可能な人間だと自らが証明してしまった、つまりは御主人から貴女への信頼なんて余程赤の他人の方がましな位です。
そんな現状で、貴女は連絡位はなんて、でも四六時中御主人は貴女と一緒にはいない、その間隙の貴女が不貞を犯していない信憑性を担保する信頼が回復していない今、貴女が連絡のみと主張しても不倫をしていない事を証明する事は出来ない、悪魔の証明故にです。
相手に疑念や疑惑を少しでも抱かす行為は慎む、それが有責配偶者の当たり前の行動ですから、そのような軽々しい考えが浮かぶ時点で、再構築は無い、そう感じます。