４０代女、バツ２、子なしです。 上司と不倫をしていたことが相手の配偶者にばれて、関係を清算し、慰謝料も支払って示談にしてもらいました。 その後、示談書の

放置でいいと思います。
別に合意しなければならない義務はありません。
しつこいようなら弁護士立てて「合意しない」旨を書面で通知しても良いと思います。
主さんが「合意しない」と言っているのにしつこく連絡してくるようなら、今度は相手の方が迷惑行為（不法行為）になります。

こじれているようだし相手は揚げ足撮ってはあなたに復讐するつもりでしょうから、弁護士費用ケチらずに弁護士を立てて弁護士経由で（あなたは直接対応せず）話をつけたほうがいいと思います。
弁護士経由なら、交渉次第で、逆に「相手側に今後一切主さんにはかかわりません」という念書を書かせることだってできるかもしれません。
状況を聞く限り、↑の念書はとっておいた方がいいように思います。

いずれにしろ、もはや素人では対応できない事態になっていると思います。
弁護士を探した方がいいです。
分野としては離婚弁護士がこの手の修羅場対策の経験を積んでいると思います。