不倫されてました

ご主人とやり直すつもりなら尚更、きちんとけじめをつけさせたほうがいいと思いますがね。
ご主人にしても、妻がこれだけ毅然としてるしもう愛人には近寄れないと思わせないと、また調子に乗り修復するかもしれないですし。法的効力ない念書一枚の現状は主の泣き寝入りですよね。
せめて引っ越しさせたいなどあるならば、やっぱり慰謝料含む示談の会話の中で話し合ったほうがいいと思いますよ。ショベルカーで突っ込んで立ち退かせるわけにもいかないですよね？
まあどうしようもなくなったら弁護士頼ってください。腕のいい人はかなり頼れます。