訪問者が怖いです…

モニターでみて見知らぬ人（特に男性）なら居留守使います。日中は新聞などの勧誘が多いので面倒ですし、なにより恐いですから。
学生時代からの癖です。恐い思いをしたことがある女性なら誰でも主さんのように慎重になると思いますよ。特に妊娠中は一人の体じゃありませんし、ナイーブになって当たり前です。

車を止めて様子をうかがっている人がいるとのことですが、車は乗用車でしょうか？男性はどのような格好をしていますか？ネクタイ姿なら保険やマンションなどただの勧誘だと思いますよ。
新聞の勧誘ならラフな格好の場合もありますから、あまり神経質にならなくても良いと思います。　
その車が頻繁に来るようなら、交番に相談してくださいね。一度襲われそうになったことなど話して、パトロールしてもらうよう要請すればよいですよ。

言っても無駄と思わずに、行動してくださいね。相談に行くと主さんの家の近所を意識してパトロールを強化してもらえるはずですから。