どうして不倫はいけないことなんですか？

傷つくたくさんの人というのは、不倫の当事者の伴侶や親族、関係者などのことですか？
もしそうなら、伴侶や親族、関係者の全員が傷つかない人たちの場合は、不倫はいけないこととは言えなくなるということでしょうか？

それとも、たくさんの人には、たとえば私やあなたのように、ある不倫の当事者とは関係のないあかの他人、世間なども含むということでしょうか？
もしそうなら、他人の不倫で世間やあかの他人までが傷つくのはなぜなのかと考えます。