40半ばの彼氏が女子高生好きで、アダルトビデオもそれ系が多く、恋愛対象は16歳〜と言っていて、女子高生と付き合ってる40代の人の話を聞いて、いいなあーと言ってま

オーマイガー...
それは気持ち悪いですね

ロリコンでも自分の娘には欲情しない人も当然多く居られます
それは常識として近親相〇をアリと捉えてる方が圧倒的に少ないからです。

ただ、例えば自分の娘に対し欲情せずとも、最近流行っているパパ活等でJKを買っていたらどうでしょうか？

>40代の方が女子高生と付き合ってる話を聞いて、羨ましいなーまでは百歩譲って許せても、その話を聞いて自慰行為をしたと言っていた

という話が、既に出ているくらいですので...
投稿者さんの仰っているように、羨ましいと思うことはまだ分かりますが
それをわざわざ口に出し、更には自慰行為もしているとなると
残念ながら、いつ買春してもおかしくありません。

それでも彼を愛せるのか、許せるのかしっかりと考え、未成年に手を出すことで起きる問題(犯罪者になる可能性)も一緒に受け入れるくらいの相当の覚悟を、今のうちから持っておかないと危険です。

正直、投稿者さんがそこまで彼を受け入れる価値が、彼自身にあるのか考えると
個人的にはないと思います。