義理の身内との常識違いに悩んでいます 昨年末に夫の提案で義理の姉夫妻とその子供(高校生男二人)と年越しをすることになりました。義理の姉は自宅に人を招いたこ

主さんの思われるのが一般常識でそれは義理のお姉さんに常識がないと思います。
人の気の良さにつけこんで図々しい人って他人どうしでもありますから、身内ならなおさらこれからも甘えてくるでしょう。
可能なら今後は年越しも一緒でなく個々でやられたほうが良いと思います。
お祝いに関してはいただいたのと同等の額を渡せば良い。
一般的なマナーとしてはいただいた金額がわずかでも義理のお姉さんにとっては5000円が妥当だと思われたからなのだから、こちらも相手にあげるときには相手のその感覚に合わせるのが礼儀です。
いただいた額より多い額を渡すのは逆に失礼になります。ましてや義理のお姉さんなら目上の方ですから。
嫌がらせではなく純粋に義理のお姉さんの感覚に合わせてお祝いのお付き合いをされれば良いだけです。