南部的婆婆

婆婆住在南部
每次一有連假她就會想要上來看孫子，有時候老公想想就開車下去。我可以明白她們很久才看一次孫子的心情。可是難得放假我也想好好的休息或是安排活動。老公又是那種不會主動安排活動的人，即使我都會提早跟他說在什麼時候有連假了，是不是要安排活動之類的，他也會很敷衍的回答他要想想。最後的下場就是婆婆說要上來了。
是我真的太自私了嗎？我知道老公也感覺到我的不高興，所以每次婆婆問他方便上來嗎？他都會很害怕的問我。但我能說不要嗎？！這問了不也是白問。每次為了這種事都會弄得氣氛很不好。我應該怎麼辦？