跟長輩同住會讓他們隨意進房間抱寶寶？

不知各位全職媽媽都在家的哪裡帶還孩子？會讓長輩進房間抱寶寶？

家裡只有我跟先生和公公同住，寶寶出生後我就全職在家帶孩子，白天老公去上班只剩我跟公公兩個大人在家，因為寶寶還是新生兒，所以平常只待在房間讓他好好睡，每天在寶寶清醒的時段會抱出去給公公抱抱玩玩。
今日趁寶寶熟睡時，我去廚房蒸一下食物，進廚房才一下下，公公就準備衝進房間要去抱寶寶，我立馬跟過去阻止說寶寶還在睡沒關係我來顧就好，不讓他進房間，
先前我外出時，老公也有讓公公進房間幫忙顧寶寶，不知道是不是這樣讓公公以為自己可以進去抱寶寶。
總覺得跟長輩住只有房間是我很私密的空間，真的很不希望別人隨意進出，不知道有跟長輩同住的媽媽都是怎麼做？