公公跟小孩獨處！合適嗎？

我公公不管小孩有沒有在吵，都會私自帶小孩上樓去他們的房間。
我的小孩是女兒3歲
我大姑小孩男生4歲
我們都有跟公公說要跟孫子玩在樓下就好！
有次公公問我老公在樓上嗎？我說對！
那時我在廚房洗碗！公公在我跟婆婆、阿嬤面前說要帶小孩上樓找我老公！
結果我快速洗好碗，上去我們房間沒看到小孩！
我老公立馬去公公房間抱回來！公公房間是沒鎖！
我可以理解阿公想跟孫子玩的心情！
但想請問各位媽咪！
公公有這種舉動！是不是很不恰當！
我覺得很不恰當！為什麼要獨處！重點小孩沒在吵！動不動沒在看時間就問小孩要不要跟阿公睡覺！