這樣的老公 這樣的婚姻

我現在專職在家帶雙寶，娘家媽媽也會幫忙照顧
先生因工作關係住在婆家
最近我們吵架，先生突然提他覺得每次從南北上回來看我們是在浪費時間，他想要有自己的時間做自己的事
聽到這我都傻眼
有了家庭有了孩子後，時間本就不在屬於自己了
每天24小時的照顧孩子，我也渴望能像單身那樣隨時跟朋友約了就走
但我自知無法如此自私，不是嗎
想請問大家
這樣的先生，我還需要留嗎