只是沒一起回去兄長就說我另一半不尊重他

我只是一個喜歡一個人帶小孩回娘家的媽媽~
我老公假日偶爾上班但是時間跟我們一般人日夜顛倒
但有時候不太想麻煩陪我回娘家
我老公的確不是很喜歡我兄長但是挑選他不再的時候回去一起看我娘家媽媽~有一次我自己想回去趁我老公入睡自己帶小孩回娘家被我哥哥罵…罵的原因是一定要看到我老公，沒看到我老公就不尊重他
甚至叫我報地址給他說哥哥說親自拜訪我老公…
我是怕我哥哥找麻煩所以不給他說自少一個電話聯絡之類我也沒給甚至我哥說我都挺外人指我老公
我聽了很傻眼我到底要怎麼辦才好