這樣也不行？？

公司同事（是異性）在我坐月子期間特地從台北下來高雄看我，因為對方說等下還有行程馬上要走，所以就沒進家裡坐坐。只是站在門口聊幾句，抱怨一下公司，不知不覺講了半小時左右，請問這樣行為很不妥嗎？
我婆家的人居然在背後說我跟同事ㄧ定有鬼，不然他為什麼不敢進來家裡面？
人家只是客氣好嗎？而且我跟他講話期間婆家長輩ㄧ直站在門口監視，搞得他也怪不舒服的，會想進去才怪。
我覺得這樣就能被講成有鬼也太荒謬了，跟娘家媽媽說，媽媽卻說我不懂事，本來就該避嫌，我老公不在家的時後就不要讓異性朋友來找我，可是明明其他家人都在啊....真的有問題會約在家裡還挑婆家人都在的時候嗎？

我真不明白我做錯什麼了...大家覺得呢？