離婚談好的條件可以反悔嗎？

哥哥和嫂嫂當初離婚說好共同擁有兩寶的監護權

目前一人扶養一個

後來我嫂嫂的媽媽怕我哥和我嫂嫂舊情復燃

就禁止小姪女跟我們家來往

不讓我們跟小孩通電話還有見面

這樣的情況應該算違反離婚協議了吧？
不知道有沒有媽媽遇過類似的情況
可以跟我們說說該怎麼辦
畢竟雖然年輕人已經離婚了
但家裡兩老還是會想孫
不知道要怎麼處理～～～好困難啊～～～