吵到快離婚了怎麼辦?

最近為了老公要回婆家住，吵架吵到快離婚了，
我們結婚四年有一女兒，在外買房，離婆家約10分鐘車程，
在這之前因生活飲食習慣不同很少主動說要回婆家走走關心，
一個月回婆家吃飯兩三次，
常帶女兒回娘家住幾天，所以女兒跟娘家親，婆家較不親
關係也不是很好，
老公是家中獨子，有三個姐姐，大姐結婚了，
兩個姐姐沒結婚沒工作住在家，一個輕度智能不足，一個癲癇
兩個都沒什麼生活能力，但其中一個姐姐喜歡窺探人隱私，堅持己見
偏偏我是一個注重隱私的人，真的是無法相處，跟老公說只得到我什麼我要跟個有病的人計較，試問有病就可不尊重人嗎？
最近因公公視力退化，只對光線有反應，所以老公想回去就近照顧，
但老公工作都早出晚歸，白天只剩我與女兒在家
所以不想回去住，
所以跟老公說以前我對你家人態度錯了，我今後改
我會多花時間在你家人及多待在家不亂跑
只是家裡需要幫忙打電話給我我會去幫忙，常打電話回家關心
但老公堅持一定要搬回去住，要不就是意見不合離婚，小孩歸我照顧
我不想離婚呀！
請問各位大大水水我該怎麼做呢？