花圃內有螞蟻窩要去除嗎？

最近家裡前面的小花圃發現一個螞蟻窩
會對我種在花圃的桂花有什麼影響嗎？
在花圃內我種了5顆桂花
已經掛了3顆，我另外買了3顆重新種上
現在那5顆桂花的葉子有部分都會變黃後枯掉
在種桂花上有沒有什麼需要注意的地方呢？