請教一個土地所有權問題,該如何處理畸零地(二十個人共有)?

很多年前我的阿公和同事二十幾個人共同買了一塊土地,
土地的九成拿來蓋了五戶透天後賣掉了,另外剩下的一塊畸零地的土地所有權就由這二十幾個人共有,
每個人分到的只有一坪半(鄉下地方不值錢)

阿公過世後我們其實都一直不知道有塊畸零地
前幾年收到要繳這塊土地的土地稅(不多,只有兩百塊不到),

我爸跟國稅局講這塊地是否可以放棄,所有權由政府直接當作道路用地(在馬路邊),
當時回覆是可以

可今年國稅局電話又打來家裡,說那塊地已經被私人圍住當作私有地,所以這筆稅我們還是要每年繳
我們實地去現場看過,那塊畸零地位在蓋好的那五戶前面,所以直接加蓋鐵皮出來把前面的地當自己家使用,
這塊畸零的地也有部分是屬於那五戶的

因為這塊地的所有人有二十幾個,我們家也不想繳這筆土地稅
想要直接放棄這塊地可是又被人圍住無法讓政府變成道路用地

我們應該如何處理?