贍養 扶養

想請教一下各位的看法
當時我們有一個八歲的小朋友
孩子的母親當時只顧著玩樂 跑夜店 夜夜笙歌
孩子大部分時間都是跟著我一樣的作息 畢竟我也要很早上班
離婚前 前妻跟我要一筆贍養費 我並沒有給付
因為對當時的我 實在付不出來
而且習慣在外拈花惹草 交了一些男朋友 說明必須給他 小孩 跟 金錢 才肯放手 也就這樣拖了幾年 直到交到一個應該是有錢人的男朋友後 才跟我簽字離婚  只是但書的條件小孩必須歸他 以後一切負擔與我沒有任何關係 雙方也一直拜託放下 也簽同意書了
只是簽的當下一直跟我強調他家多有錢之類的 他們會有很好的未來 不用擔心小孩會餓著 大家各過各的 畢竟強留本來就沒有好結果
就這樣 過了快兩年 最近寄了一封掛號 信件是扶養費調解 
想請問各位大大 可以給小弟一點建議嗎
我這一年也買了房 離開了哪個傷心地 房貸每個月繳了也快兩萬 如果這時又多了這一筆..唉
當然能給 我們也是盡力 只是畢竟我也是要生活