請教法律問題

大家好:
我有一個法律上的問題想請教
我的爸爸在我很小的時候就幾乎沒有在負擔家中生計
全由我媽媽扶養我們兄弟姊妹
爸爸長期住在北部地區,而且有另一個家庭(雖沒登記但也生了兩個小孩)
在我大學之前媽媽因為顧忌爸爸一直不負起家中一家之主的責任
所以遲遲未跟他辦理離婚手續
後來因為實在受不了(爸爸喜歡賭博會跟親戚朋友借錢)
為了求切割所以選擇在我大學時與爸爸辦理離婚
這段期間爸爸主要都住在北部很少回來
而且因為房子是媽媽的名下所以他也不得其門而入
現在因為爸爸年紀大了,有時會用各種理由開口向我們要錢
我們因為知道爸爸要錢的目的都不是用於正途
所以只能跟他說現在自己有妻小要顧,所以實在沒辦法
但我們兄弟姊妹總是會擔心
哪一天我爸會不會用遺棄罪來告我們子女們
如果是這樣的狀況遺棄罪可以成立嗎?
可是明明爸爸從小就拋家棄子而且又有另一個家庭
這樣我們為了自保能不能也告他遺棄罪呢?

煩請各位版大提供寶貴意見
謝謝!!!