遇到這種鄰居，該如何解決?

目前跟朋友住在一棟老舊公寓的四樓，因為是老舊公寓，所以隔音一向不好
樓下的住家有一位老人家，三不五時的就在凌晨來狂按我們電鈴，說我們吵到他休息
但事實並不是這樣，我跟我的室友生活就是普通的上班族，平常下班也差不多9~10點
我們不會在家裡開pa或是打麻將，在家裡的活動就是看電視跟走路，
那位老人家就一直說我們走路很大聲，吵到他，因為我們這間是老舊公寓，所以有架高地板，
我想這樣比較能減輕走路的腳步聲，而且我們幾乎都沒有用跑的！

最近發生比較誇張的事情有
1.好幾次我們都睡了，老人家就來狂按我們電鈴說我們吵他睡覺，跟他說我們已經睡了也不信

2.常常家裡沒人在，只有樓上有聲音就認定又是我們吵他，又來狂按電鈴，說我們不開門

3.就是前幾天發生的，大概晚上８點多，我們隔壁間的在訂牆壁，聲音弄得很大聲，
　結果那位老人家又來狂按電鈴 接著他女兒就出現了，說我們很吵，每次都這樣之類的，
　我們可能吵得不小聲，隔壁的鄰居出來說是他們敲的，這時候老人家的女兒就跟我室友道歉，
　之後我們就要跟他女兒說他常常凌晨按我們電鈴，造成我們的困擾，
　但我們有解釋常常我都不是都睡了不然就不在家，他就不聽，還說我們常常按電鈴不開門，
　試問不在家要怎麼開門，　結果我室友就跟他越吵越大聲，後來她老公出現了，
　說他旁邊看很久了,說什麼他都已經為剛剛按電鈴的事道歉了， 我們口氣幹嘛這麼不好，
　我們的重點不是在這次，而是常常亂按我們電鈴，最後還是不歡而散

請問各位這種情形要如何解決?
現在樓下的已經認定只要是樓上有再吵，就是我們這間的
我想說搞不好連我們樓上可能都會吵到他，因為我們樓上常常都在搬東西
已經跟里長反應過了，但也沒什麼成效