房東不歸還押金如何處理

原訂在上個月底搬出整理好房子歸還給屋主，但屋主要提早兩天交屋，說要請人打掃和油漆，
因為我有提到房子因為還差兩天還來不及整理乾淨，屋主說沒關係，因為還有水電瓦斯是講好直接到月底比較好計算，
所以兩個月押金就沒有在交屋日先拿回，方便他之後結算水電費後，剩下再補匯給我就好。交屋當天屋主找他親戚來交屋，發現房子不如預期乾淨，但也沒做什麼溝通，之後屋主撥電話給我說房子太髒，要我出清潔費跟油漆費，我說沒有問題，但這要有個比例原則，因為房子住久了已經會有正常的使用痕跡，超過正常的範圍的髒污，我就該負擔那多出來的費用，而不是把全部押金扣光。但屋主認為房租很便宜，沒有把房子維護乾淨，說租金很便宜他少賺了10幾萬，說我已經賺到很多了，拿來補這些費用我還賺到，但我覺得租得便宜這是幫他出租的仲介開的價，怎麼會算到租屋押金上。

至於屋況髒汙的地方，這的確比一般正常租屋者來得髒，所以一定要出清潔費跟油漆錢，但我覺得屋況比例差不多是可以幫負擔一半，因為屋主嫌棄的地方，其實是在我搬進來前就有的狀況，比如陽台玻璃有裂痕，房東找師傅來安裝冷氣，窗戶被膠帶貼死開不了，房間屋頂隔板有醜醜的膠帶封住缺口，這些我也沒跟屋主提過，因為是透過房仲來租，我就是接受當下的屋況，但看起來屋主並不知道當時租給我時房子就有哪些問題，所以這次就全部算我頭上了。
清潔費是三千，油漆兩萬二，房租的押金是兩萬三。

至於屋況髒汙的地方，後面三年並沒有清潔窗戶還有地板全都使用地墊鋪在上面，還有牆壁有書櫃與其他櫃子靠在牆壁邊，所以搬離的時候牆壁有受潮油漆剝落的情況，還有許多掛畫的釘子去除痕跡，這些是我覺得該出費用的地方，但我覺得押金全拿走，這沒有符合比例原則，還是其實有這些狀況屋主全拿走押金是對的事情？

我詢問過調解會，因為屋主不住台北，所以我要去屋主所在地的調解會，這時間成本不划算，也只能認賠。

請各位鞭小力點，我也在思考是否應該全部負擔這些費用。

補充:
對方不是惡房東，我也不是惡房客，只是覺得在最後交屋時，雙方對屋況及善後的處理金額，想法上面有許多落差，撇除租金的問題外，偶爾與屋主電話聯繫也都是很客氣。

現在比較想知道，因為屋主並非住台北，我相信他不會想跑來台北調解，而我也不想請假跑去調解，時間成本上划不來。
但提告的話，我猜頂多按比例拿回一個月的押金，只是得到一個爽字，根本浪費時間。