貸款沒過 建商可以單方面解約嗎？

第一次買房還請多指教，是這樣的

最近看房子看到一間有露台的房子，喜歡地不得了

當初談的時候，建商說這戶可以讓我們先訂下來，
因為前一個買家貸款沒過，送其他家銀行也不會過，他本人也答應要退單子回來。
就這樣我們先刷了訂金，
很開心地開始規劃人生的第一間房子要如何裝潢，興奮地工作差點都無法專心。
一個星期後，我們再帶父母去看房子，建商小姐看到我們，就一臉凝重過來告訴我們說：
前買家改變心意，想要再努力籌錢，貸信貸也想辦法要買下來，所以我們只能等待他送審的結果。
老實說當下真的晴天霹靂，高興了一個星期結果是一場空，真的真的很不開心。
建商小姐的說法是，
雙方已經簽約，單子在前買家那，只要他不肯給單子，就無法把房子給我們。
我想請問各位，這種情況下建商真的只有等待的份嗎？
買方貸款沒過，建商有權利要求退單嗎？
有什麼事是我可以做的嗎？謝謝大家，這周真的過得有點煎熬…