DAC優先權問題

請問版上的先輩
小弟現在是入門的新手 有一件事很困擾
現在用的是USB->formula 2->GT40->主動式pm0.5n 和 K701
因為一般都是使用音響 靜下來或閒暇才會使用耳機
但是接DAC時 除非把音響兩邊電源都關閉 或是把RCA out拔掉
聲音才會從耳機出來 每次都要這樣按真的很麻煩
弔詭的是 音響接回去 就直接從音響出來
意思是他以RCA out 優先嗎QAQ
有甚麼器材可以解決這個問題嗎???
不過希望是可以保留原系統的情況下