smallbeetw wrote:蒸餾需要全模型,包含後臺參數。所以目前大多都是自己蒸餾自己的模型。DeepSeek 需要存取 OpenAI 的全模型包含參數才能完整蒸餾,這點作不到。.(恕刪) 蒸餾不需要全模型!
Model distillation 是OpenAI提供的service這是OpenAI的doc:https://platform.openai.com/docs/guides/distillation只有輸入/輸出 沒有模型參數 OpenAI is a closed AI===Aha Moment of DeepSeek-R1-Zero他們的一個重大貢獻在這個“pure" reinforcement learning works without any supervised data.labeled data 是那幾個大廠花大錢才拿到的什麼是labeled data 怎麼產生的 請看這個labeled data費時又貴(當各位使用ChatGPT時 OpenAI都有在收集 你的反應 當成他們的Labeled dataDS沒有嗎? 我不會懷疑)DeepSeek避開了labeled data 給小廠/研究單位開了新道路
Mavs41Forever wrote:DeepSeek避開了labeled data 給小廠/研究單位開了新道路..(恕刪) 你不要label data問題是你用別人的Teacher AI要呀~就像抄作業不用自己努力翻書找資料但是第一版要呀~這個社會是20/80法則講拿麼多還是有人聽不懂韭菜才容易割⋯
Rico_wen wrote:爬山的阿光 ...(恕刪) 這只是表象中國人根深蒂固的白嫖思想無法成為真正的老大DS的蒸餾法大家都知道但是繼續創新還要靠別人如果要靠別人以後連阿里都打不過AI要算法算力雲服務阿里遲早輾壓DS~AI要進步如果都要靠別人很容易被卷死淘汰~