幫大家科普什麼是知識蒸餾

smallbeetw wrote:
我看AI圈的說法:-...(恕刪)

跟我聽到的不一樣



當然我是小白
會許我聽倒的訊息有誤


當然這些以後會得到驗證
smallbeetw wrote:
蒸餾需要全模型,包含後臺參數。所以目前大多都是自己蒸餾自己的模型。DeepSeek 需要存取 OpenAI 的全模型包含參數才能完整蒸餾,這點作不到。

.(恕刪)


蒸餾不需要全模型!
Rico_wen wrote:
Open AI 釣起魚放到桶子裡面


Close AI 也未經原作的許可釣起別人的魚呀
Ok1988 wrote:
先聲明DeepSeek...(恕刪)
還是聽不懂
annabelles wrote:
還是聽不懂(恕刪)

文筆爛沒辦法
不過上面那個影片講的很清楚
Model distillation 是OpenAI提供的service
這是OpenAI的doc:
https://platform.openai.com/docs/guides/distillation



只有輸入/輸出 沒有模型參數 OpenAI is a closed AI

===
Aha Moment of DeepSeek-R1-Zero
他們的一個重大貢獻在這個
“pure" reinforcement learning works without any supervised data.



labeled data 是那幾個大廠花大錢才拿到的
什麼是labeled data 怎麼產生的 請看這個


labeled data費時又貴
(當各位使用ChatGPT時 OpenAI都有在收集 你的反應 當成他們的Labeled data
DS沒有嗎? 我不會懷疑)

DeepSeek避開了labeled data 給小廠/研究單位開了新道路
Mavs41Forever wrote:
DeepSeek避開了labeled data 給小廠/研究單位開了新道路
..(恕刪)


你不要label data
問題是你用別人的Teacher AI要呀~

就像抄作業不用自己努力翻書找資料
但是第一版要呀~

這個社會是20/80法則
講拿麼多還是有人聽不懂

韭菜才容易割⋯
爬山的阿光 wrote:
Rico_w...(恕刪)


有魚大家釣,人人有魚吃
釣魚變簡單,但是魚不高興
Rico_wen wrote:
爬山的阿光 ...(恕刪)


這只是表象
中國人根深蒂固的白嫖思想
無法成為真正的老大

DS的蒸餾法大家都知道
但是繼續創新還要靠別人
如果要靠別人
以後連阿里都打不過

AI要算法算力雲服務
阿里遲早輾壓DS~

AI要進步如果都要靠別人
很容易被卷死淘汰~
微軟
Nvidia

這種世界級頂尖的
都把它納入了

誰比這兩家企業的工程師厲害啊?
文章分享
評分
評分
複製連結
請輸入您要前往的頁數(1 ~ 10)

今日熱門文章 網友點擊推薦!