幫大家科普什麼是知識蒸餾

Ok1988 · 2025-01-30T15:00:37+08:00

先聲明DeepSeek 不見得就是用了只是可能這需要調查Distillation首先有個Teacher 模型比如説 OpenAI需要用25萬個問題去訓練然後產生Ｏutput這個模型會根據這個過程產生中間的函數節點這個中間有各式各樣的知識然後Ｓtudent 模型去根據這個Teacher的輸入跟輸出去產生中間的函數節點那有人會問那Student 模型為何可以精簡和更有效率因爲Teacher 模型會有很多無用或用不到的知識有些產生方式Teacher會更多節點Student 模型只需要捷徑以上是我不專業的解說請高手指教

Sinfield

16272分

41樓

Sinfield

個人積分：16272分

文章編號：91048162

Sinfield wrote:
這個YT淺顯...(恕刪)

在邁向AGI的路上
各大巨頭還是要拼算力
不拼就沒有
頂多出精煉版給大家用～

大家還是要老老實實的向老黃朝貢～
老黃也是很努力的在算力方面卷死別人

別人要出ASIC自研晶片‘據説’很省
但是客製化要人費時2026年推出
設計時對標H100甚至比Blackwell好
但是花了N久時間推出
老黃早就出Rubin出來輾壓了笑到噴淚

華爾街也不是人人懂AI,也不是懂DS
恐慌殺盤很正常
到時認錯回補就行了～

什麼散戶持有多？
那就反覆殺盤多空都殺
散戶意志不堅定的就被洗出

華爾街操盤手也有業績壓力
年底作帳拼績效拿獎金
說實在的眼光也沒有多長遠

持有一年以上的散戶成本比華爾街低
要殺盤來殺呀
比成本低⋯

不過這個社會奸詐狡猾很正常
各大廠就算知道真相也會裝糊塗
拿消息面去向老黃殺價
然後把老黃的超額利潤能吐出來多少是多少⋯

假作真時真亦假
股市就是這樣的亂七八糟
長線價值投資就笑看塵世紛擾吧⋯⋯

Ok1988

227分

樓主

Ok1988

個人積分：227分

文章編號：91048166

總之新年快樂

Ok1988

227分

樓主

Ok1988

個人積分：227分

文章編號：91048175

Sinfield wrote:
在邁向AGI的路上各...(恕刪)

這次散戶似乎早熟悉機構的意圖
異常的堅定

我認識不少退休的科技業人
都準備好子彈要低接

輝達今天收平盤漲一塊

真正的問題其實是量產Bug解決了沒才是根本問題

Deepseek 只是浮雲

MiPiace

15730分

44樓

MiPiace

個人積分：15730分

文章編號：91048192

meridian wrote:
而我的問題是, 知識蒸餾有違反智慧財產權嗎?

據報導，openAI 有規定，不能拿 openAI 吐出來的結果，去訓練 ai。
所以應該有違規使用的情況，
如果在美國本土或西方民主國家，openAI 提告可能會贏。
但告中國公司，這已經提升到兩大國的國安等級了，看不出能怎麼告。

Harvey norman

9870分

45樓

Harvey norman

個人積分：9870分

文章編號：91048265

MiPiace wrote:
據報導，openAI 有規定，不能拿 openAI 吐出來的結果，去訓練 ai。
所以應該有違規使用的情況，
如果在美國本土或西方民主國家，openAI 提告可能會贏。
但告中國公司，這已經提升到兩大國的國安等級了，看不出能怎麼告。

國際大廠在中國的官司很多都是輸，其他國家都贏
<ex> 無印良品
國安問題用政治解決，法規很好用
台灣現在已經邁向國際化，抓盜版很兇

</ex>

jhlien

9521分

46樓

jhlien

個人積分：9521分

文章編號：91048549

Ok1988 wrote:
先聲明DeepSeek...(恕刪)

其實知識蒸餾技巧在很多地方都可以看到, 只是名稱不同
從網路新聞來看, 如果證明DeepSeek 是利用ChatGPT來作知識蒸餾, 就是違反OpenAI的規定, 不是知識蒸餾技巧是錯的
知識蒸餾在程式語言類似於反組譯, 在一些領域其實叫反向工程.......這幾個詞對一般人來說比較好理解
對於OpenAI來說, 要當一個Teacher, 需要把所有大量知識餵進電腦, 然後讓電腦架構模型與參數/權重, 最後得出答案
對於知識蒸餾(or Student), 我只需要對ChatGPT問一大堆問題, 然後ChatGPT會給我每個問題的答案, 我拿到問題 vs 答案後, 我用這些問題答案來訓練我自己的模型與參數答案........目標就是調整到跟ChatGPT一模一樣的輸入：問題-->輸出：一樣的答案
這樣我可以大致猜出來最佳的模型與參數權重是如何.......因此可以模型精簡與成本少很多

Ok1988

227分

樓主

Ok1988

個人積分：227分

文章編號：91048693

jhlien wrote:
其實知識蒸餾技巧...(恕刪)

事實上 Deepseek 用的FP8 Framework 是兩年前Ｎvidia 倡議的
一堆人連這個都不知道就開始炒作

問題Deepseek 有無用OpenAI 來訓練自己的模型
還有OpenAI 有無授權

有人去告openAI 等結果 openAI 還沒告Deepseek 當年微軟不也對中國盜版睜隻眼閉隻眼去想背後的原因或許不要錢的最貴也適用這裡

2025-01-31 8:53

softwind1314

還有一說是繞過 CUDA 改用 nv 更底層的組合語言所以能夠提高算力的使用率 ....... 你到底在說什麼？？？

2025-01-31 10:43

brabus1518

6217分

48樓

brabus1518

個人積分：6217分

文章編號：91048749

用完可以減少自己的時間
當然要用
也許有人是偷例用不說出來

smallbeetw

4935分

49樓

smallbeetw

個人積分：4935分

文章編號：91048856

Ok1988 wrote:
先聲明DeepSeek...(恕刪)

我看AI圈的說法：

- 蒸餾需要全模型，包含後臺參數。所以目前大多都是自己蒸餾自己的模型。DeepSeek 需要存取 OpenAI 的全模型包含參數才能完整蒸餾，這點作不到。

- 蒸餾只能得到和原本模型相比較小較精華的模型，而不能得到另一個思考行為不同的模型。DeepSeek 輸出的結果有提供思維鏈，而 OpenAI 的結果沒有提供。雖然沒有思維鏈無從比較，但若只是蒸餾或抄襲，OpenAI 的結果沒有思維鏈，則DS不可能自己產出思維鏈。而且根據思維鏈，人類可以研判驗證AI是否符合思考邏輯，不可能隨便產出。

- 如果不是真蒸餾，而是只吃 OpenAI 的產出結果。這點不排除，但也有很大的可能性是 OpenAI 的輸出結果已經反向污染了網際網路的開放資料。因為大量的人類或系統將 OpenAI 或其他AI產出的結果貼到網路上，造成網際網路的開放資料也一大堆AI產出物。這點只要爬網路資料的 AI 都會吃到，包含 OpenAI 自己。

- 最後還是最根本的，DeepSeek 是開源模型，很容易被驗證出來是否思考行為和 OpenAI 一樣。如上第二點，蒸餾是得到原模型更小更濃縮的小模型，思維模式沒有改變，蒸餾理論上不會產出另ㄧ個思考模式不同的模型。

以上...