個人積分：4423分
文章編號：92191768
個人積分：16262分
文章編號：92198389
Sinfield wrote:
最近的熱門新...(恕刪)
NVIDIA 宣布打算投資 OpenAI 高達 1000 億美元，外界也好奇這些錢到底用在哪裡。答案是：幾乎全用來買「算力」。
最新資料顯示，OpenAI 在 2030 年前，光是租用與建置運算資源的花費，將飆到一年 1000 億美元，比現在多出六倍，堪稱史上最大規模的 AI 燒錢計畫。
目前 OpenAI 一年大約花 160 億美元買算力，其中訓練模型要 90 億、推理運算要 70 億。到了 2030 年，這兩部分將各自膨脹到 500 億美元。這也符合趨勢：模型越多人用，推理需求甚至比訓練更貴。難怪執行長 Sam Altman 已經預告，未來會有「超耗算力的新產品」，而且可能需要 Pro 會員額外付費。
這樣的花費規模，甚至比 Google、Meta、Amazon 還高，讓 OpenAI 幾乎成為一間「只為算力而存在」的公司。有分析師直言，OpenAI 正在走 SpaceX 式的道路：用驚人的資金堆出技術極限，哪怕短期內不賺錢，也要卡住下一輪 AI 競賽的門票。
——————-
看樣子要大力出奇蹟用錢卷死對手後再談賺錢
遙遙領先國的華為也一樣，財報不用管，卷死對手再說～
個人積分：525分
文章編號：92245526
個人積分：2986分
文章編號：92245687
個人積分：16262分
文章編號：92262416
tonyboy015 wrote:
OpenAI...(恕刪)
但是 AMD的生態圈沒有CUDA的好用
當開發時程一直抓bug delay太久
人家NVDA新的一代出來就落伍了
也就是老黃說即使對手晶片成本是0
整體費用NVDA還是最便宜
Deepseek因為不用NVDA硬用華為
delay數月造成上市就落伍
愛國的代價...
老黃不是簡單人物
從GPU開始被人用GPU訓練AI就在賭
OpenAI還被老黃送了全世界第一台的AI專用GPU
熬了十幾年的CUDA等到ChatGPT出來才開始大賺錢
老黃的眼光可以佈局十幾年
老謀深算的遠勝只會喊遙遙領先的東方各廠
十幾年的CUDA發展讓 AI開發的流程所需的程式都早已齊全更新換代...
對手的完善程度超越人家十幾年的功力與維護
真的有點難
也就是老黃的底氣...
很多人都只會看到NVDA成立以來股價翻了數十倍
但是每次一崩就是跌7成
近期是礦機潮崩...
不過老黃也沒在怕甚麼
成立以來一直風雨飄搖的向前
顯卡廠商從上個世紀以來數百家到現在的獨大
老黃本來就不是個溫恭儉讓的謙謙君子
我的印象一直是超強悍的好鬥的鬥士
一直在跟客戶與對手告來告去沒在怕的悍!!!
只是近幾年來老黃在台灣的親民形象
讓人以為老黃是個老好人
讓這幾年才認識老黃的人有此印象...
我相近老黃的經歷與數次的絕地重生又押對寶
只有一次是僥倖存活下次不一定
但這傢伙已經經歷數次而不倒
百家對手的死人堆爬出來的王者...
我相信他早就老謀深算的盤算過AI泡沫的場景
股價爆破對他來說是家常便飯
但是泡沫後的商機
敵人死光後如何搶占市場
他心中早有定見...
百家對手的死人堆爬出來的王者..
不是簡單人物...
----------------------------
有在業界混過的都知道
MOU這種東西
就如同中國口中的歷史文件
想翻盤就隨時翻...
個人積分：525分
文章編號：92268586
個人積分：16262分
文章編號：92296027
產能與需求才是評估的要點~
---------------------------------------
投資人注意，匯豐銀行最新研報將 英偉達（NVIDIA）評級上調至「買入」，目標價從 200美元直接跳升至320美元，上漲空間達78%。這次激進看多背後，有兩大核心理由：
1️⃣ 臺積電CoWoS先進封裝產能飆升
2️⃣ 與OpenAI及Stargate項目形成「閉環交易」
🔹 臺積電產能分配激增，供應鏈釋出強烈信號
• 匯豐將 2027財年CoWoS晶圓產能配額從48萬片上調至70萬片，同比增長 140%。
• 這是自2025年第四季以來，產能分配首次大幅上調。
• 對英偉達而言，這意味著 2027財年數據中心收入可望達3510億美元，較市場共識2580億美元高出36%。
• 若產能進一步達到80萬片，數據中心收入甚至可能觸及3900億美元，每股收益可達9.68美元，比基準情境高出11%。
• 過去經驗顯示，CoWoS產能擴張往往是英偉達業績超預期的先行指標。
投資人角度：產能飆升不只是數字遊戲，而是 實際反映市場需求強勁，尤其AI GPU需求，對股價及長期盈利增長具有高度支撐作用。
🔹 OpenAI「閉環交易」的驚人規模
• 匯豐指出，英偉達、OpenAI與甲骨文形成三角交易結構：
• 英偉達向OpenAI投資最高 1000億美元
• OpenAI與甲骨文簽署 超3000億美元五年合作協議
• 甲骨文再從英偉達採購GPU
• 根據匯豐估算，僅Stargate和OpenAI承諾的 18.3GW部署，就可能帶來 2510-4000億美元收入，幾乎是2027財年市場預測的兩倍。
• 分不同GPU代際計算：
• Blackwell B300：約需1000萬顆芯片，總收入4000億美元
• Rubin：需約800萬顆，總收入3360億美元
• Rubin Ultra：需約440萬顆，總收入2510億美元
---------------------------------
記得去年2月我開始重倉NVDA,2024年初開始從4XX起漲...
當時才6XX(未拆股前), 然後一堆財經博主說1000原有支撐1000沒問題,還用遠期市盈率DCF等來看
然後目標越調越高
然後今年農曆Deep Seek一天跌17%, 之後陰跌數月又有川普之亂...
最後還是拉到191
如果用上帝視角回顧NVDA這兩年的發展
華爾街的分析師與投行的眼光還是有限
有人說看到的是線性思維,但是實際發展是指數思維
一些文組人可能連指數思維要用對數座標軸來標示都不知道
不知道華爾街的那些分析師數學行不行...
-------------------------------
我最近一直在研究大語言模型的極限發展
用第一性原理來分析
AI有流派之爭
符號主義與連接主義
現在的LLM是屬於連接主義,也就是CNN的觀念
其實LLM用文字接龍的方式為什麼可以有千變萬化
那是用上高維的向量空間
物理上我們的生活是三度空間加時間頂多四維
弦論說是11 or 21維 (M理論 ....)
如果三維推到高維的發展
那就是發展的機率的擴增
維度增加
關聯的連接性越來越大
據說文字的向量維度到了2千多維度
也就是一個連接點的關聯性達到2000多種
每個節點這麼多變化
然後百億的節點的連乘就是天文數字的關係
當然要用巨量的GPU來推敲彼此的關聯性的權重
其中自然開創一堆演算法,如自注意力機制,反向傳播...
這樣算下來後
其中的網格節點的關聯對於人類來說是黑箱
其實這很正常
我們人類知道腦袋幾百億的神經元怎麼連接的嗎?當然不知道...
LLM這樣的發展
讓人覺得好像機器有意識
不過有學者覺得
LLM的極限來自於自身的資料領域
看似有意識,其實是高維空間向量的統計的資料
NVDA與一堆科學家研究人工數據讓機器學習
不過用第一性原理來思考
LLM是通往AGI的方向嗎?
有人覺得未必
因為都是靠人類的經驗範圍也是在這
LLM能發明數學公式理解物理法則嗎?
重點在於理解
LLM這種模型有"理解"的功能嗎?
圖靈獎得主做了一個比喻
圍棋軟體Alpha GO贏過人類
Alpha Go就如同一種LLM
背了所有人類棋譜後的資料庫
高維向量空間的思維超過人類的低維思考
然後Alpha Zero則是完全放棄人類棋譜
只告訴圍棋規則
自己從無到有靠算力自己找出
舉個例子
用AI來開賽車
只教油門踏板與換檔煞車
然後過第一個彎花了10 萬次的失敗過關
第二個彎也花了10萬次
所以運算量是 10萬乘上10萬
所以運算量是指數函數的增加
靠的是強大的算力找出來
這樣的機制發展的Alpha Zero
結果 Alpha Zero秒殺Alpha Go
因為Zero自創招數贏過人類思維的招數
很多不是人類想出來的方法
自己找出來的
這種就是發明
不過這種算法的缺點是專一性太強
無法像LLM一樣的通用
所以OpenAI一堆人宣稱AGI即將到來可能有點不切實際
但是未來的算力再繼續猛增
或是量子電腦成熟
宇宙的無限多種可能用暴力算出來
不要說AGI了
都可以當神了...
不過要到那一步還有得等
------------------------------------
回歸到原點
那怕是LLM的計算把人類的資料用完
再加上人工創造的數據再運算
如果繼續推廣高維的空間數
算力還是指數型的發展
LLM會越來越好用
滲透至人類社會也會更深入
GPU的需求還是會以指數型的增加
GPU不是光纖
3年後就落伍了
老黃陰謀就是黃氏定律
加速系統的運算能力
淘汰舊的GPU
這樣人家年年都有錢賺
上下文的拉長Token需求會暴增
暴增的數學定義
是
線性關係
還是
指數關係...
個人積分：16262分
文章編號：92304396
Sinfield wrote:
對於長線價值...(恕刪)
轉傳：
網友傳了篇新聞，標題非常聳動，號稱算力超過頂級GPU千倍，似乎在大陸產生了算力的大突破。身為EE-CS背景的我當然忍不住看了一下。發現這是使用RRAM(可變電阻式記憶體Resistive random-access memory)架構的應用，實際對AI帶來的衝擊可能並沒有新聞中描述的這麼大。新聞記者由於對技術比較不瞭解，文字中可能有比較多的誤解。因此幫大家科普一下。
目前所有電腦的運算都是基於源自1940年代的馮‧紐曼架構(von Neumann architecture)。在這個架構中，記憶體(Memory)與運算單元(Compute)是分開的。資料必須先從記憶體取出，搬進運算核心處理，然後再寫回記憶體。在von Neumann架構中，記憶體的效率和運算單元的速度必須互相匹配，才能產生最佳的效能。
GPU的興起，就起因於CPU無法高效處理大量資料的重複運算需求，變成運算的瓶頸。GPU透過數千個小型核心同時執行相同指令，以平行運算解決傳統CPU的瓶頸，成為處理AI與大規模資料運算的關鍵架構。但隨著GPU運算效率的大幅提高，記憶體的速度反而成為新的瓶頸。最近熱門的HBM(高頻寬記憶體)就是透過堆疊式設計與超寬匯流排，大幅提升資料傳輸速度與頻寬，使GPU能快速取得訓練AI模型所需的龐大參數與特徵資料。
過去幾十年的計算架構演進，大概就是一段不斷輪流解決計算和儲存瓶頸的演化史。目前AI的主要瓶頸不在算不快，而在資料移動太慢、太耗能。對大型AI模型而言，搬資料所花的能量遠高於運算本身。這被稱為 von Neumann bottleneck。訓練一個GPT-5等級的LLM，可能需要數萬顆GPU、數月時間與數億美元的電力支出。這些GPU大多時間都在等待資料從DRAM傳進來。
在這時候，有些人就開始把注意力放在另一種計算架構思路：與其不斷把資料搬來搬去，何不讓記憶體自己運算？這就是 In-Memory Computing的概念。在In-Memory Computing架構下，資料不再離開記憶體，而是在記憶體單元內直接進行乘法與加法。AI訓練和推理所需要的大量的矩陣運算可以以平行完成。理論上能達到比現有GPU高出百倍的能效。這樣的技術若成熟，意味著AI運算可能不再需要龐大的冷卻系統與電力基礎設施，也讓「低能耗、高效能」的邊緣AI設備成為可能。
這篇Nature Electronics 的論文Precise and Scalable Analogue Matrix Equation Solving using RRAM Chips由中國與新加坡的研究團隊合作完成，採用40 nm製程，以類比方式完成16×16矩陣反演Matrix Inversion，達到等同於32位元浮點精度(FP32)。同時提出「BlockAMC」演算法，將大型矩陣拆分成可在多個RRAM陣列上並行處理的子區塊，展現可擴展潛力。這項成果讓In-Memory Computing具備了可量產、可精準、可擴展的條件，的確是有意義的成果。
但AI發展真正的關鍵，不在硬體，而在軟體相容性。即便硬體再強，若沒有相容的程式語言、開發工具、框架、驅動程式與生態系統支援，就無法融入現有的AI工作流程。AI軟體目前全面圍繞著GPU生態發展：CUDA、TensorFlow、PyTorch、ONNX、Transformer Engine……這些都假設運算是在「GPU核心」上執行，而非在記憶體陣列中完成。因此，即使In-Memory Computing在計算效率上具備重大優勢，軟體若不重寫，效能潛能將被封印在晶片裡。
若要讓現有的AI軟體生態支援In-Memory Computing，要改變的東西太多了：
- 運算模型從SIMT (Single Instruction Multiple Thread)計算核心驅動轉為SIPD (Single Instruction Per Data-Region)記憶體區域驅動，需建立新的 運算抽象層 (Computation Abstraction Layer)，定義新的kernel與API。所有的CUDA API需要被替換
- 記憶體內的資料結構從矩陣式轉為與crossbar陣列相容的資料排布
- 計算架構改成以資料流Dataflow Graph為主。演算法需要對資料流進行優化，在記憶體層次直接編譯整個運算圖，盡量把相鄰節點融合為單一 memory operation。
以上所有這些都不是小修小補，而是需要建立全新的軟硬體生態。過去von Neumann架構常用的演算法在In-memory Computing架構下需要從徹底重寫，資料結構需重新設計，為了配合In-memory Computing很可能需要開發新的程式語言，連軟體工程師設計軟體的思維都必須重新訓練。
In-memory Computing架構雖然理論上可以解決現有計算的瓶頸，但是面對的挑戰更為巨大。這不只是晶片層面的改進，而是整個計算生態的重建——從演算法、資料結構到軟體框架都需重新設計。In-memory Computing 要取代現行架構，至少需要十年甚至二十年的技術、軟體與生態積累。這是一場漫長而艱難的演化，而成功並不一定是必然的結果。
————
台灣工研院：這早就有在研究很久了⋯
學術界發paper只是定性研究
工業界研究的是定量
通俗的說法學術界手搓一個晶片有新設計可以有創新就可以發paper了
但是要怎麼量產，怎麼配套研發相關的軟硬體機台設備建立上下游完整的產業鏈，那是工業界要嚴肅面對，花錢花時間逐步建立都很辛苦！
舉個例子，EUV曝光機的論文40年前就發表了，但是花了40年的研發差點讓ASML倒閉最後才在2019年量產晶片～
個人積分：29414分
文章編號：92305785
個人積分：16262分
文章編號：92305948
