過去市場談到人工智慧（AI），焦點多半集中在 GPU 的算力競賽上。然而，AI 模型的運作遠不只是「算得快」，更需要「拿得快」。無論是模型訓練還是即時推論，都需要以極高速度搬運龐大的數據資料。如果把 GPU 比喻為切菜、烹飪速度極快的主廚，那麼記憶體就像是廚房的備料區與輸送帶；主廚速度再快，若備料輸送跟不上，出餐效率依然會受到限制。如今，AI 發展正式從單純比拼運算力，邁入「算力與記憶體同步升級」的新階段。
📌 本文導覽目錄（點擊可跳轉至該段落）
一、AI 為什麼越來越需要記憶體？
在生成式 AI 與大型語言模型（LLM）的世界裡，每一次運算都伴隨著海量資料的吞吐。AI 的執行流程包含了模型權重（Weights）載入、輸入資料處理、中間運算結果（如注意力機制的 KV Cache）暫存與輸出生成。
當模型參數持續擴大、上下文長度增加，同時服務的使用者越來越多，需要被即時儲存與搬運的資料量也快速攀升。當 GPU 運算速度提升得比記憶體資料傳輸速度更快時，就可能形成所謂的 Memory Wall（記憶體牆）：GPU 明明還有運算能力，卻因為資料來不及送達而必須等待。
- 傳輸效率直接決定系統表現：即使 GPU 具備頂級運算力，若記憶體無法及時餵入資料，處理核心就會陷入停頓等待，無法發揮應有效能。
- 容量與頻寬缺一不可：容量決定了能同時容納多大的模型與上下文，頻寬則決定了資料在運算單元與記憶體之間的流動速度。
因此，GPU 與記憶體並非二選一的替代關係，而是相輔相成的搭檔。AI 系統的整體效率，高度取決於運算晶片與記憶體架構的協同設計。
二、HBM 是什麼？為什麼成為 AI 高效能運算的關鍵？
HBM（High Bandwidth Memory，高頻寬記憶體）在技術本質上仍屬於 DRAM（動態隨機存取記憶體），但它顛覆了傳統記憶體的結構配置與封裝方式。
傳統 DRAM 通常以單層封裝平鋪在主機板上，資料通道（Bus Width）較窄且與處理器距離較遠；而 HBM 則是將多層 DRAM 晶片垂直堆疊，透過矽穿孔（TSV, Through-Silicon Via）技術進行內部垂直訊號連接，並經由先進封裝中的微中介層（Interposer），緊密配置在 GPU 核心晶片四周。
這項創新帶來了三大關鍵優勢：
1. 極高頻寬： HBM 採用極寬的資料介面，可以同時傳輸大量資料，因此能提供遠高於傳統記憶體的資料傳輸頻寬。
2. 高空間密度：透過 3D 垂直堆疊方式，在有限的晶片封裝面積內，提供極大的記憶體容量。
3. 靠近運算核心：縮短了記憶體與 GPU 之間的物理距離，大幅降低訊號傳輸延遲與傳輸過程產生的功耗。
若把一般記憶體比喻為車道有限的一般平面道路，HBM 就像是直接建在 GPU 運算核心旁邊的「多線道立體高速公路」。HBM 的出現並非要取代 GPU，而是為了移開資料傳輸的阻礙，讓 GPU 頂級的運算效能得以完全釋放。 因此，現今 AI 加速器的效能競爭，已不只是比較 GPU 的理論算力，也會同步觀察 HBM 容量、記憶體頻寬、功耗，以及 GPU 與 HBM 的整合封裝能力。換句話說，HBM 已成為能否充分釋放 AI 晶片算力的重要條件之一。
三、HBM、DRAM、NAND 有什麼差別？在 AI 裡各自做什麼？
打造一台完整的 AI 伺服器，並不是只靠 HBM 就能運作，各類型記憶體在系統中各自扮演不同層級的分工角色：
| 記憶體類型 | 核心架構與特性 | 資料存取速度 | 在 AI 伺服器中的角色與任務 |
|---|---|---|---|
| HBM (高頻寬記憶體) | 多層 DRAM 垂直堆疊，具備極致頻寬與微縮體積。 | 極快 (達每秒數 TB 級別) | 與 GPU 一同封裝，存放正在進行高速計算的模型參數與即時運算暫存。 |
| 標準 DRAM (如 DDR5 / LPDDR5) | 平面單層封裝，兼具適當速度與成本，泛用性高。 | 快 (每秒數十至數百 GB) | 作為系統主記憶體（System Memory），負責伺服器 CPU 的通用運算、任務調度與系統運作。 |
| NAND Flash (快閃記憶體 / SSD) | 非揮發性儲存，斷電後資料不遺失，具備超大容量與經濟性。 | 中等 (每秒數 GB 級別) | 扮演熱資料庫的角色,存放當前正在訓練使用的資料集、特徵工程的中間結果等需要頻繁讀取的資料。 |
在電腦科學中，存取速度越快的記憶體，單位成本越高。因此 AI 伺服器採用層級分工：最需要即時運算的數據放在 HBM，系統排程與通用資料交給 DDR5，而訓練資料集的高速暫存與中間結果則儲存在企業級 SSD (NAND Flash)
四、AI 訓練與推論，為什麼都會推升記憶體需求？
記憶體的需求擴張並非只發生在 AI 剛開始的訓練階段，隨著應用普及，推論階段同樣在持續推升記憶體的規格與消耗量：
1. 訓練端（Training）：極致頻寬與海量運算的考驗
訓練大型 AI 模型時，系統必須將數百億至上兆的參數反覆進行載入、前向傳播計算、誤差回傳並即時更新權重。這個過程需要長時間、不間斷地進行極高頻率的資料交換，因此極度仰賴 HBM 帶來的高頻寬與龐大容量支撐。
2. 推論端（Inference）：大規模部署與長文本的即時響應
當模型訓練完成並上線提供服務時，每一次使用者提問，系統都需要將龐大的模型權重調用出來。隨著應用場景演進，以下需求讓推論端的記憶體負擔持續加重：
- 上下文長度增加：長文本對話或超長文件分析，需要暫存大量的注意力矩陣資料。
- 多模態應用擴張：處理文字、高解析度圖片、音訊與影片等多元資料，資料量遠大於純文字。
- AI Agent 普及：自主代理需要保留對話記憶並調用工具鏈，大幅增加常駐運算記憶體的消耗。
這意味著，AI 對記憶體的需求是一項長期基礎建設，從開發端的訓練一路延伸至應用端的龐大推論市場。
3. 從訓練走向推論，記憶體需求也開始向 DRAM、NAND 擴散
AI 從模型訓練走向大規模推論後，並不代表 HBM 的重要性下降，而是整體記憶體需求開始從 HBM 向更多層級擴散。
HBM 仍是 GPU 與 AI 加速器進行高速運算的核心記憶體。 隨著推理模型（Reasoning Model）、長上下文（Long Context）、多模態 AI 與 AI Agent 發展，每次推論需要處理的文字單位（Token）與暫存資料增加，尤其 KV Cache（鍵值快取） 對記憶體容量的需求 ，也使高頻寬、高容量 HBM 持續扮演關鍵角色。
DRAM 則主要支援 CPU 系統記憶體、資料調度及部分推論架構所需的大容量記憶體。當 AI 伺服器朝 Rack-scale 架構發展，系統對高容量 DDR5 等主記憶體的需求也可能同步提升。
NAND Flash／Enterprise SSD 則負責更大量、需要長期保存的資料，例如模型檔案、訓練與推論資料集、向量資料庫、RAG 資料、Checkpoint 與 AI 生成內容等。隨著 AI 應用規模擴張，高速企業級儲存的重要性也會逐漸提高。
五、全球 AI 記憶體產業有哪些指標性公司？
觀察全球 AI 記憶體產業，可以從「核心原廠供應端」與「運算晶片需求端」兩大維度來理解產業角色：
供應端：三大記憶體製造原廠
- SK 海力士（SK hynix）：早期積極投入 HBM 開發，在多代 HBM 產品的量產與良率上建立了領先優勢，是全球高階 AI 加速器的主要供應商之一。
- 三星電子（Samsung Electronics）：全球記憶體產業龍頭，擁有涵蓋 DRAM、NAND 到先進封裝的一體化整合能力，積極擴充新世代 HBM 產能。
- 美光科技（Micron Technology）：美系記憶體代表廠商，積極推進先進節點製程，在每瓦效能與傳輸速度上展現競爭力，擴大在高階市場的市佔佈局。
需求端：AI 晶片與加速器巨頭
- NVIDIA、AMD 等晶片設計龍頭：作為主要需求方，其旗艦 AI 晶片世代演進（如搭載更高規格的 HBM3e、HBM4），直接定義了記憶體技術的升級規格與市場需求規模。
HBM 下一階段的競爭關鍵是什麼？
| 競爭面向 | 為什麼重要 |
|---|---|
| 頻寬與功耗 | AI 晶片算力與功耗同步提高，記憶體必須在更高頻寬下兼顧能源效率 |
| 堆疊層數與良率 | HBM 堆疊層數提升後，製程與良率控制更加困難 |
| Base Die | HBM4 之後邏輯 Base Die 的重要性提高，HBM 不再只是單純 DRAM |
| 先進封裝與散熱 | GPU／ASIC 與多顆 HBM 必須整合，封裝面積、翹曲與散熱難度增加 |
| 客戶共同開發 | NVIDIA、AMD 與大型雲端業者對 HBM 規格需求逐漸差異化，提早進入下一代平台認證更加重要 |
六、台灣 AI 記憶體產業鏈有哪些重要角色？
台灣並非全球 HBM 原廠的主要生產基地，但 HBM 從記憶體晶片進一步整合進 AI GPU、ASIC 與伺服器系統的過程中，涉及大量先進封裝、異質整合、設備材料、測試與高速儲存技術，這些反而是台灣半導體供應鏈的重要強項。
- 先進封裝與晶圓代工（如台積電）：HBM 必須透過先進封裝平台（如 CoWoS）與 GPU 整合封裝，台積電的晶圓製造與先進封裝技術，是全球 AI 加速模組能否順利出貨的核心樞紐。
- 標準型與利基型 DRAM（如南亞科、華邦電）：當全球三大原廠將產能資源大幅轉向 HBM 與先進 DDR5 時，常規 DRAM 的供需結構獲得調整；同時，邊緣運算（Edge AI）裝置對利基型記憶體的需求也逐步展開。
- 快閃記憶體控制晶片與儲存方案（如群聯）：AI 伺服器需要極速讀寫海量訓練資料，帶動 PCIe Gen5 等高速企業級 SSD 控制晶片與客製化儲存方案的發展。
- AI 伺服器系統整合（如廣達、緯穎、鴻海等）：負責將高階 GPU 模組、大量 DDR5 主記憶體與高速儲存陣列整合成高效能伺服器系統，供應全球雲端服務大廠。
七、投資人觀察 AI 記憶體產業，可以看哪些指標？
關注 AI 記憶體與相關產業動向時，可建立客觀的數據觀察視角：
1.AI 晶片賣多少？每顆又用了多少 HBM？： 觀察 HBM 需求，不能只看 AI 晶片出貨量，還要看每一顆 AI 晶片搭載多少 HBM。 舉例來說，就算未來 AI 晶片出貨成長速度放慢，只要新一代產品需要更大的 HBM 容量、更高的堆疊層數，單顆晶片使用的 HBM 就可能增加。因此，「AI 晶片出貨量 × 每顆 HBM 搭載量」可以幫助判斷整體 HBM 需求是否持續成長。
2. 大型科技公司還在不在 AI 上花錢？大家有沒有真的在用 AI？：微軟、Google、AWS 等大型雲端業者，每年投入多少資金建置 AI 資料中心，是觀察 AI 伺服器需求的重要指標。 但長期來看，更重要的是 AI 應用有沒有真正被大量使用。像是 AI 搜尋、Copilot、AI Agent、圖片與影片生成等服務使用量增加，每一次提問、生成與推論都需要運算與資料存取。當 AI 使用人數與使用頻率持續提高，就可能進一步帶動 HBM、DRAM 與 NAND 的需求。
3. 三大記憶體廠把產能用在哪裡？： 目前全球主要記憶體原廠包括 SK hynix、Samsung 與 Micron。投資人可以觀察它們把多少產能投入 HBM、高容量伺服器 DRAM，以及一般 DRAM。 因為晶圓產能有限，如果記憶體廠把更多資源轉向 HBM 等高階 AI 記憶體，一般 DRAM 的供給成長就可能受到影響，進而改變市場供需與價格。因此，不只是「AI 記憶體賣得好不好」，原廠怎麼分配產能也很值得留意。
⚡ fun心小百科：理解記憶體產業的「科技升級」與「景氣循環」
雖然 HBM 帶來了明確的技術規格升級與高附加價值，但傳統記憶體產業依然具有景氣循環特性。各原廠的擴產節奏、終端消費性電子的需求復甦力道，以及整體合約價格走勢，都會影響相關公司的營運表現。評估產業時，應同時考量技術成長性與供需循環的波動變化。
🎨 1分鐘看懂：AI 記憶體重點圖解
用 fun心仔 趣味圖解，1 分鐘快速掌握 HBM 與 AI 記憶體生態系核心精髓：
【1分鐘看懂 AI 記憶體與 HBM 架構圖解】
圖片來源：康和證券 fun心學原創圖解
💡 AI 記憶體常見問題 FAQ
Q：HBM 是不是一種全新發明的記憶體材料？
不是。HBM 的核心材料依然是 DRAM（動態隨機存取記憶體），主要突破在於運用 3D 垂直堆疊（TSV）與先進封裝技術，將多層晶片立體整合，大幅拓寬資料通道與頻寬。
Q：既然 HBM 這麼快，為什麼電腦不全部換成 HBM？
主要在於製程難度與成本考量。HBM 涉及複雜的 3D 堆疊與先進封裝，製造成本遠高於一般記憶體，目前主要配置在極度重視傳輸效率的高階 AI 伺服器與高效能運算（HPC）領域，一般消費級電腦採用標準 DDR5 即可滿足多數需求。
Q：為什麼 AI 運算不能只單純增加 GPU 數量？
若記憶體傳輸頻寬與容量不足，增加更多 GPU 反而可能因為資料傳輸延遲而造成運算單元閒置等待。算力與記憶體傳輸必須同步升級，才能達到最佳的整體運算效率。
Q：台灣沒有三大記憶體原廠的品牌優勢，也能參與 AI 記憶體發展嗎？
可以。台灣在先進封裝（如台積電 CoWoS）、高速儲存控制晶片（如群聯）、以及全球 AI 伺服器系統組裝整合等環節，均為全球 AI 基礎設施不可或缺的關鍵支柱。
💡 結語：算力奠定速度，記憶體決定效能的高度
AI 的進化是一場全面性的系統工程。當演算法與 GPU 算力不斷突破極限，記憶體的傳輸頻寬與容量成為釋放運算潛能的重要關鍵。從 HBM 的立體封裝、DRAM 的系統調度，到 NAND Flash 的資料儲存，看懂各類記憶體的分工與產業鏈角色，能幫助我們以更宏觀且結構化的視野，掌握半導體與 AI 產業的長期發展趨勢。
