終結記憶體瓶頸？從 DDR 到 HBM 的技術躍遷全解析

Amiee
5月3日
讀畢需時 9 分鐘

為何記憶體演進至關重要？

想像一下，電腦的處理器（CPU）或圖形處理器（GPU）是個極其聰明且快速的大腦；而記憶體（RAM）就像是大腦用來暫存思考所需資訊的筆記本；如果筆記本的翻頁速度或書寫空間跟不上大腦思考的速度，那麼再聰明的大腦也無法高效運作；這就是所謂的「記憶體瓶頸」；

在數位世界裡，從智慧手機、個人電腦到驅動人工智慧（AI）和高效能運算（HPC）的龐大資料中心，對數據處理速度和量的渴求從未停止；這種渴求直接推動了記憶體技術的持續革新；過去三十年，我們見證了記憶體從同步動態隨機存取記憶體（SDRAM）一路演進到雙倍資料速率（DDR）系列，再到如今為 AI 時代量身打造的高頻寬記憶體（HBM）；這不僅是速度的提升，更是架構上的革命；本文將帶您穿越這段精彩的技術演進史，從基礎原理到前沿技術，深入了解記憶體如何不斷突破極限，滿足日益增長的運算需求。

無論您是想了解電腦核心元件運作奧秘的科技愛好者，還是追蹤前沿技術發展的專業人士，本文都將為您剖析從 DDR 到 HBM 的關鍵技術節點、設計理念、挑戰與未來趨勢；讓我們一同探索這場永無止境的記憶體效能追逐戰。

SDRAM 與 DDR 的誕生：倍速時代的來臨

在 DDR 出現之前，主流的記憶體是 SDRAM（同步動態隨機存取記憶體），「同步」是指記憶體的運作與系統的時脈同步，確保數據能在正確的時間點傳輸，然而，SDRAM 在一個時脈週期内只能傳輸一次數據。

隨著 CPU 速度的飛快提升，SDRAM 的傳輸速率逐漸成為系統效能的絆腳石，為了解決這個問題，DDR SDRAM（雙倍資料速率同步動態隨機存取記憶體）應運而生，DDR 的核心突破在於利用時脈訊號的上升緣（rising edge）和下降緣（falling edge）都能傳輸數據，相當於在相同的時脈頻率下，數據傳輸率直接翻倍，這就像原本單線道的馬路拓寬成了雙線道，車流量（數據量）立刻大增。

DDR 世代交替：速度、效率與容量的持續精進

第一代 DDR 的成功奠定了後續記憶體發展的基礎，接下來的 DDR2、DDR3、DDR4 到最新的 DDR5，每一代都在前一代的基礎上進行優化與革新。

主要改進方向：

預取（Prefetch）架構升級： 為了匹配不斷提升的 I/O（輸入/輸出）速度，記憶體核心需要一次準備更多數據，DDR 使用 2-bit 預取；DDR2 提升至 4-bit；DDR3 和 DDR4 採用 8-bit；DDR5 則進一步將 Bank Group 數量加倍並支援 16-bit 預取（等效於 8n x 2），大幅提升內部數據準備效率。
更高傳輸速率： 每一代 DDR 的 I/O 介面速度都顯著提升，從 DDR 的數百 MT/s（每秒百萬次傳輸）到 DDR5 的 4800 MT/s 起跳，甚至達到 8000 MT/s 以上。
更低工作電壓： 為了降低功耗和發熱，工作電壓持續下降，從 DDR 的 2.5V 降至 DDR5 的 1.1V，這對於需要大量記憶體的伺服器和要求續航力的行動裝置尤其重要。
更高儲存密度： 製程技術的進步和架構的優化，讓單一記憶體晶片的容量不斷增加，滿足了應用程式和作業系統對記憶體空間日益增長的需求。
架構優化： 例如 DDR4 引入了 Bank Group 設計，提升了隨機存取的效率，DDR5 則將單一 64-bit 通道拆分為兩個獨立的 32-bit 子通道，進一步提升記憶體存取效率和並行性。

支線發展：GDDR 與 LPDDR

在 DDR 主線發展的同時，也衍生出針對特定應用的分支：

GDDR (Graphics DDR)： 專為顯示卡設計，追求極致的頻寬；相較於標準 DDR，GDDR 通常擁有更寬的記憶體介面（例如 256-bit 或 384-bit）和更高的時脈速度，但可能伴隨更高的功耗和成本。
LPDDR (Low Power DDR)： 專為行動裝置（如智慧手機、平板電腦）設計，將低功耗放在首位；透過更低的工作電壓、特殊的省電狀態和較窄的記憶體介面來達成目標。

雖然 DDR 系列不斷進步，但面對 AI、HPC 等需要極高記憶體頻寬的應用場景，傳統 DDR 記憶體與處理器之間透過主機板佈線連接的方式，其頻寬提升逐漸遭遇瓶頸；線路越長、速度越快，訊號衰減和干擾問題就越嚴重，同時，受限於物理空間和針腳數量，記憶體介面的位元寬度也難以無限增加，「記憶體牆」（Memory Wall）的問題日益凸顯。

HBM 橫空出世：堆疊革命帶來頻寬巨變

為了突破 DDR 的物理限制，一種全新的記憶體架構——高頻寬記憶體（HBM）誕生了，HBM 不再將記憶體晶片平鋪在主機板上，而是採用了革命性的 3D 堆疊技術。

HBM 核心技術：

矽穿孔（TSV, Through-Silicon Via）： HBM 的關鍵技術之一；想像一下，直接在記憶體晶片（DRAM die）上鑽垂直的孔洞，並填入導電材料，將多層晶片垂直堆疊起來並直接連接，這大大縮短了訊號傳輸路徑，減少了延遲和功耗。
中介層（Interposer）： 由於 HBM 堆疊體擁有極寬的介面（通常是 1024-bit 或更寬），無法直接連接到標準的處理器封裝基板上，因此，需要一個中間層，稱為矽中介層（Silicon Interposer），這個中介層上有著極其精密的佈線，將 HBM 堆疊體和處理器（CPU/GPU/ASIC）封裝在同一個基板上，實現了極短距離、超高頻寬的連接。
超寬記憶體介面： 相較於 DDR4/5 的 64-bit（或雙通道 128-bit）介面，單個 HBM 堆疊就能提供 1024-bit 的介面寬度，即使 HBM 的單一針腳（pin）速度不如最新的 DDR5 或 GDDR6，但憑藉著極寬的介面，總頻寬遠超後者。

HBM 的優勢總結：

超高頻寬： 核心優勢，透過 TSV 和超寬介面實現。
低功耗： 訊號傳輸距離極短，電壓較低，每 GB/s 頻寬的功耗遠低於 DDR/GDDR。
小尺寸（高密度）： 垂直堆疊大大節省了 PCB 面積，使得在有限空間內整合更多記憶體容量和更高頻寬成為可能。

HBM 世代演進：持續攀登頻寬高峰

如同 DDR，HBM 也在不斷進化，每一代都在速度、容量和效率上尋求突破。

HBM (第一代): 奠定了基礎架構，提供 1024-bit 介面，每堆疊頻寬約 128 GB/s。
HBM2: 將單針腳速度翻倍，每堆疊頻寬提升至 256 GB/s，並支援更高容量的堆疊（最高 8 層 DRAM）。
HBM2E: HBM2 的增強版（E 代表 Extended），進一步提升單針腳速度（例如 3.2 Gbps 甚至更高），使每堆疊頻寬達到 410-460 GB/s，容量也進一步增加。
HBM3: 再次實現重大飛躍，單針腳速度提升至 6.4 Gbps，並將獨立通道數翻倍（從 8 個 128-bit 通道變為 16 個 64-bit 通道），雖然總位元寬度仍是 1024-bit，但通道數增加提高了存取粒度和效率；每堆疊頻寬可達 819 GB/s；堆疊層數和容量也顯著提升（最高 12 層 DRAM）。
HBM3E: HBM3 的增強版，將單針腳速度提升至 9.6 Gbps 甚至更高，使單一堆疊頻寬首次突破 1 TB/s 大關（例如 1.2 TB/s 以上），是目前 AI 加速器等頂尖應用的首選。

DDR 與 HBM 關鍵特性比較

特性	DDR5 (範例)	HBM3E (範例)	說明
架構	平面 (DIMM 模組)	3D 堆疊 (含 TSV)	HBM 垂直整合，DDR 在 PCB 上平鋪
連接方式	PCB 佈線至 CPU Socket	透過中介層與處理器封裝在一起	HBM 連接路徑極短
介面寬度	64-bit (單通道) / 128-bit (雙通道)	1024-bit (單堆疊)	HBM 介面寬度是 DDR 的 8-16 倍
單 Pin 速度	4.8 - 8.0+ Gbps	9.6+ Gbps	最新 HBM 速度領先，但 DDR 也在快速追趕
總頻寬/模組	數十 GB/s (雙通道)	> 1.2 TB/s (單堆疊)	HBM 總頻寬優勢巨大
功耗效率	相對較高 (pJ/bit)	非常高 (pJ/bit)	HBM 每位元傳輸功耗更低
尺寸/密度	佔用 PCB 面積較大	非常緊湊	HBM 單位面積頻寬和容量密度高
典型應用	PC, 伺服器 (主流), 筆電	GPU, AI 加速器, HPC, 網路設備	HBM 主要用於對頻寬極度敏感的高階應用
成本	相對較低	非常高	HBM 製造複雜度 (TSV, 中介層, 2.5D 封裝) 導致成本高昂

HBM 各世代規格演進

特性	HBM	HBM2	HBM2E	HBM3	HBM3E
最大 Pin 速度	1 Gbps	2 Gbps	3.2 - 3.6 Gbps	6.4 Gbps	9.6+ Gbps
介面寬度/堆疊	1024-bit	1024-bit	1024-bit	1024-bit	1024-bit
最大頻寬/堆疊	128 GB/s	256 GB/s	410 - 460 GB/s	819 GB/s	1.2+ TB/s
最大 DRAM 層數	4	8	8	12	12+
最大容量/堆疊	4 GB	8 - 16 GB	16 - 24 GB	24 - 36 GB	36+ GB
獨立通道數	8 (128-bit)	8 (128-bit)	8 (128-bit)	16 (64-bit)	16 (64-bit)
工作電壓 (I/O)	1.3V	1.2V	1.2V	1.1V / 0.4V	~1.1V / 0.4V

(註：表格內為典型或最大規格，實際產品可能有所不同)

製造挑戰與前沿研究

HBM 的高性能並非沒有代價，其製造過程極其複雜。

TSV 製程良率： 在薄化的晶圓上製造數千個微小的矽穿孔並確保其導電性和可靠性，是一大挑戰，任何一個 TSV 的缺陷都可能導致整個 HBM 堆疊報廢。
散熱問題： 將多層發熱的 DRAM 晶片堆疊在一起，散熱成為嚴峻考驗，需要先進的散熱材料和封裝技術來確保穩定運行。
中介層技術： 製造大尺寸、高精度的矽中介層成本高昂，且容易因應力而翹曲，影響良率。
封裝整合（2.5D/3D）： 將 HBM 堆疊體和處理器精確地放置在中介層上，並確保所有連接點都可靠連接，需要高階的封裝技術（如 CoWoS、FO-EB 等）。
測試複雜度： 測試一個完整的 HBM 堆疊比測試單個 DRAM 晶片要複雜得多。

儘管挑戰重重，研究人員和製造商仍在不斷探索新的方法來提高 HBM 的效能、降低成本和功耗；例如研究更有效的散熱方案、探索替代中介層材料（如有機中介層）、改進 TSV 製程、以及開發更精密的測試方法，此外，混合鍵合（Hybrid Bonding）等下一代互連技術也正在被引入，有望進一步提升堆疊密度和效能。

應用場景與市場潛力

HBM 的超高頻寬特性使其成為以下應用的理想選擇。

圖形處理器（GPU）： 無論是高階遊戲卡還是用於科學計算和 AI 訓練的資料中心 GPU，都需要巨大的記憶體頻寬來處理複雜的圖形渲染和大規模並行計算。
人工智慧（AI）加速器： 訓練大型 AI 模型（如 GPT、LLaMA 等）需要處理海量數據集，HBM 提供的頻寬對於縮短訓練時間至關重要，AI 推論應用也越來越依賴 HBM 來快速載入模型參數。
高效能運算（HPC）： 科學模擬、氣候建模、基因定序等 HPC 應用通常受限於記憶體頻寬，HBM 能顯著提升這些應用的執行效率。
高階網路設備： 高速路由器和交換器需要快速處理和轉發大量數據封包，HBM 有助於緩解數據處理的瓶頸。

隨著 AI 技術的蓬勃發展，對 HBM 的需求呈現爆炸式增長，市場研究機構普遍預測 HBM 市場將在未來幾年內維持高速增長，成為半導體產業中最炙手可熱的領域之一，主要的記憶體製造商（如 SK 海力士、三星、美光）都在積極擴充 HBM 產能，並投入巨資進行下一代 HBM 技術的研發。

未來展望：超越 HBM3E 的記憶體技術

記憶體技術的演進永不停歇，即使 HBM3E 已經將頻寬推向了新的高峰，業界已經在佈局下一代技術。

HBM4: 預計將帶來更寬的介面（可能達到 2048-bit）、更高的速度和容量，並可能整合更多邏輯功能（例如近記憶體處理）；也可能更廣泛採用混合鍵合技術。
Compute Express Link (CXL): CXL 是一種開放的互連標準，允許 CPU 與記憶體、加速器等設備之間實現高效、低延遲的互連，CXL Memory Expander 等方案可以讓伺服器連接更多樣化、更大容量的記憶體池，雖然其頻寬和延遲特性與 HBM 不同，但為解決記憶體容量和靈活性問題提供了新途徑。
近記憶體處理/記憶體內處理（Processing-Near-Memory / Processing-In-Memory）： 為了徹底打破「記憶體牆」，將部分運算單元直接整合到記憶體晶片或封裝中，減少數據在處理器和記憶體之間的來回搬移，是未來的重要發展方向。

結論：永無止境的創新之路

從 DDR 的雙倍速率到 HBM 的 3D 堆疊，記憶體技術在過去三十年經歷了翻天覆地的變化，每一次技術躍遷，都是為了應對處理器效能的飛速增長和應用場景對數據處理能力的無盡渴求，DDR 系列透過不斷優化速度、功耗和密度，滿足了主流市場的需求；而 HBM 則透過革命性的架構創新，專攻頻寬極限，成為 AI 和 HPC 等前沿領域的關鍵推手。

HBM3E 的出現標誌著單堆疊 TB/s 級頻寬時代的來臨，但這絕非終點，面對未來更複雜的 AI 模型、更龐大的數據集，記憶體技術仍需持續創新，無論是 HBM 的持續演進，還是 CXL、近記憶體處理等新興技術的發展，都在為我們描繪一個數據流動更快速、更智慧的未來，這場圍繞記憶體的創新競賽，將繼續塑造下一個世代的運算樣貌。

Fin & Tech Note