HBM-PIM 存內處理
HBM‑PIM（存內處理）深度產業研究報告：破解記憶體牆的終極利器
摘要
本報告旨在深度剖析高頻寬記憶體-存內處理（HBM‑PIM）技術，將其定位為解決後摩爾時代“記憶體牆”瓶頸的關鍵使能技術。報告核心觀點如下：HBM‑PIM 通過在 3D 堆疊的 DRAM 儲存體中直接植入可程式設計計算單元，實現了計算範式從“資料向計算移動”到“計算向資料移動”的根本性轉變。這一轉變本質上是以近乎零成本的資料訪問能耗，替換了馮·諾依曼架構中最昂貴、最耗時的資料搬運過程。我們系統性地解構了該技術的定義、產業價值、微架構原理、關鍵引數、程式設計模型、生態系統、熱與可靠性挑戰以及未來演進路徑。報告分析指出，HBM‑PIM 並非要取代 GPU 或 CPU，而是作為一種高能效、高頻寬的片上協處理器，專精於處理大型模型推論與高效能運算（HPC）場景中重複性極高的張量運算和歸約操作。其產業收益已得到初步實證，三星第一代 HBM‑PIM 在特定推薦模型上實現了 2.5 倍的效能提升和約 70% 的系統能效飛躍，有效緩解了片間互連頻寬壓力。展望未來，隨著大型語言模型（LLM）和生成式 AI 對計算規模和能效提出指數級增長的需求，HBM‑PIM 正從技術驗證階段邁向規模化應用的早期，其與主流 AI 架構的深度耦合及軟體生態的成熟度，將成為決定其市場滲透率的關鍵。我們判斷，HBM‑PIM 將首先在雲端端 AI 推論領域取得突破，並逐步向 HPC 和邊緣計算領域擴充套件，成為未來高效能異構計算系統中不可或缺的一極。
第一章 引言：站在資料洪流的十字路口
1.1 3 秒看懂：HBM‑PIM 的本質
HBM‑PIM（Processing‑in‑Memory）是一種顛覆性的計算架構，其核心思想是在高頻寬記憶體（HBM）的 3D 堆疊內部，直接植入可程式設計計算單元，讓 AI 運算在資料所在的儲存體（Bank）內完成。此舉從根本上削減了傳統處理器與儲存器之間因頻繁、海量資料搬移而產生的巨大開銷，直指現代計算系統的核心痛點——“記憶體牆”瓶頸。想像一個巨大的圖書館（儲存器）和一個遠在另一棟樓裡的研究員（處理器）。傳統方式是研究員每次需要資訊，都必須跑到圖書館查閱、抄寫、再帶回來計算。HBM‑PIM 則相當於在圖書館的每個書庫內都安置了一個聰明的研究助理（計算單元），他能直接在書架旁完成簡單的分析與總結，只將最終結論告知主研究員，極大地提升了整體的研究效率。這個比喻精確地詮釋了 HBM‑PIM 的設計哲學：將計算下沉到資料，而非搬運資料。
1.2 產業宏觀背景：從“記憶體牆”到“功耗牆”
數字經濟的底層驅動力是算力，而算力的釋放正面臨前所未有的結構性挑戰。自 20 世紀 60 年代以來，計算系統一直遵循馮·諾依曼架構，即處理器與儲存器物理分離，通過匯流排進行資料互動。在過去的半個世紀裡，處理器效能（以每美元計算能力衡量）遵循摩爾定律，每年以約 60% 的速度增長，而記憶體訪問延遲和頻寬的改善速度每年僅為 7-9%。這種長期積累的剪刀差造就了著名的“記憶體牆”問題——處理器大部分時間都處於“飢餓”狀態，等待資料從記憶體系統供給，導致實際有效算力遠低於標稱峰值效能。
這一困境在 AI 和大數據時代被急劇放大。以 ChatGPT 背後的大型語言模型（LLM）為例，其推論過程本質上是對數千億甚至萬億引數模型進行迭代式矩陣乘加運算。每一輪 Token 生成，都需要將龐大的模型權重和不斷增長的 KV Cache（鍵值快取）從 HBM 讀出，送入 GPU 的計算核心，運算後再將中間結果寫回 HBM。根據行業分析和學術研究的估算，在一次典型的 GPT-3 級別模型的推論中，其資料搬運所消耗的能量通常佔總能耗的 60%-80%，而實際用於計算的能量僅佔一小部分。資料搬運的單位能耗（約 pJ/bit 量級）通常比一次計算操作的單位能耗（約 fJ/op 量級）高出 2-3 個數量級。這意味著，我們花費的大部分電力和晶片面積，並非用於思考，而是用於資料的“物流運輸”。
因此，問題不再是單純地追求更高的計算峰值，而是如何衝破由於資料搬運帶來的“功耗牆”和“頻寬牆”。HBM‑PIM 技術正是在這一戰略轉折點上應運而生，它不再試圖修補舊架構，而是從系統設計的根本上提出了一種嶄新的資料流範式。
第二章 技術原理：存內計算範式的顛覆性突破
HBM‑PIM 的技術核心在於將可程式設計的運算單元直接整合到 DRAM 儲存陣列的底部邏輯層中，利用 3D 堆疊封裝的優勢，使計算發生在資料最密集、訪問代價最低的地方。傳統的 HBM 架構由若干 DRAM 裸片垂直堆疊而成，通過矽通孔（TSV）和微凸塊實現層間互連，最底部的緩衝邏輯裸片負責與外部 GPU 或 CPU 的介面管理。三星、SK 海力士等廠商正是利用這一緩衝邏輯層，在其中嵌入一系列精簡指令集的可程式設計處理單元（PE），使其從單純的“資料驛站”進化為具備原子計算能力的智慧加速器。
每個儲存體內的 PIM 計算單元並非追求複雜的標量處理能力，而是針對深度學習中佔據絕對主導地位的乘加運算（MAC）和歸約操作進行了深度定製。通常，每個儲存體（Bank）會配置 1-4 個簡單的 16 位浮點或定點乘加器，以及一組暫存器檔案和小型指令緩衝器。當主裝置發起一次存內計算請求時，PIM 引擎直接讀取該儲存體記憶體的一整行（Page）資料——通常為 1024-2048 位元組——利用這極寬的內部資料通路，在幾個時鐘週期內完成大量並行乘加，結果或留在本地進行下一輪累加，或通過正常的 HBM 資料通道返回主處理器。這種“行級並行”的模式，將片內有效頻寬從傳統的每針腳幾十 GB/s 提升到每個儲存體內的數 TB/s 量級，實現了真正意義上的頻寬放大。
更重要的是，存內計算從根本上改變了資料移動的粒度和頻率。在傳統架構中，哪怕 GPU 只需要計算兩個向量的內積，也必須將整塊矩陣資料通過 HBM 物理層介面（PHY）和片外匯流排搬運到 GPU 的暫存器中，運算完畢後再寫回。而 HBM‑PIM 下，權重資料可以常駐在儲存體內，啟用向量只需要播送到各個 PIM 單元，每個 PIM 獨立完成區域性乘加，最後由外部處理器收集歸約結果。這種“資料駐留計算”極大壓縮了對記憶體匯流排和外部頻寬的需求，尤其適用於推論階段權重的重複使用與自迴歸解碼中的長序列 KV Cache 更新。
第三章 微架構剖析：從 Bank 到資料流
深入 HBM‑PIM 的微架構，可以發現其設計充滿了“計算融入儲存”的精細權衡。以三星 Aquabolt‑XL HBM2‑PIM 為例，每個 DRAM 顆粒內部劃分為 32 個獨立的 Bank，每個 Bank 內嵌一個稱為“可程式設計計算單元”（PCU）的微型運算器。該 PCU 內部集成了一個簡易的 ALU，支援 FP16/BF16/INT16 乘法及加法，配備 32 個 16 位通用暫存器和一個 64 條目的指令記憶體，工作頻率與記憶體陣列一致，大約在 1-1.2GHz。指令集極度精簡，僅包含載入、儲存、乘加、累加、條件分支和同步柵欄等十幾條指令，目的是將控制開銷降至最低，讓絕大部分的矽片面積和功耗仍服務於儲存陣列本身。
PIM 操作遵循一種“命令-執行-聚合”的流水線。主 GPU 或 CPU 通過現有的 HBM 通道傳送一條“PIM 執行”指令包，其中包含操作碼、需要操作的行地址、結果存放目標以及同步標識。PCU 接收到指令後，立即以頁面模式啟用指定 DRAM 行，將成千上萬個位線對的電容電荷一次性讀出到 Sense Amplifier，隨後 PCU 以全並行方式對這行資料執行向量運算。由於不需要經過 TSV 和外部 PHY，單次操作的延遲可以從 100 納秒左右降低到約 10 納秒，且能耗僅為片外傳輸的幾十分之一。運算完成後，結果可以寫回同一行的備用區域，或暫存在暫存器中用於後續歸約。
在這一微架構下，資料流的編排尤為關鍵。對於典型的 GEMV（矩陣-向量乘法）操作，權重矩陣按行分散存放在多個 Bank 中，輸入向量通過廣播同時傳送給所有 Bank 的 PCU。每個 Bank 獨立計算其行與向量的內積，輸出一個部分和，隨後通過 Bank 間的樹形歸約網路，在底層邏輯晶片上完成最終的累加，將最終結果返回主機。這種“廣播-區域性計算-歸約”模式，使得實際計算吞吐量接近於所有 Bank 的並行乘加器總和，從而在記憶體容量和算力之間實現了線性可擴充套件性。然而，這也引入了一個新的約束——資料版面配置和訪問模式必須與計算任務高度對齊，否則 Bank 間衝突和歸約瓶頸會迅速削弱加速比。
第四章 關鍵效能引數與算力效率革命
HBM‑PIM 的效能優勢，不能簡單用傳統 TOPS 或 FLOPS 指標來衡量，而必須從“有效頻寬”和“單位資料處理的能耗”兩個維度進行重新定義。在典型 HBM2E 規格中，單個 8GB 堆疊的外部介面頻寬約為 460 GB/s，而三星第一代 HBM‑PIM 在同一介面頻寬下，內部將 32 個 Bank 的平行計算能力聚合，使其內部有效資料吞吐量超過 1.5 TB/s，並額外提供了約 1.2 TFLOPS 的 BF16 算力。這種“頻寬放大效應”使得原本受記憶體介面限制的訪存密集型運算元的實際執行速度實現了倍增。
在能效方面，存內計算的收益尤為突出。根據已發表的實測資料，將一個 FP16 資料從 HBM 搬運到 GPU 並執行一次乘加，整個過程消耗的能量約為 7-10 pJ，其中搬運部分通常佔據 6 pJ 以上。而在 HBM‑PIM 中，由於資料僅需在 Bank 內部移動極短距離（微米級，而非釐米級 PCB 走線），驅動電容和靜電保護開銷也大幅降低，單次乘加總能耗可控制在 1-2 pJ 以內。這直接解釋了為何在推薦模型場景下，三星第一代 HBM‑PIM 在保持相同推論精度的同時，能夠實現約 70% 的系統能效提升。換算到資料中心層面，對於部署十萬片加速卡的超級叢集，這意味著每年可節省數百萬千瓦時的電力，並顯著緩解散熱壓力。
此外，PIM 的加入還顯著降低了片間互連的壓力。在多 GPU 系統中，高頻寬互連（如 NVLink、Infinity Fabric）的功耗和延遲會隨著並行規模急劇上升。當 PIM 承擔了一部分原本需要在 GPU 間頻繁交換的聚合計算後，跨節點的 All‑Reduce 通訊量可以減少 40%-60%，使得大規模分散式訓練或推論的擴充套件效率得到改善。這種系統性最佳化，往往比單純提升單點算力更具商業價值。
第五章 程式設計模型與軟體生態：從硬體潛力到應用實效
驅動 HBM‑PIM 從未依賴傳統的 CUDA 或 OpenCL 執行緒模型，而是需要一套感知記憶體位置、顯式管理資料放置和計算任務的異構程式設計架構。當前行業的主流做法是採用“主機-裝置”協作模型，其中 CPU/GPU 仍作為主控端，PIM 被抽象為一種具有本地計算能力的記憶體區域。三星推出了一套名為“PIM Runtime”的軟體棧，配合對應的 LLVM 編譯器後端，允許開發者使用類似 OpenMP 的制導指令（如 #pragma pim）標記可解除安裝到 PIM 上的程式碼塊。執行時系統負責將標記的計算圖分割為微指令序列，通過標準 HBM 通道下發到各個 Bank，並追蹤同步和依賴關係。
對於架構整合，研發團隊已經在 PyTorch 和 TensorFlow 層面提供了自定義運算元庫，將嵌入層查詢、Attention 的部分張量運算、以及推薦模型中的特徵互動等典型操作封裝為“PIM‑op”。在模型部署時，只要將相應的運算元替換為 PIM 版本，無需修改模型結構即可體驗加速。例如，在 DLRM 推薦模型中，對嵌入表的 Gather‑Reduce 操作直接重定向到 PIM 執行，幾乎消除了嵌入表訪問的資料傳輸瓶頸，這正是 2.5 倍效能提升的核心來源。
然而，當前程式設計模型依然面臨不小的挑戰。由於 PIM 的儲存層次與 GPU 私有一級快取、暫存器不連續，資料一致性問題需要程式設計師顯式處理或依賴保守的同步策略。此外，Bank 內部 SRAM 和暫存器檔案極小，複雜控制流和動態分支會導致指令快取頻繁失效，因此編譯器必須能夠進行靜態展開和迴圈平坦化最佳化。工具鏈成熟度將直接決定 HBM‑PIM 能否從“專家友好”走向“大眾可用”，這是決定其市場滲透斜率的關鍵要素。
第六章 應用場景深度剖析：從推薦系統到大語言模型
當前，HBM‑PIM 已初步在推薦系統推論領域證明了其商業價值。以 Meta 的 DLRM 為代表的深度學習推薦模型，其核心特點是引數量極多（通常數十 GB 至上百 GB 的嵌入表），但單次推論對嵌入查詢的訪問卻極稀疏、不規則，導致 GPU 的計算利用率經常低於 10%，絕大部分時間都在等待記憶體隨機的少量資料返回。三星團隊在 Hot Chips 上揭露的資料顯示，通過將嵌入表完全駐留在帶 PIM 的 HBM 中，利用 Bank 本地查詢和區域性歸約，單次推論延遲降低了約 2.5 倍，同時整體系統功耗下降了 70%。這一結果使得 PIM 在廣告、社交網路資訊流排序等對延遲和成本都極為敏感的網際網路超大規模業務中，具備了強烈的吸引力。
在大語言模型方面，PIM 的應用潛力更為深遠，但技術挑戰也更大。LLM 的推論可以分為兩個階段：預填充（prefill）和解碼（decode）。解碼階段需要進行位置自迴歸生成，每一次 Token 生成的矩陣向量乘（GEMV）訪問龐大的模型權重和不斷增長的 KV Cache，訪存強度極高。這正是 PIM 的理想戰場。通過將 Attention 中的 QK^T 部分計算和部分 Feed‑Forward Network 的權值駐留在 PIM 記憶體中，可以大幅減少 GPU 與 HBM 之間的權重搬運。理論上，如果能夠將 70B 引數模型的 80% 權重常駐 PIM，那麼解碼階段的每 Token 時延將有望降至傳統方案的一半以下，且每瓦特 Token 產出率將成倍增加。不過，LLM 計算圖中頻繁的重塑、拼接和動態掩碼操作，對 PIM 脆弱的控制流能力提出了更嚴苛的要求，仍需硬體和編譯器的協同改進。
除此以外，基因比對、分子動力學模擬、稀疏圖處理等 HPC 應用中，大量隨機細粒度訪存和歸約的 kernel 也天然契合 PIM 的存內歸約特性。隨著相關庫的豐富，HBM‑PIM 將逐漸從特定 AI 擴充套件至通用科學計算領域，形成一個豐富的應用矩陣。
第七章 熱管理、可靠性及硬體挑戰
將計算邏輯植入 DRAM 堆疊內部，不可避免地面臨熱和可靠性的雙重拷問。DRAM 儲存單元對溫度極為敏感，溫度每升高 10°C，漏電流大致增加一倍，重新整理頻率必須相應加倍，從而進一步抬升功耗並惡化效能。HBM‑PIM 中，PCU 即使在輕度工作下，也會在有限區域內引入 0.5-1W 的額外功耗。由於 3D 堆疊結構的熱阻主要集中在層間粘合材料和 TSV 橫向散熱路徑不暢，Bank 內計算產生的小塊熱點可能使區域性溫度比平均溫度高出 15-20°C，導致儲存單後設資料保持時間（Retention Time）縮短，必須升高重新整理率或收縮部分效能，從而部分抵消存內計算帶來的效率優勢。
為解決這一問題，業界採取了多管齊下的策略。在設計層面，PCU 被專門設計為以記憶體流水線頻率執行，其微架構極度簡化，無猜測執行、無亂序，僅包含最簡流水級，以降低瞬態功率尖峰。系統層面則引入智慧任務排程演算法，確保同一時刻只啟用一部分 Bank 進行 PIM 運算，並通過交替重新整理策略將計算和重新整理錯峰執行。在封裝技術上，三星嘗試在裸片之間加入高導熱石墨片，並加強底部填充材料的導熱係數，為垂直散熱建置更通暢的路徑。
可靠性方面，存內計算引入了新的故障模式。計算單元本身的電晶體老化、隧穿擊穿可能導致計算結果出錯，而錯誤計算結果若直接寫回 DRAM 行，可能汙染永久資料。因此，HBM‑PIM 通常集成了輕量級的糾錯碼（ECC）和驗證機制，關鍵中間結果會進行雙重計算或奇偶校驗。此外，當 PCU 處於工作狀態時，對同一 Bank 的併發讀寫衝突、以及計算期間外部主機的訪問必須通過精巧的流水線控制來避免柵鎖，這使得記憶體控制器的設計複雜度顯著上升，並可能增加數納秒的訪問仲裁延遲。
第八章 競爭格局：存內計算的多條技術路線
HBM‑PIM 並非存內處理的唯一路徑。整個存內計算（CIM）領域呈現出百花齊放的格局，各技術路線在成熟度、精度、密度和靈活性之間演繹著不同的權衡。
基於 DRAM 的 PIM（HBM‑PIM、DIMM‑PIM）：以三星、SK 海力士的 HBM‑PIM 和 UPMEM 的 DIMM 級存內處理器為代表，優勢在於大容量、與現有 DRAM 工藝相容，可直接利用成熟的 HBM 生態系統，量產基礎最為堅實。然而，其計算密度受限於 DRAM 較為粗粒度的儲存陣列，邏輯能力有限，適合高度規則、長時間駐留資料的任務。HBM‑PIM 天然與高階 GPU/FPGA 耦合，面向雲端端 AI 推論；而 DIMM‑PIM 則瞄準伺服器主存的稀疏分析加速，兩者形成高低搭配。
基於 SRAM 的 CIM：多由初創公司和學術界推動，將乘加器直接陣列式集成於大容量 SRAM 儲存器中，實現數字或模擬域的超高並行度矩陣計算。其算力密度可達數十 TOPS/W，尤其適用於小批次、極低延遲的邊緣 AI 推論。但 SRAM 單元面積大，單晶片容量一般限於幾十 MB，難以承載大型模型權重，更多與雲端端訓練中的特徵提取等階段互補，而非直接替代 HBM‑PIM 的地位。
基於非易失性儲存器（如 ReRAM、PCM、MRAM）的模擬 CIM：利用歐姆定律直接在交叉點陣列中完成矩陣乘法，理論上能效比可達數百 TOPS/W，被視為終極 CIM 形態。但由於器件變異、模數轉換開銷、寫耐久性以及溫度敏感性等問題，距離大規模量產尚遠，短期內難以對 HBM‑PIM 構成直接競爭。三星、SK 海力士和台積電均在版面配置 ReRAM‑PIM 和 MRAM‑CIM，但仍處於工程樣品階段。
比較之下，HBM‑PIM 憑藉在成熟度、與現有 AI 加速卡的無縫整合以及軟體堆疊上的先發優勢，在可見未來 3-5 年間將成為存內計算商業化的主流實現方式。
第九章 產業路徑與商業採納：從特殊晶片到平台標配
HBM‑PIM 的產業化程序將遵循從“特定加速器”到“通用平台模組”的演變路徑。第一階段（2021-2023）已由三星、AMD 等完成了概念驗證和工程樣品展示。三星與 AMD 聯合測試的 Aquabolt‑XL 已在部分內部工作負載中得到印證。這一階段的核心目標是證明相容性——PIM 增強型 HBM 在物理尺寸、介面協議和電氣特性上與標準 HBM 完全一致，能夠直接插入現有 GPU 的 HBM 介面而不需修改基板或重新流片，極大降低了系統整合商的匯入門檻。
第二階段（2024-2026）是小批次專業應用，主要面向超大規模雲端廠商為其定製化推論加速卡。雲端廠商將 PIM‑HBM 與自研推論晶片（如 Google TPU、Amazon Trainium）結合，針對單一或少數幾種內部模型深度最佳化，以獲取極致的 TCO（總擁有成本）節約。SDK 和運算元庫也將在這一階段逐步標準化，形成類似 CUDA 生態但側重存內計算的分支。
第三階段（2027 及以後）則有望進入大規模平台化。當機器學習編譯架構（如 TVM、MLIR）能自動識別並分配 PIM 適配的子圖，且 JEDEC 將 PIM 指令集納入 HBM4 或之後的統一標準時，PIM 將成為每一塊高效能運算晶片的“標配”，而不再是需要特殊訂購的選項。到那時，HBM‑PIM 在市場中的角色將如同今日的浮點向量單元，成為所有人都習慣使用、甚至不再刻意提及的基礎能力。
商業模式的變革同樣值得關注。傳統 HBM 供應商按 GB 售賣記憶體，而 PIM 提供了按“算力+容量”多維計價的可能。記憶體廠商未來可能根據 PIM 算力等級（例如 1 TOPS/HBM 堆疊）來定價，這將重新劃分記憶體和處理器之間的獲利池，並驅動產業鏈向著更垂直整合的方向演進。
第十章 投資視角：重構半導體價值鏈的機遇
HBM‑PIM 的崛起，正在半導體與資料中心價值鏈中催生新的投資邏輯和機會視窗。從硬體層面看，擁有 HBM+PIM 一體化設計和製造能力的 IDM 或 Fabless 將享有顯著的結構性優勢。三星憑藉涵蓋 DRAM 工藝、邏輯晶圓代工和先進封裝的整合能力，在 HBM‑PIM 領域形成了先發閉環。SK 海力士則通過與輝達、AMD 等 GPU 巨頭深度繫結，在標準 HBM 市場上的支配地位可能順延至 PIM 時代。對於代工廠如台積電而言，雖然在 DRAM 上直接介入有限，但其 CoWoS/InFO 先進封裝技術是連線 HBM‑PIM 與主晶片的必經之路，封裝環節的價值含量將進一步提高。
從軟體和系統層面，誰能率先建置起類似 CUDA 的 PIM 程式設計生態壁壘，誰就能鎖定長期獲利。目前，三星的 PIM 執行時和編譯器仍為閉源，但一旦開源或形成行業聯盟標準，將以極快速度催化應用爆發。因此，關注編譯最佳化、記憶體排程和分散式架構領域的創新型軟體公司，可能會發現下一個類似 Mellanox 的高價值併購標的。同時，鑑於 PIM 帶來的能效比質變，資料中心電力和冷卻基礎設施的需求曲線可能發生結構性改變，這也會間接影響相關行業的估值。
風險方面，技術演進的不確定性不可忽視。倘若未來出現革命性的互連技術（如光互連、CXL 記憶體池化）極大降低了片外資料傳輸成本，或者新型非易失憶組器 CIM 提前成熟，HBM‑PIM 的相對優勢會被削弱。此外，開發工具鏈的推進速度如果不能滿足 AI 架構快速迭代的步伐，PIM 恐將長期停留在“演示漂亮，落地困難”的境地，技術投資回報週期將被拉長。
第十一章 未來演進：PIM 與異構計算的下個十年
展望下一個十年，HBM‑PIM 將不再是一個孤立的加速器，而是異構計算體系中與 CPU、GPU、NPU 深度融合的智慧記憶體層。隨著 CXL（Compute Express Link）2.0 和 3.0 標準引入記憶體共享與池化能力，支援 CXL 介面的 PIM 記憶體模組將能夠被多臺主機直接訪問，形成一種“記憶體對外提供計算服務”的分解式資料中心架構。在這種架構下，龐大的模型權重可以駐留在 CXL‑PIM 記憶體池中，不論是 GPU 還是 CPU，都通過 CXL 協議向其發出存內處理請求，實現真正的存算分離與池化，極大地提升硬體複用率和彈性擴充套件能力。
在晶片層級，PIM 將可能與整合光子學耦合。儲存體內產生的大量部分和，可直接由片上光網路高速歸約，取代傳統的 HBM 金屬互連和 TSV，從而完全打破 Bank 間歸約的頻寬瓶頸。屆時，一個 HBM‑PIM 棧可能演變成一個大規模並行歸約網路，每個儲存庫的計算結果都能以光速彙集，實現接近線性的叢集級加速比。儘管這仍處於實驗室階段，但英特爾、Ayar Labs 等企業已經展示了光子互連與記憶體整合的可行性。
演算法層面，PIM 專用的神經網路結構搜尋（NAS）和自動量化技術將誕生。為了適配 PIM 內有限精度和簡單控制流，模型將被自動裁剪和編譯為 PIM 友好子圖，確保模型精度損失控制在極小範圍內。這場軟硬體協同設計的深刻變革，將重新定義“高效模型”的邊界，推動生成式 AI 和科學計算邁向更可持續的能效高峰。
第十二章 結論
HBM‑PIM 代表了計算架構演進中一次不容忽視的方向性拐點。它並非對現有體系的邊際修補，而是從根本上回答了後摩爾時代最緊迫的一個問題：如何以可負擔的功耗馴服百億億次規模的資料搬運。通過將計算根植於資料所在之處，HBM‑PIM 在特定負載下實現了近乎顛覆性的能效與頻寬增益，其產業價值已在推薦系統中得到初步兌現，並朝著大語言模型推論、HPC 和資料庫加速等更廣闊的場景延伸。
與此同時，我們必須清醒地認識到，硬體能力只是方程的一邊，軟體生態、工具鏈、熱工程和標準化程序將共同決定這一技術的最終天花板。三星第一代產品 2.5 倍效能提升和 70% 系統能效的成就，僅僅是序章。隨著 HBM4 標準將 PIM 指令集納入規範，以及主流 AI 架構完成原生適配，HBM‑PIM 有望在 2027 年前後進入大規模商用，成為未來智慧算力基礎設施的標配。
對於產業參與者和投資者而言，現在是理解、評估並提前版面配置 HBM‑PIM 及其生態的最佳時機。任何忽視這一存內計算浪潮的企業，都可能在未來六年內發現自己的晶片或資料中心方案，在能效天平上處於難以追趕的劣勢。記憶體不再遲鈍，它將學會思考。而這，正是 HBM‑PIM 向我們昭示的終極價值。