點積
1. 核心結論：算力覺醒時代的萬億次心跳
2024年，全球資料中心AI晶片市場規模已逼近1200億美元，而支撐這場算力狂歡的底層數學，卻可以濃縮成一個高中課本里的概念：點積。每一次神經網路的推論、每一次大型模型生成的下一個token，背後都有數以萬億計的點積運算在矽基世界中奔騰。點積，就像AI時代的電晶體開關，成為衡量算力成本的最終尺度。
本報告提出一個核心判斷：未來十年，所有AI晶片的競爭本質上就是對“高效執行大規模點積”能力的競逐。從NVIDIA的Tensor Core到Google的TPU脈動陣列，從存內計算到光子晶片，一切架構創新都在圍繞“更快、更省、更低功耗地點積”展開。對於投資者而言，評判一家AI晶片公司的技術成色，不看它PPT上的峰值TFLOPS，而是要看它如何解決點積運算中計算密度、訪存頻寬和能效比三元悖論。掌握點積執行的效率密碼，就等於掌握了大型模型時代的算力話語權。
本報告全文約一萬字，分為十五個章節，將從數學基礎、產業落地、硬體架構、未來演進等維度，全面拆解點積如何成為AI的原子操作，並揭示正在重塑半導體版圖的技術暗線。
2. 引言：從一道算術題，到萬億美元產業
在全世界的課堂上，點積被講授為“向量乘法”——將兩個向量的對應元素相乘，再把所有乘積相加。這道看似平淡無奇的算術題，正在重寫全球科技產業的底層規則。
當OpenAI用數千張H100訓練GPT-4，當Google用TPU叢集支撐Gemini的推論，當特斯拉用Dojo晶片處理海量視覺資料，這些行為的共同分母就是點積。在一個7B引數的模型中完成一次推論，需要執行的計算量超過10¹²次浮點運算，其中**超過95%**可以歸結為點積及其變體（矩陣乘法、卷積、注意力）。毫不誇張地說，現代AI的全部智慧，本質上是用資料餵養出來的海量點積的複合函式。
為什麼點積會佔據如此核心的地位？這並非偶然。從神經網路誕生之初，科學家就發現，生物的突觸可塑性可以被抽象為“輸入訊號加權求和”：接收訊號、賦予權重、累加啟用。而這個加權求和正好是點積在數學上的最簡形態。六十年後，當Transformer架構用自注意力機制橫掃AI領域，其核心Q·K仍然是點積。技術如何迭代，底層計算單元始終迴歸到這一原子操作。因此，理解點積的工程實現，就是理解AI算力的全部故事起點。
3. 數學溯源：點積的三百年簡史與向量空間的基石
點積的歷史可以追溯到19世紀。英國數學家威廉·哈密頓在四元數理論中，將四元數的乘積分解為標量部分和向量部分，其中標量部分實質就是現代意義上的點積。但真正將其形式化並賦予幾何意義的是美國物理學家約西亞·吉布斯。吉布斯在1881年出版的《向量分析基礎》中，以“點乘”命名這一運算，用“·”作為符號，從此這個黑點成為數學和物理中的通用語言。
點積的定義極為簡潔：對於n維實空間中的兩個向量a=(a₁,…,aₙ)和b=(b₁,…,bₙ)，其點積為：
a·b = ∑ᵢ aᵢbᵢ
但這一公式背後隱藏著線性代數的深層結構。點積實際上定義了一個內積空間，賦予向量長度和角度的概念。由點積可以匯出範數（長度）‖a‖=√(a·a)，以及夾角餘弦cosθ=(a·b)/(‖a‖‖b‖)。這使得抽象向量空間具有了歐幾里得幾何的全部性質。
與標量乘法不同，點積具有交換性、分佈性，但不具有結合性；其結果是標量而非向量，這一點使其在投影、做功、相似度等物理與計算場景中佔有一席之地。在希爾伯特空間理論中，內積的推廣形式支撐了整個量子力學與泛函分析的大廈，而點積則是這一切在有限維空間中的根基。如今，AI的繁榮，為這一19世紀的數學概念注入了前所未有的工程生命力。
4. 幾何直覺：點積如何衡量方向一致性
點積之所以強大，在於它把代數計算與幾何直觀打通。公式a·b=‖a‖‖b‖cosθ揭示：點積不僅取決於向量長度，更取決於它們之間的夾角。當θ=0°，cosθ=1，點積取得最大值‖a‖‖b‖，等於兩者的長度乘積，意味著完全同向對齊；當θ=90°，cosθ=0，點積歸零，向量正交獨立、無關；當θ=180°，cosθ=-1，點積為負最大值，表示完全反向。
這個“方向一致性”的直覺對於理解現代AI的計算流至關重要。在特徵空間中，每一個數據點、每一個詞嵌入、每一個影像的區域性塊都可以用高維向量表示。兩個向量的點積大小直接反映它們在語義空間中的“相關程度”。比如在詞向量中，“國王”向量與“王后”向量會有很高的點積值，因為它們共享了大量語義方向；而“國王”與“水杯”則接近正交。
在注意力機制中，這種幾何解釋變成了“查詢”向量尋找最匹配的“鍵”向量的過程：查詢向量在鍵向量方向上的投影越大，說明兩者越“共振”，該鍵對應的值就越被重視。模型通過softmax將點積幅值轉化為機率權重，實現了在數以萬計的token中動態聚焦。這種基於方向對齊的資訊路由，使Transformer能夠處理超長文本、多模態資料，而所有決策的依據，都是底層那一波波如潮汐般湧動的點積計算。
5. 全連線層：神經網路中的加權求和引擎
如果說點積是AI的原子，那麼全連線層就是原子組成的第一個分子結構。一個典型的全連線層，輸入向量x∈ℝⁿ，權重矩陣W∈ℝᵐˣⁿ，偏置b∈ℝᵐ，則輸出y=Wx+b。其中輸出向量的每一個元素yᵢ，都是W的第i行與x的點積再加上偏置。矩陣乘法的本質就是批次點積——m行分別與同一個輸入向量執行點積，產生m維輸出。
全連線層代表了神經網路最基礎的計算範式：仿射變換+非線性啟用。訓練良好的網路會學習出一組權重，使得輸入向量在這些權重行向量方向上的投影能夠最大化地表達所需的特徵。例如在影像分類中，全連線層將卷積提取的特徵向量對映到類別分數，每個類別的分數就是一個點積結果，分數最高的即為預測標籤。
從計算量視角看，全連線層的浮點運算量是2×m×n（乘法和加法各算一次），而引數規模也是m×n。引數讀取和中間結果儲存構成主要的記憶體開銷。在大型模型中，全連線層通常佔據引數總量的三分之二以上，例如Llama 3-70B中，前饋網路（即多個全連線層）佔到總引數量的約75%。這類操作的計算密度極高，但極度依賴快取記憶體與資料複用策略，直接推動了高效能運算晶片的架構設計，這正是點積需求對硬體反向塑造的體現。
6. 自注意力機制：點積在Transformer中的巔峰應用
2017年，論文《Attention is All You Need》提出了縮放點積注意力，成為如今一切大語言模型的基石。其公式為：
Attention(Q,K,V) = softmax(QKᵀ/√dₖ)V
這裡Q、K、V分別是查詢、鍵、值矩陣，形狀均為[n, dₖ]（n為token數，dₖ為頭維度）。關鍵在於QKᵀ：這是一個n×n的矩陣，其(i,j)元素正是第i個查詢向量與第j個鍵向量的點積。整個矩陣乘法的計算量是2n²dₖ次浮點運算。對GPT-4來說，在32k上下文中，這一計算量隨序列長度平方增長，成為最大的算力熱點。
為什麼要除以√dₖ？當dₖ較大時，點積的方差會線性擴大，導致softmax的梯度極度稀疏。除以√dₖ是一種歸一化技巧，使得點積值保持在一個合理範圍，保障訓練穩定。這側面反映了點積作為計算的原子，其統計特性直接影響著訓練動力學的全域性行為。
多頭部注意力進一步將Q、K、V拆分成多個頭，每個頭獨立執行縮放點積注意力，再將各頭結果拼接。這樣模型可以在不同子空間學習不同型別的依賴關係。每一個頭執行的計算仍是點積。Llama 3-70B具有64個頭，每一次推論的每一步，都要執行64次QKᵀ，合計數百億次點積。大型模型上下文長度的每一次擴充套件，都意味著QKᵀ矩陣的平方級膨脹，直接對視訊記憶體容量和算力提出極限挑戰。這也是FlashAttention和MLA等最佳化技術的核心攻堅物件，目標都是在不降低計算精度的前提下，讓點積運算更省視訊記憶體、更快執行。
7. 卷積運算：當點積在空間中滑動
卷積神經網路（CNN）的崛起奠定了深度學習在視覺領域的主導地位，而卷積層的底層同樣由點積一統天下。考慮一個輸入特徵圖，尺寸為H×W×C_in，卷積核尺寸為K×K×C_in，輸出通道數為C_out。計算時，卷積核在輸入特徵圖的空間維度上滑動，每一步取出一個區域性張量塊，與卷積核做逐元素乘法並求和——這正是一個高維點積。將K×K×C_in展平為向量，區域性特徵塊也展平，二者點積得到一個輸出標量。遍歷所有C_out個卷積核和所有空間位置，就構成完整的卷積輸出。
這種“空間滑動+區域性點積”的模式，本質上是用同一組權重對所有區域性區域執行模式匹配。卷積核學習到特定的特徵檢測器，如邊緣、紋理、高階語義，一切識別都建立在點積匹配的基礎上。例如ResNet-50的一次推論約包含38億次乘累加，其中絕大部分由卷積層的點積貢獻。
在底層實現中，現代AI編譯器（如TVM、XLA）會將卷積運算通過im2col加通用矩陣乘法（GEMM）的方式，轉換為大規模矩陣乘法，從而利用已有的高效點積算力核心。這一轉換進一步印證：無論是全連線還是卷積，最終都在硬體上落地為對點積的極致最佳化。GPU中的Tensor Core、TPU中的脈動陣列，都是在這一共識上生長出來的算力骨骼。
8. 嵌入檢索與向量資料庫：點積決勝相關度排序
隨著大型模型落地千行百業，檢索增強生成（RAG）成為解決幻覺、引入私域資料的標準範式。企業將文件切片後轉化為向量存入向量資料庫；使用者提問時，查詢向量與庫中所有候選向量計算相似度，檢索出最相關的片段，再提交給大型模型生成最終回答。這個相似度的核心計算就是點積（或餘弦相似度）。
餘弦相似度本質上是歸一化後的點積：cos(θ) = (q·d)/(‖q‖‖d‖)。當向量已被預歸一化，餘弦相似度完全等價於點積。Milvus、Pinecone、Weaviate等向量資料庫，底層都依賴高效的近鄰點積搜尋。對於一個含有數十億向量的資料庫，單次相似度檢索需執行數十億次點積，這幾乎等同於一次輕量級的前向推論。如果要求毫秒級延遲，就必須將海量點積運算極致並行化，並配合近似近鄰演算法（如HNSW、IVF-PQ）大幅削減不必要的點積次數。
值得關注的是，點積在嵌入空間的可解釋性：高維空間中的點積幅度受維度、向量模長等多因素影響，容易出現“距離集中效應”，即所有點積都聚集在某個均值附近，區分度降低。這促使研究界不斷改進嵌入模型，通過對比學習、溫度縮放等方式，將點積分值拉開，增強檢索的分辨力。點積的計算本身是確定的，但其所處的語義空間性質，卻會徹底改變搜尋的質量——算力必須和演算法協同，才能釋放點積的全部效能。
9. 計算模式與訪存特徵：為什麼說點積是“算術強度之王”
在計算機體系結構中，各種運算可根據算術強度（Operations per Byte，FLOPs/Byte）分類。點積及其批次形式矩陣乘法是典型的計算密集型操作，算術強度極高。假設一個矩陣乘法[M,K] × [K,N]，需進行的乘累加次數為 M×N×K，而需要讀取的資料量約為2×K×(M+N)個浮點數（不考慮快取重用下的理想情況）。當M、N、K都較大時，算術強度約等於 (M×N×K) / (2K×(M+N)) ≈ (M×N)/(2(M+N))。在M≈N的方陣情形下，算術強度近似為 M/4。對於大規模矩陣，M達數千乃至上萬，算術強度可達數百乃至上千FLOPs/Byte。
對比之下，向量加法（如啟用函式），算術強度僅為0.5 FLOPs/Byte，受記憶體頻寬瓶頸嚴重。點積操作因其計算量遠大於訪存量，天然適合在具有強大平行計算能力的硬體上執行，比如GPU的大規模執行緒陣列和專用的矩陣乘法單元。當晶片設計者面臨“記憶體牆”的制約時，將主要算力圖譜聚焦於點積的加速，就成為一種必然策略。這也是為什麼AI晶片都在追求高吞吐量的低精度矩陣乘法單元，而非僅僅堆疊通用ALU。理解這種算術強度差異，是評估任何AI晶片架構優劣的基本出發點。
在實際訓練中，資料複用是挖掘點積執行效率的關鍵。權重矩陣在多個微批樣本間複用，輸入在多個輸出神經元間複用，區域性特徵塊在卷積滑動中複用——每一層資料複用都可通過緩衝區設計和指令排程，將有限的記憶體頻寬放大成極高的實際吞吐量。高效的AI編譯器能夠將計算圖重排，最大化點積的複用，減少對HBM的昂貴訪問。點積因此不僅是數學上的原子，更成為了軟硬體協同最佳化的著力點。
10. GPU與TPU：兩大點積加速流派的巔峰對決
當前主導AI算力市場的兩大架構體系，本質上是兩種不同思路的點積並行實現。NVIDIA的GPU自Volta架構起，引入Tensor Core，可以在一個週期內完成4×4矩陣的乘累加，支援FP16/BF16/INT8等混合精度。一個SM（流多處理器）中包含多個Tensor Core，配合warp級排程，實現超大規模並行。Ampere、Hopper架構持續擴充套件Tensor Core的能力，並引入Transformer Engine，針對點積進行動態精度縮放。H100擁有528個Tensor Core，在密集矩陣乘法上提供近1000 TFLOPS的FP8算力，這相當於每秒千萬億次點積操作。
Google的TPU則走向另一條路——脈動陣列。TPU中，一個65536（256×256）規模的乘累加陣列以2D脈動的方式傳遞資料，一個時鐘週期內可以完成256×256=65536次乘累加，吞吐量驚人。脈動陣列讓資料在鄰居單元間流動複用，規避了許多暫存器檔案和共享記憶體的讀寫開銷，在點積的能效比上具有結構優勢。TPU v5p的BF16峰值算力達到459 TFLOPS，推論能效比顯著優於通用GPU，這正是在點積這一特定用例上ASIC設計的勝出。
兩種流派的競爭，反映在點積上就是對“通用可程式設計性”與“極致效率”的權衡。GPU通過CUDA生態提供了極大的程式設計靈活性，任何形狀的點積和張量運算皆可對映；而TPU則通過專用化的脈動陣列和XLA編譯器，在特定形狀和大規模的矩陣運算上取得最優效率。兩者的演化方向，共同指向如何在3D封裝、先進工藝下塞入更多的MAC單元，並使其高效運轉。
11. 前沿架構：存內計算與光子晶片重塑點積的物理極限
傳統計算架構面臨“資料搬運能耗遠大於計算能耗”的瓶頸。存內計算（Processing-in-Memory, PIM）直接將點積運算嵌入儲存器內部。以ReRAM、SRAM為基礎的存內計算宏單元，利用歐姆定律和基爾霍夫電流定律，在模擬域自然完成“乘後累加”操作：輸入電壓代表向量元素，器件電導代表權重，彙總電流即是點積結果。一個存內計算宏可以在數個時鐘週期內完成數百維向量的點積，能效比達到數十甚至上百TOPS/W，遠優於數字ASIC。
然而，模擬計算的精度、噪聲、工藝變異等問題，使其在當前階段主要適用於推論任務，尤其是對噪聲容忍度較高的嵌入檢索和推薦系統。如果未來能夠在精度上取得突破，存內計算有潛力將資料中心級別的點積功耗降低一個數量級，徹底改變大型模型的經濟模型。
光計算則是更前沿的賽道。光學干涉和馬赫-曾德爾干涉儀網路，可以在光學域以光速完成矩陣乘法，其中點積以相干疊加的方式完成。理論上，光學點積的延遲極低，能效極高，可以瞬時處理上百維度的向量。Lightmatter、Lightelligence等初創公司已展示光學加速卡原型，單次光速點積可在皮秒級完成。不過，光學元件對溫度、工藝敏感，且I/O轉換仍是瓶頸。兩大新架構的共同點在於，它們試圖越過電晶體開關的物理極限，直接利用物理定律完成點積，以此開啟後摩爾時代的算力新空間。
12. 量化與稀疏化：讓點積變得更“輕”
儘管點積是計算的原子，但通過降低每個原子的“質量”——減少位寬和消除無效操作——同樣可以大幅提升效率。模型量化將浮點權重和啟用值轉化為INT8、INT4甚至二元值，使得一次積運算從FP32乘法下降為INT4乘累加，能量消耗可以降低10倍以上。在INT4精度下，NVIDIA H100的Tensor Core算力可飆升至近4000 TFLOPS，這就是點積位寬縮減直接放大了有效算力。
量化後的點積仍保留語義嗎？研究表明，在正確的校正和訓練後量化機制下，模型的困惑度或準確率下降極為有限。這得益於神經網路對權重的冗餘表達以及隨機梯度下降的平坦最小值特性。大型模型的量化推論已經成為標準落地路徑，點積在數萬個INT4乘累加陣列上奔騰，使手機、汽車等端側也有能力執行十億引數模型。
稀疏化是另一方向。在Transformer中，注意力矩陣天然具有稀疏性（很多token間無關），啟用值也有大量零元素。硬體可以利用細粒度稀疏性跳過零參與的點積。NVIDIA Ampere架構支援2:4結構化稀疏，即每四個元素至少有兩個為零，Tensor Core可以據此跳過一半的運算，直接翻倍有效算力。這本質上是將點積的數量裁剪掉一半，但效果等價。未來的稀疏架構可能動態解碼零分佈，以極小硬體代價進一步削減無效點積，讓每一焦耳的能量都花在真正有資訊的計算上。
13. 訓練與推論的成本分解：點積佔據多少算力賬單？
對大型模型進行全生命週期成本分析，會發現點積的算力賬單正在主導資本支出。以訓練一個1萬億引數的大型混合專家模型為例，假設在10萬張H100上訓練100天，總消耗電力約150 GWh，成本超過2億美元。在底層運算中，前向傳播的矩陣乘法約消耗總FLOPs的50%，反向傳播的矩陣乘法則佔剩餘的大部分；注意力計算貢獻約15%-25%的FLOPs。將所有這些都還原為點積，計算可知超過95%的電能和晶片面積都在執行點積或點積的轉置變體。
推論端的成本結構更微妙。線上推論請求的低批次特性，導致GPU利用率不高，算力被大量閒置，但每次請求仍必須完成固定量的點積運算。如何最佳化低批次下的點積執行效率，成為推論晶片設計的關鍵。同時，自迴歸解碼中，逐token生成導致大量重複的KV快取讀取和部分點積重計算；FlashDecoding、PagedAttention等技術努力合併或複用這些操作，實則是對點積排程策略的最佳化。由此可見，訓練與推論的成本方程中，點積的效率係數是決定總擁有成本（TCO）的核心變數。降低每單位點積的能耗和成本，就是降低大型模型商業化的門檻。
14. 產業版圖：圍繞點積建置的晶片生態與投資主線
點積的核心地位塑造了整個AI晶片產業的版圖。我們可以將其分為幾個梯隊。第一梯隊是以NVIDIA為代表的GPU巨頭，憑藉成熟CUDA生態和Tensor Core的持續演進，掌控著訓練與推論的主要市場份額。第二梯隊是雲端廠商自研的ASIC，包括Google的TPU、Amazon的Trainium/Inferentia、微軟的Maia等，在特定場景下以更優的點積能效比降低成本，降低對第三方供應商的依賴。第三梯隊是眾多AI晶片初創公司，如Cerebras的晶圓級晶片整合整個神經網路在單一晶片上進行極致資料複用；Groq採用確定性排程降低點積延遲；d-Matrix與Sima.ai則在推論端深耕低精度、低功耗的點積引擎。
投資主線可以歸納為三條。第一條主線是先進工藝與封裝，支撐單位面積更多MAC單元的整合，進一步增加點積峰值吞吐；第二條是演算法與硬體協同設計，將Transformer層、注意力運算元充分轉換為高度最佳化的點積指令流，形成軟硬一體壁壘；第三條是新型計算範式的突破，如存內計算、光子計算等，有望跨越傳統點積的能耗牆。對每一家AI晶片公司，都應該把其架構白皮書轉化為“它如何在真實負載下降低每秒每元點積成本”的度量，以此過濾概念，鎖定真正的技術護城河。
15. 未來展望：點積的進化與AI算力的終極形態
隨著大型模型向多模態、即時互動、具身智慧等方向演化，點積的定義也在不斷擴充套件邊界。在生物神經網路中，樹突的區域性非線性處理超越了簡單的加權求和，這表明點積雖然原子級，但可能不是最終形態。部分研究已在探索“非線性突觸”、“自適應連線”等新型運算元，其計算核心仍包含點積，但嵌入了更復雜的啟用模式。未來十年，點積仍將是絕對主角，但其周邊會出現一批硬化協運算元來提升整體效率。
算力供給方面，3D堆疊、近儲存計算、矽光子等技術的成熟，將使點積執行單元在空間上更加緊湊、在時間上更接近資料。以點積為主要負載的“AI超節點”可能會以光學互連連線數萬加速器，形成一個邏輯上的巨型點積機器。能源效率的提升將最終決定AI能否邁向無處不在的普惠智慧。
從投資視角，關注點積效率的每次10倍級躍遷，就相當於把握住一次產業重構的機遇。未來幾年，能夠將大型模型每百萬token點積成本降低一個數量級的公司，將擁有定義下一代計算平台的資格。點積的故事，才剛剛進入高潮。