点积
1. 核心结论：算力觉醒时代的万亿次心跳
2024年，全球数据中心AI芯片市场规模已逼近1200亿美元，而支撑这场算力狂欢的底层数学，却可以浓缩成一个高中课本里的概念：点积。每一次神经网络的推理、每一次大模型生成的下一个token，背后都有数以万亿计的点积运算在硅基世界中奔腾。点积，就像AI时代的晶体管开关，成为衡量算力成本的最终尺度。
本报告提出一个核心判断：未来十年，所有AI芯片的竞争本质上就是对“高效执行大规模点积”能力的竞逐。从NVIDIA的Tensor Core到Google的TPU脉动阵列，从存内计算到光子芯片，一切架构创新都在围绕“更快、更省、更低功耗地点积”展开。对于投资者而言，评判一家AI芯片公司的技术成色，不看它PPT上的峰值TFLOPS，而是要看它如何解决点积运算中计算密度、访存带宽和能效比三元悖论。掌握点积执行的效率密码，就等于掌握了大模型时代的算力话语权。
本报告全文约一万字，分为十五个章节，将从数学基础、产业落地、硬件架构、未来演进等维度，全面拆解点积如何成为AI的原子操作，并揭示正在重塑半导体版图的技术暗线。
2. 引言：从一道算术题，到万亿美元产业
在全世界的课堂上，点积被讲授为“向量乘法”——将两个向量的对应元素相乘，再把所有乘积相加。这道看似平淡无奇的算术题，正在重写全球科技产业的底层规则。
当OpenAI用数千张H100训练GPT-4，当Google用TPU集群支撑Gemini的推理，当特斯拉用Dojo芯片处理海量视觉数据，这些行为的共同分母就是点积。在一个7B参数的模型中完成一次推理，需要执行的计算量超过10¹²次浮点运算，其中**超过95%**可以归结为点积及其变体（矩阵乘法、卷积、注意力）。毫不夸张地说，现代AI的全部智能，本质上是用数据喂养出来的海量点积的复合函数。
为什么点积会占据如此核心的地位？这并非偶然。从神经网络诞生之初，科学家就发现，生物的突触可塑性可以被抽象为“输入信号加权求和”：接收信号、赋予权重、累加激活。而这个加权求和正好是点积在数学上的最简形态。六十年后，当Transformer架构用自注意力机制横扫AI领域，其核心Q·K仍然是点积。技术如何迭代，底层计算单元始终回归到这一原子操作。因此，理解点积的工程实现，就是理解AI算力的全部故事起点。
3. 数学溯源：点积的三百年简史与向量空间的基石
点积的历史可以追溯到19世纪。英国数学家威廉·哈密顿在四元数理论中，将四元数的乘积分解为标量部分和向量部分，其中标量部分实质就是现代意义上的点积。但真正将其形式化并赋予几何意义的是美国物理学家约西亚·吉布斯。吉布斯在1881年出版的《向量分析基础》中，以“点乘”命名这一运算，用“·”作为符号，从此这个黑点成为数学和物理中的通用语言。
点积的定义极为简洁：对于n维实空间中的两个向量a=(a₁,…,aₙ)和b=(b₁,…,bₙ)，其点积为：
a·b = ∑ᵢ aᵢbᵢ
但这一公式背后隐藏着线性代数的深层结构。点积实际上定义了一个内积空间，赋予向量长度和角度的概念。由点积可以导出范数（长度）‖a‖=√(a·a)，以及夹角余弦cosθ=(a·b)/(‖a‖‖b‖)。这使得抽象向量空间具有了欧几里得几何的全部性质。
与标量乘法不同，点积具有交换性、分布性，但不具有结合性；其结果是标量而非向量，这一点使其在投影、做功、相似度等物理与计算场景中占有一席之地。在希尔伯特空间理论中，内积的推广形式支撑了整个量子力学与泛函分析的大厦，而点积则是这一切在有限维空间中的根基。如今，AI的繁荣，为这一19世纪的数学概念注入了前所未有的工程生命力。
4. 几何直觉：点积如何衡量方向一致性
点积之所以强大，在于它把代数计算与几何直观打通。公式a·b=‖a‖‖b‖cosθ揭示：点积不仅取决于向量长度，更取决于它们之间的夹角。当θ=0°，cosθ=1，点积取得最大值‖a‖‖b‖，等于两者的长度乘积，意味着完全同向对齐；当θ=90°，cosθ=0，点积归零，向量正交独立、无关；当θ=180°，cosθ=-1，点积为负最大值，表示完全反向。
这个“方向一致性”的直觉对于理解现代AI的计算流至关重要。在特征空间中，每一个数据点、每一个词嵌入、每一个图像的局部块都可以用高维向量表示。两个向量的点积大小直接反映它们在语义空间中的“相关程度”。比如在词向量中，“国王”向量与“王后”向量会有很高的点积值，因为它们共享了大量语义方向；而“国王”与“水杯”则接近正交。
在注意力机制中，这种几何解释变成了“查询”向量寻找最匹配的“键”向量的过程：查询向量在键向量方向上的投影越大，说明两者越“共振”，该键对应的值就越被重视。模型通过softmax将点积幅值转化为概率权重，实现了在数以万计的token中动态聚焦。这种基于方向对齐的信息路由，使Transformer能够处理超长文本、多模态数据，而所有决策的依据，都是底层那一波波如潮汐般涌动的点积计算。
5. 全连接层：神经网络中的加权求和引擎
如果说点积是AI的原子，那么全连接层就是原子组成的第一个分子结构。一个典型的全连接层，输入向量x∈ℝⁿ，权重矩阵W∈ℝᵐˣⁿ，偏置b∈ℝᵐ，则输出y=Wx+b。其中输出向量的每一个元素yᵢ，都是W的第i行与x的点积再加上偏置。矩阵乘法的本质就是批量点积——m行分别与同一个输入向量执行点积，产生m维输出。
全连接层代表了神经网络最基础的计算范式：仿射变换+非线性激活。训练良好的网络会学习出一组权重，使得输入向量在这些权重行向量方向上的投影能够最大化地表达所需的特征。例如在图像分类中，全连接层将卷积提取的特征向量映射到类别分数，每个类别的分数就是一个点积结果，分数最高的即为预测标签。
从计算量视角看，全连接层的浮点运算量是2×m×n（乘法和加法各算一次），而参数规模也是m×n。参数读取和中间结果存储构成主要的内存开销。在大模型中，全连接层通常占据参数总量的三分之二以上，例如Llama 3-70B中，前馈网络（即多个全连接层）占到总参数量的约75%。这类操作的计算密度极高，但极度依赖高速缓存与数据复用策略，直接推动了高性能计算芯片的架构设计，这正是点积需求对硬件反向塑造的体现。
6. 自注意力机制：点积在Transformer中的巅峰应用
2017年，论文《Attention is All You Need》提出了缩放点积注意力，成为如今一切大语言模型的基石。其公式为：
Attention(Q,K,V) = softmax(QKᵀ/√dₖ)V
这里Q、K、V分别是查询、键、值矩阵，形状均为[n, dₖ]（n为token数，dₖ为头维度）。关键在于QKᵀ：这是一个n×n的矩阵，其(i,j)元素正是第i个查询向量与第j个键向量的点积。整个矩阵乘法的计算量是2n²dₖ次浮点运算。对GPT-4来说，在32k上下文中，这一计算量随序列长度平方增长，成为最大的算力热点。
为什么要除以√dₖ？当dₖ较大时，点积的方差会线性扩大，导致softmax的梯度极度稀疏。除以√dₖ是一种归一化技巧，使得点积值保持在一个合理范围，保障训练稳定。这侧面反映了点积作为计算的原子，其统计特性直接影响着训练动力学的全局行为。
多头部注意力进一步将Q、K、V拆分成多个头，每个头独立执行缩放点积注意力，再将各头结果拼接。这样模型可以在不同子空间学习不同类型的依赖关系。每一个头执行的计算仍是点积。Llama 3-70B具有64个头，每一次推理的每一步，都要执行64次QKᵀ，合计数百亿次点积。大模型上下文长度的每一次扩展，都意味着QKᵀ矩阵的平方级膨胀，直接对显存容量和算力提出极限挑战。这也是FlashAttention和MLA等优化技术的核心攻坚对象，目标都是在不降低计算精度的前提下，让点积运算更省显存、更快执行。
7. 卷积运算：当点积在空间中滑动
卷积神经网络（CNN）的崛起奠定了深度学习在视觉领域的主导地位，而卷积层的底层同样由点积一统天下。考虑一个输入特征图，尺寸为H×W×C_in，卷积核尺寸为K×K×C_in，输出通道数为C_out。计算时，卷积核在输入特征图的空间维度上滑动，每一步取出一个局部张量块，与卷积核做逐元素乘法并求和——这正是一个高维点积。将K×K×C_in展平为向量，局部特征块也展平，二者点积得到一个输出标量。遍历所有C_out个卷积核和所有空间位置，就构成完整的卷积输出。
这种“空间滑动+局部点积”的模式，本质上是用同一组权重对所有局部区域执行模式匹配。卷积核学习到特定的特征检测器，如边缘、纹理、高级语义，一切识别都建立在点积匹配的基础上。例如ResNet-50的一次推理约包含38亿次乘累加，其中绝大部分由卷积层的点积贡献。
在底层实现中，现代AI编译器（如TVM、XLA）会将卷积运算通过im2col加通用矩阵乘法（GEMM）的方式，转换为大规模矩阵乘法，从而利用已有的高效点积算力内核。这一转换进一步印证：无论是全连接还是卷积，最终都在硬件上落地为对点积的极致优化。GPU中的Tensor Core、TPU中的脉动阵列，都是在这一共识上生长出来的算力骨骼。
8. 嵌入检索与向量数据库：点积决胜相关度排序
随着大模型落地千行百业，检索增强生成（RAG）成为解决幻觉、引入私域数据的标准范式。企业将文档切片后转化为向量存入向量数据库；用户提问时，查询向量与库中所有候选向量计算相似度，检索出最相关的片段，再提交给大模型生成最终回答。这个相似度的核心计算就是点积（或余弦相似度）。
余弦相似度本质上是归一化后的点积：cos(θ) = (q·d)/(‖q‖‖d‖)。当向量已被预归一化，余弦相似度完全等价于点积。Milvus、Pinecone、Weaviate等向量数据库，底层都依赖高效的近邻点积搜索。对于一个含有数十亿向量的数据库，单次相似度检索需执行数十亿次点积，这几乎等同于一次轻量级的前向推理。如果要求毫秒级延迟，就必须将海量点积运算极致并行化，并配合近似近邻算法（如HNSW、IVF-PQ）大幅削减不必要的点积次数。
值得关注的是，点积在嵌入空间的可解释性：高维空间中的点积幅度受维度、向量模长等多因素影响，容易出现“距离集中效应”，即所有点积都聚集在某个均值附近，区分度降低。这促使研究界不断改进嵌入模型，通过对比学习、温度缩放等方式，将点积分值拉开，增强检索的分辨力。点积的计算本身是确定的，但其所处的语义空间性质，却会彻底改变搜索的质量——算力必须和算法协同，才能释放点积的全部效能。
9. 计算模式与访存特征：为什么说点积是“算术强度之王”
在计算机体系结构中，各种运算可根据算术强度（Operations per Byte，FLOPs/Byte）分类。点积及其批量形式矩阵乘法是典型的计算密集型操作，算术强度极高。假设一个矩阵乘法[M,K] × [K,N]，需进行的乘累加次数为 M×N×K，而需要读取的数据量约为2×K×(M+N)个浮点数（不考虑缓存重用下的理想情况）。当M、N、K都较大时，算术强度约等于 (M×N×K) / (2K×(M+N)) ≈ (M×N)/(2(M+N))。在M≈N的方阵情形下，算术强度近似为 M/4。对于大规模矩阵，M达数千乃至上万，算术强度可达数百乃至上千FLOPs/Byte。
对比之下，向量加法（如激活函数），算术强度仅为0.5 FLOPs/Byte，受内存带宽瓶颈严重。点积操作因其计算量远大于访存量，天然适合在具有强大并行计算能力的硬件上运行，比如GPU的大规模线程阵列和专用的矩阵乘法单元。当芯片设计者面临“内存墙”的制约时，将主要算力图谱聚焦于点积的加速，就成为一种必然策略。这也是为什么AI芯片都在追求高吞吐量的低精度矩阵乘法单元，而非仅仅堆叠通用ALU。理解这种算术强度差异，是评估任何AI芯片架构优劣的基本出发点。
在实际训练中，数据复用是挖掘点积执行效率的关键。权重矩阵在多个微批样本间复用，输入在多个输出神经元间复用，局部特征块在卷积滑动中复用——每一层数据复用都可通过缓冲区设计和指令调度，将有限的内存带宽放大成极高的实际吞吐量。高效的AI编译器能够将计算图重排，最大化点积的复用，减少对HBM的昂贵访问。点积因此不仅是数学上的原子，更成为了软硬件协同优化的着力点。
10. GPU与TPU：两大点积加速流派的巅峰对决
当前主导AI算力市场的两大架构体系，本质上是两种不同思路的点积并行实现。NVIDIA的GPU自Volta架构起，引入Tensor Core，可以在一个周期内完成4×4矩阵的乘累加，支持FP16/BF16/INT8等混合精度。一个SM（流多处理器）中包含多个Tensor Core，配合warp级调度，实现超大规模并行。Ampere、Hopper架构持续扩展Tensor Core的能力，并引入Transformer Engine，针对点积进行动态精度缩放。H100拥有528个Tensor Core，在密集矩阵乘法上提供近1000 TFLOPS的FP8算力，这相当于每秒千万亿次点积操作。
Google的TPU则走向另一条路——脉动阵列。TPU中，一个65536（256×256）规模的乘累加阵列以2D脉动的方式传递数据，一个时钟周期内可以完成256×256=65536次乘累加，吞吐量惊人。脉动阵列让数据在邻居单元间流动复用，规避了许多寄存器文件和共享内存的读写开销，在点积的能效比上具有结构优势。TPU v5p的BF16峰值算力达到459 TFLOPS，推理能效比显著优于通用GPU，这正是在点积这一特定用例上ASIC设计的胜出。
两种流派的竞争，反映在点积上就是对“通用可编程性”与“极致效率”的权衡。GPU通过CUDA生态提供了极大的编程灵活性，任何形状的点积和张量运算皆可映射；而TPU则通过专用化的脉动阵列和XLA编译器，在特定形状和大规模的矩阵运算上取得最优效率。两者的演化方向，共同指向如何在3D封装、先进工艺下塞入更多的MAC单元，并使其高效运转。
11. 前沿架构：存内计算与光子芯片重塑点积的物理极限
传统计算架构面临“数据搬运能耗远大于计算能耗”的瓶颈。存内计算（Processing-in-Memory, PIM）直接将点积运算嵌入存储器内部。以ReRAM、SRAM为基础的存内计算宏单元，利用欧姆定律和基尔霍夫电流定律，在模拟域自然完成“乘后累加”操作：输入电压代表向量元素，器件电导代表权重，汇总电流即是点积结果。一个存内计算宏可以在数个时钟周期内完成数百维向量的点积，能效比达到数十甚至上百TOPS/W，远优于数字ASIC。
然而，模拟计算的精度、噪声、工艺变异等问题，使其在当前阶段主要适用于推理任务，尤其是对噪声容忍度较高的嵌入检索和推荐系统。如果未来能够在精度上取得突破，存内计算有潜力将数据中心级别的点积功耗降低一个数量级，彻底改变大模型的经济模型。
光计算则是更前沿的赛道。光学干涉和马赫-曾德尔干涉仪网络，可以在光学域以光速完成矩阵乘法，其中点积以相干叠加的方式完成。理论上，光学点积的延迟极低，能效极高，可以瞬时处理上百维度的向量。Lightmatter、Lightelligence等初创公司已展示光学加速卡原型，单次光速点积可在皮秒级完成。不过，光学元件对温度、工艺敏感，且I/O转换仍是瓶颈。两大新架构的共同点在于，它们试图越过晶体管开关的物理极限，直接利用物理定律完成点积，以此打开后摩尔时代的算力新空间。
12. 量化与稀疏化：让点积变得更“轻”
尽管点积是计算的原子，但通过降低每个原子的“质量”——减少位宽和消除无效操作——同样可以大幅提升效率。模型量化将浮点权重和激活值转化为INT8、INT4甚至二元值，使得一次积运算从FP32乘法下降为INT4乘累加，能量消耗可以降低10倍以上。在INT4精度下，NVIDIA H100的Tensor Core算力可飙升至近4000 TFLOPS，这就是点积位宽缩减直接放大了有效算力。
量化后的点积仍保留语义吗？研究表明，在正确的校正和训练后量化机制下，模型的困惑度或准确率下降极为有限。这得益于神经网络对权重的冗余表达以及随机梯度下降的平坦最小值特性。大模型的量化推理已经成为标准落地路径，点积在数万个INT4乘累加阵列上奔腾，使手机、汽车等端侧也有能力运行十亿参数模型。
稀疏化是另一方向。在Transformer中，注意力矩阵天然具有稀疏性（很多token间无关），激活值也有大量零元素。硬件可以利用细粒度稀疏性跳过零参与的点积。NVIDIA Ampere架构支持2:4结构化稀疏，即每四个元素至少有两个为零，Tensor Core可以据此跳过一半的运算，直接翻倍有效算力。这本质上是将点积的数量裁剪掉一半，但效果等价。未来的稀疏架构可能动态解码零分布，以极小硬件代价进一步削减无效点积，让每一焦耳的能量都花在真正有信息的计算上。
13. 训练与推理的成本分解：点积占据多少算力账单？
对大模型进行全生命周期成本分析，会发现点积的算力账单正在主导资本开支。以训练一个1万亿参数的大型混合专家模型为例，假设在10万张H100上训练100天，总消耗电力约150 GWh，成本超过2亿美元。在底层运算中，前向传播的矩阵乘法约消耗总FLOPs的50%，反向传播的矩阵乘法则占剩余的大部分；注意力计算贡献约15%-25%的FLOPs。将所有这些都还原为点积，计算可知超过95%的电能和芯片面积都在执行点积或点积的转置变体。
推理端的成本结构更微妙。在线推理请求的低批量特性，导致GPU利用率不高，算力被大量闲置，但每次请求仍必须完成固定量的点积运算。如何优化低批量下的点积执行效率，成为推理芯片设计的关键。同时，自回归解码中，逐token生成导致大量重复的KV缓存读取和部分点积重计算；FlashDecoding、PagedAttention等技术努力合并或复用这些操作，实则是对点积调度策略的优化。由此可见，训练与推理的成本方程中，点积的效率系数是决定总拥有成本（TCO）的核心变量。降低每单位点积的能耗和成本，就是降低大模型商业化的门槛。
14. 产业版图：围绕点积构建的芯片生态与投资主线
点积的核心地位塑造了整个AI芯片产业的版图。我们可以将其分为几个梯队。第一梯队是以NVIDIA为代表的GPU巨头，凭借成熟CUDA生态和Tensor Core的持续演进，掌控着训练与推理的主要市场份额。第二梯队是云厂商自研的ASIC，包括Google的TPU、Amazon的Trainium/Inferentia、微软的Maia等，在特定场景下以更优的点积能效比降低成本，降低对第三方供应商的依赖。第三梯队是众多AI芯片初创公司，如Cerebras的晶圆级芯片整合整个神经网络在单一芯片上进行极致数据复用；Groq采用确定性调度降低点积延迟；d-Matrix与Sima.ai则在推理端深耕低精度、低功耗的点积引擎。
投资主线可以归纳为三条。第一条主线是先进工艺与封装，支撑单位面积更多MAC单元的集成，进一步增加点积峰值吞吐；第二条是算法与硬件协同设计，将Transformer层、注意力算子充分转换为高度优化的点积指令流，形成软硬一体壁垒；第三条是新型计算范式的突破，如存内计算、光子计算等，有望跨越传统点积的能耗墙。对每一家AI芯片公司，都应该把其架构白皮书转化为“它如何在真实负载下降低每秒每元点积成本”的度量，以此过滤概念，锁定真正的技术护城河。
15. 未来展望：点积的进化与AI算力的终极形态
随着大模型向多模态、实时交互、具身智能等方向演化，点积的定义也在不断扩展边界。在生物神经网络中，树突的局部非线性处理超越了简单的加权求和，这表明点积虽然原子级，但可能不是最终形态。部分研究已在探索“非线性突触”、“自适应连接”等新型算子，其计算内核仍包含点积，但嵌入了更复杂的激活模式。未来十年，点积仍将是绝对主角，但其周边会出现一批硬化协算子来提升整体效率。
算力供给方面，3D堆叠、近存储计算、硅光子等技术的成熟，将使点积执行单元在空间上更加紧凑、在时间上更接近数据。以点积为主要负载的“AI超节点”可能会以光学互连连接数万加速器，形成一个逻辑上的巨型点积机器。能源效率的提升将最终决定AI能否迈向无处不在的普惠智能。
从投资视角，关注点积效率的每次10倍级跃迁，就相当于把握住一次产业重构的机遇。未来几年，能够将大模型每百万token点积成本降低一个数量级的公司，将拥有定义下一代计算平台的资格。点积的故事，才刚刚进入高潮。