AI 内存:SRAM、DRAM、HBM 与 NAND →
比较技术差异、供应商业务与值得跟踪的经营指标。
按类别展开阅读,或直接搜索术语和公司。
比较技术差异、供应商业务与值得跟踪的经营指标。
为特定用途设计的芯片。
根据客户设计制造芯片。
用波长很短的光,在晶圆上形成精细电路图案。
把多个芯片或内存裸片紧密连接在封装内。
台积电连接逻辑芯片与高带宽内存的封装平台。
制造出来的芯片中,符合要求的比例。
算力就是计算机完成计算任务的能力。AI 学习数据(训练)和生成回答(推理),都需要算力。
GPU 是做计算的芯片,HBM 为它快速输送数据,数据中心承载整套设备。GPU 数量增加不代表实际速度同比增加,内存、网络和软件也会影响效率。
研究关注:区分卖芯片与出租算力两种生意。看利用率、客户收入,以及电费、折旧和融资成本;宣布多少算力不等于赚到多少利润。
术语依据 · IBM ↗衡量计算速度的单位。1 TFLOPS 为每秒一万亿次浮点运算;1 PFLOPS = 1,000 TFLOPS;1 EFLOPS = 1,000 PFLOPS。
标称峰值不等于实际任务速度。比较时应统一数值精度(如 FP16、FP32)、稀疏性假设和任务条件。FLOPS 是速度;FLOPs 也常用来指一次任务的总运算量。
研究关注:比较实测任务表现和成本,不只比较宣传中的最大数字。数据中心的 MW 衡量功率,不是 FLOPS,两者没有通用换算比例。
术语依据 · IBM ↗电脑运行时暂时存放数据的工作内存。
将 DRAM 堆叠起来,向加速芯片高速输送大量数据。
常用于处理器附近小型缓存的高速工作内存。
常用于电脑和服务器主内存的一代 DRAM 标准。
断电后仍能保存数据的存储芯片。
通常由 NAND 芯片和控制器等组成的存储设备。
能并行完成大量相似计算的处理器。
协调电脑各项工作的通用处理器。
一条连接在单位时间内能传输多少数据。
广泛用于连接电脑和交换机的网络技术。
用于高性能计算集群的互联技术。
在光纤连接中,将电信号与光信号互相转换。
把加速器紧密连接,使它们像一个更大的计算单元协同工作。
增加通过网络连接的计算节点,扩大集群能力。
单个机架内设备需要的功率,常以 kW/机架表示。
用液体把设备产生的热量带走。
为液冷设备管理冷却液循环与热交换。
同一期间的数据中心总能耗除以 IT 设备能耗。
让设施接入电力系统,并获得足够的可用电力。
MW 衡量功率;MWh 衡量一段时间内使用或输送的电量。
通过调整模型参数,让模型从数据中学习规律。
使用训练好的模型生成回答、预测或其他输出。
完成一次操作所需的时间,例如等待模型首次响应的时间。
语言模型处理文本的单位,可能是一个词或词的一部分。
模型在一次交互中能同时考虑的信息范围。
系统在单位时间内完成的工作量。
市场对专注 AI 算力的云服务商的称呼。
用于购置或改善服务器、建筑等长期资产的支出。
收入减去收入成本,再除以收入。
通常指经营现金流减去资本开支。
公司衡量尚待履行的订单或业务的指标。
定义因公司而异,可能包含选择权;不等于已确认收入或保证收到的现金。
研究关注:核查取消条款、交付安排与回款进度。
术语依据 · Booz Allen Hamilton · SEC filing ↗合同中分配给尚未履行义务的收入。