英伟达老黄2024欧洲杯官网入口，成了本年的圣诞老黄。
AI 芯片大礼包刚刚曝光：
GPU 新核弹B300，以及附带 CPU 的超等芯片GB300。
高算力，在居品层面上比拟 B200 在 FLOPS 上提高 50%
大显存，从 192GB 晋升到 288GB，亦然提高了 50%。
△Grok AI 画图
包含 72 块 GB300 的"新一代筹画单元" GB300 NVL72，更是被评价为"能让 OpenAI o1/o3 推理大模子的念念维链长度，在高 batch size 下达到 10 万 tokens 的独一决议"。
这与本年 3 月份" AI 春晚"发布的 B200 系列只隔了几个月。
字据 SemiAnalysis 爆料，从第三季度启动，好多 AI 巨头一经将订单从 B200 滚动到了 B300（只消微软还在第四季度不息购买了部分 B200）。
有不少网友景仰，更新速率确凿太快了！
既是处分了此前外传中 B200 因缠绵残障被动推迟的问题，又是对隔邻 AMD MI300 系列后续居品将在 2025 年晋升显存容量的回话。
又一款 AI 核弹
既然王人是 Blackwell 架构莫得跨代，B300 的算力提高来自那处呢？
字据此次爆料，主要有三部分：
工艺节点，与 B200 使用通常的台积电 4NP，然而全新流片
增多功率，GB300 和 B300 HGX 的 TDP 差别达到 1.4KW、1.2KW，比拟之下 B200 系列差别提高 0.2KW
架构微转变，举例在 CPU 和 GPU 之间动态分派功率
除了更高 FLOPS 除外，B300 系列的显存也作念了升级：
从 8 层堆叠的HBM3E升级到 12 层（12-Hi HBM3E）
显存容量从 192GB 升级到 288GB
显存带宽保捏不变，仍为 8TB/s
此外居品委派层面还有一个大变化：
GB200 系列提供通盘Bianca Board，也就包括两颗 GPU、一颗 CPU、CPU 的内存等统统组件王人集成在一块 PCB 版上。
△GB200 观念图
GB300 系列将只提供参考板（Reference Board），包括两颗 B300 GPU、一颗 Grace CPU、HMC（Hybrid Memory Cube），LPCAMM 内存模块等组件将由客户自行采购。
这给供应链上的 OEM 和 ODM 制造商带来了新的契机。
为推理大模子打造
显存的升级对 OpenAI o1/o3 一类的推理大模子至关贫困，因为推理念念维链长度会增多 KVCache，影响 batch size 和蔓延。
以一个 GB300 NVL72 "筹画单元"为单元谈判时，它使 72 个 GPU 能够以极低的蔓延处理沟通的问题，并分享显存。
在此基础上从 GB200 升级到 GB300，还不错带来好多克己：
每个念念维链的蔓延更低
完了更长的念念维链
贬低推理本钱
处理并吞问题时，不错搜索更各样本，最终提高模子智力
为了解说这些晋升，SemiAnalysis 举了个更为直不雅的例子。
下图是在不同批处理大小下，使用 H100 和 H200 两种 GPU 处理长序列时，Llama 3.1 405B 在 FP8 精度下的处理速率。
输入确立为 1000 个 token、输出 19000 个 token，由此模拟 OpenAI o1 和 o3 模子中的念念维链。
从 H100 升级到 H200，有两个显耀改良。
一是在统统可比较的 batch size 中，H200 的内存带宽更大（H200 4.8TB/s，H100 3.35TB/s），从而使得处理恶果多量提高了 43%。
二是 H200 可运行更高的 batch size，这使得其每秒不错生成的 token 数目增多了 3 倍，相应地，本钱也减少了约 3 倍。
内存增多所带来的效益远不啻名义上的这些。
大家皆知，推理模子反应期间一般更长，显耀裁汰推理期间不错提高用户体验和使用频率。
并且内存升级完了 3 倍性能晋升，本钱减少 3 倍，这一晋升速率也远超摩尔定律。
除此除外，SemiAnalysis 还分析不雅察到，智力更强和具有彰着互异化的模子能收取更高的溢价——
前沿模子毛利率超 70%，而还在与开源模子竞争的次一级模子毛利率不及 20%。
虽然，英伟达并不是独逐一家能增多内存的芯片公司，但若何英伟达还有杀手锏NVLink。
One More Thing
英伟达挥霍级显卡方面，RTX5090 的 PCB 板也初度曝光了～
就在昨天，一张 RTX 5090 PCB 相片在网上疯转。
特色即是超超超大号。
结合此前爆料称 5090 有可能会配备32GB 大显存，有望维持 8K 超高清游戏，完了 60fps 的运动游戏体验。
网友们获胜坐不住。
对于 5090 的发布期间，大伙儿臆想好像会是 1 月 6 日老黄 CES 演讲的时候。
参考衔尾：
[ 1 ] https://semianalysis.com/2024/12/25/nvidias-christmas-present-gb300-b300-reasoning-inference-amazon-memory-supply-chain/
[ 2 ] https://x.com/mark_k/status/1871864813913330003
[ 3 ] https://www.gamesradar.com/platforms/pc-gaming/rtx-5090-will-seemingly-come-armed-with-32gb-vram-and-id-be-surprised-if-8k-gaming-isnt-a-thing-this-generation/
— 完 —
点这里� � 珍贵我，铭记标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿弘扬日日重逢 ~