冲田杏梨qvod 买不到GPU，马斯克自曝AI巨兽Dojo！自研超算挑战英伟达，约等于8千块H100
冲田杏梨qvod
新智元报说念
剪辑：桃子 乔杨
【新智元导读】多年来，马斯克一直在公开评述Dojo——这台超算将成为特斯拉东说念主工智能宏愿的基石。他最近线路，跟着特斯拉准备在10月推出Robotaxi，AI团队将「加倍干与」Dojo。
为了训出最强Grok 3，xAI耗时19天，打造了由10万块H100组成的宇宙最大超算集群。
而在检修FSD、擎天柱机器东说念主方面，马斯克不异不吝重金，干与了无数的计议资源。
超算Dojo，是特斯拉AI的基石，专为检修FSD神经蚁合而打造。
就在今天，他在德州超等工场（Cortex）参不雅了特斯拉的超等计议机集群。
马斯克称，「这将是一个领有约10万个H100/H200 GPU，并配备大规模存储的系统，用于全自动驾驶（FSD）和Optimus机器东说念主的视频检修」。
不仅如斯，除了英伟达GPU，这个超算集群中还配备了特斯拉HW4、AI5、Dojo系统。
它们将由一个高达500兆瓦的大型系统提供电力和冷却。
2021年特斯拉AI Day上，马斯克首次对外文书Dojo。
如今三年昔时了，Dojo建得怎样了？
8000块H100等价算力，加倍下注
半个月前，网友称2024年年底，特斯拉领有AI检修算力，等价于9万块H100的性能。
马斯克对此作念了一些补充：
咱们在AI检修系统中不仅使用英伟达的GPU，还使用我方的AI计议机——Tesla HW4 AI（改名为AI4），比例大致为1:2。
这意味着绝顶于有大致9万个H100，加上大致4万个AI4计议机。
他还提到，到本年年底，Dojo 1将领有大致8000个绝顶于H100算力。这个规模不算重大，但也不算小。
Dojo D1超算集群
其果然客岁6月，马斯克曾露出Dojo如故在线并运行了几个月的灵验任务。
这如故线路着，Dojo如故干与到一些任务的检修中。
最近，在特斯拉财报会议上，马斯克线路特斯拉准备在10月推出自动驾驶出租车，AI团队将「加倍干与」Dojo。
预测Dojo的算计议才调，将在2024年10月达到100 exaflops。
假定一个D1芯片不错末端362 teraflops，要达到100 exaflops，特斯拉将需要跨越27.6万个D1芯片，或者跨越32万英伟达A100 GPU。
500亿晶体管，D1已投产
2021年特斯拉AI Day上，D1芯片初度亮相，领有500亿晶体管，唯独巴掌大小。
它具备了苍劲和高效的性能，大致快速处理多样复杂的任务。
本年5月，D1芯片运转投产，经受台积电7nm工艺节点。
Autopilot前硬件高等总监Ganesh Venkataramanan曾线路，「D1不错同期进行计议和数据传输，经受定制ISA领导集架构，并针对机器学习责任负载进行了充分优化」。
这是一台地说念的机器学习的芯片。
尽管如斯，D1仍莫得英伟达A100苍劲，后者不异经受了台积电7nm工艺制造。
D1在645浮浅毫米的芯片上放弃了500亿个晶体管，而A100包含540亿个晶体管，芯片尺寸为826浮浅毫米，性能最初于D1。
为了取得更高的带宽和算力，特斯拉AI团队将25个D1芯片和会到一个tile中，将其算作一个息争的计议机系统运作。
四房色播每个tile领有9 petaflops的算力，以及每秒36 TB的带宽，并包含电力源、冷却和数据传输硬件。
咱们不错将单个tile视为，由25台微型计议机组成的一台虚度年华的计议机。
通过使用晶圆级互连时刻InFO_SoW（Integrated Fan-Out，System-on-Wafer），在合并块晶圆上的25块D1芯片不错末端高性能流畅，像单个处理器一样责任。
6个这么的tile组成一个机架（rack），两个机架组成一个机柜（cabinet）。
十个机柜组成一个ExaPOD。
在2022年AI Day中，特斯拉线路，Dojo将通过部署多个ExaPOD进行扩张。所有这个词这些加在沿途组成了超等计议机。
晶圆级处理器（wafer-scale processor），比如特斯拉的Dojo和Cerebras的晶圆级引擎WSE，比多处理器（multi-processor）的性能摒弃要高得多。
前者的主要优点包括内核之间的高带宽和低延伸通讯、较低的电网阻抗以及更高的动力摒弃。
当今，唯稀奇斯拉和Cerebras领有晶圆上系统联想。
可是，将25个芯片放在沿途对电压挑战和冷却系统亦然不小的挑战。
网友拍到特斯拉在德州建筑巨型冷却系统
晶圆级芯片的固有挑战还在于，必须使用片上内存（on-chip memory），这不够天真，可能无法烦嚣所有这个词类型的欺骗。
Tom's Hardware预测， 下一代使用的时刻可能是CoW_SoW（Chip-on-Wafer），在tile上进行3D堆叠并集成HBM4内存。
此外，特斯拉还在研发下一代D2芯片，为了破解信息流结巴。
与流畅单个芯片不同，D2将通盘Dojo tile放在了单个硅晶圆上。
到2027年，台积电预测将提供更复杂的晶圆级系统，计议才调预测将晋升跨越40倍。
自D1发布以来，特斯拉既莫得公开已订购、预期摄取的D1芯片订单情况，也莫得公开Dojo超算的具体部署时刻表。
不外在本年6月份的时候，马斯克曾线路，在改日18个月，一半部署特斯拉AI硬件，一半是英伟达/其他硬件。
其他硬件，也可能是AMD。
为什么需要Dojo
自动驾驶耗算力
在咱们的印象中，特斯拉的主业仅限于分娩电动汽车，再附带一些太阳能电板板和储能系统的业务。
但马斯克对特斯拉的期许远远不啻于此。
大多数自动驾驶系统，比如谷歌母公司Alphabet旗下的Waymo，仍旧依靠传统的感知器算作输入，比如雷达、激光雷达和录像头等。
但特斯拉遴荐的是「全视觉」旅途，他们仅依靠录像头捕捉视觉数据，辅以高清舆图进行定位，再使用神经蚁合处理数据以进行自动驾驶的快速有野心。
直不雅来看，清爽前者是一种更浅易快捷的旅途，事实也果然如斯。
Waymo如故末端了L4级自动驾驶的买卖化，即SAE所界说的，在一定条款下下无需东说念主工干豫即可自行驾驶的系统。但特斯拉的FSD（Full Self-Driving）神经蚁合仍无法脱离东说念主类操作。
Andrej Karpathy曾在特斯拉担任AI正经东说念主，他线路，末端FSD基本是在「重新运转构建一种东说念主造动物」。
咱们不错将其和会为东说念主类视觉皮层和大脑功能的数字复制。FSD不仅需要一语气蚁合和处理视觉数据，识别、分类车辆周围的物体，还需要有与东说念主类绝顶的有野心速率。
由此可见，马斯克思要的毫不仅仅能盈利的自动驾驶系统长途。他的野心，是打造一种新智能。
但运气的是，他简直不太需要缅想数据不够的问题。当今大致有180万东说念主为FSD支付了8000好意思元的订阅费（之前可达1.5万好意思元），这意味着特斯拉能蚁合到数百万英里的驾驶视频用于检修。
而算力方面，Dojo超算便是FSD的检修场。它的中语名字不错翻译为「说念场」，是对技击锻练空间的问候。
英伟达不外劲
英伟达GPU有多抢手？望望各大科技巨头的CEO有多思跟老黄套近乎就知说念了。
即便财大气粗如马斯克，也会在7月的财报电话会上承认，我方对特斯拉可能没法用上实足的英伟达GPU感到「相配担忧」。
「咱们看到的是，对英伟达硬件的需求如斯之高，甚至于通常很难取得GPU。」
当今，特斯拉似乎依旧使用英伟达的硬件为Dojo提供算力，但马斯克似乎不思把鸡蛋齐放在一个篮子里。
尤其是磋议到，英伟达芯片的溢价如斯之高，并且性能还不成让马斯克实足惬意。
在硬件与软件协同这方面，特斯拉与苹果的不雅点肖似，即应该末端两者的高度协同，尤其是FSD这种高度有益化的系统，更应该开脱高度顺序化的GPU，使用定制硬件。
这个愿景的中枢，是特斯拉独到的D1芯片，于2021年发布，本年5月运转由台积电量产。
此外，特斯拉还在研发下一代D2芯片，但愿将通盘Dojo块放在单个硅片上，惩办信息流瓶颈。
在第二季度财报中，马斯克指出，他看到了「通过Dojo与英伟达竞争的另一条路线」。
Dojo能见效吗
即便自信如马斯克，在谈到Dojo时，也会支敷衍吾地线路，特斯拉可能不会见效。
从永恒来看，开导我方的超算硬件不错为AI部门开拓新的买卖风光。
马斯克曾线路，Dojo的第一个版块将为特斯拉的视觉数据标注和检修量身定制，这对FSD和检修特斯拉的东说念主形机器东说念主Optimus来说相配灵验。
而改日版块将更妥当通用的AI检修，但这不可幸免地要踏入英伟达的护城河——软件。
简直所有这个词的AI软件齐是为了与英伟达GPU互助使用，使用Dojo就意味着要重写通盘AI生态系统，包括CUDA和PyTorch。
这意味着，Dojo简直唯惟一条出息——出租算力，设置肖似于AWS和Azure一样的云计议平台。
摩根士丹利在客岁9月的呈文中预测，Dojo不错通过robotaxi和软件干事等体式开释新的收入开始，为特斯拉的市值加多5000亿好意思元。
简言之冲田杏梨qvod，从当今马斯克对硬件的严慎配比来看，Dojo并非「作死马医」而更像是一种双重保障。但一朝见效，也不错开释巨大红利。