搜索中心

GPT-6被曝25年发布,训练刷爆10万张H100

分享至

据曝料,微软工程师透露,为训练GPT-6,已建立了10万个H100训练集群,但不幸的是,这一举动导致整个电网崩溃。工程师表示,团队在部署跨区域GPU间的infiniband级别链接时遇到了困难。 工程师解释称,原计划在同一地区部署超过100,000个H100 GPU,但这样一来电网负荷将无法承受而发生崩溃。此举导致GPT-6训练计划受阻,揭露出通往AGI大关,还需要解决电力难题的困境。 而此前,GPT-5的训练已经展开,据称陷入了瓶颈,直接跳过GPT-4.5版本,而GPT-6已在紧锣密鼓地进行训练。但即便如此,GPT-5也并非AGI,因为其无法解决「量子引力」问题。而GPT-6也同样无法达到AGI水平。 值得注意的是,整个训练过程中约有90%的数据集为合成数据,以弥补现有数据的不足。然而,电力短缺限制了未来GPU的发展,可能使得未来AI发展受限。因此,人工智能面临着重大的能源问题,未来可能需要寻找新的能源解决方案。