设备在限制孟繁岐的发挥。
今天来看,硬件设备这方面,似乎今天可以有很大的进展了。
有了这批泰坦Z设备,在按照约定研发自动驾驶技术之余,也得先出几个版本的迷你chatGpt,让各大公司尝到一点语言大模型的甜头。
这样一来,复现chatGpt的环境才能够成熟起来。
若是想要处理比较大型的语言模型,14年老黄刚刚发布的这款12G显存泰坦Z,是非常必要的硬件设备,短期内基本上没有特别好的替代品。
因为显存这个属性还是相当珍贵的,要知道2020年底发售的Gtx3080显卡,显存也才12Gb。甚至22年底的4080显卡,也只分12G和16G两个版本。
从产品的时间线上对比一下,就可以很明显地感觉到14年这款泰坦Z的可怕之处,12Gb的显存基本上可以说是前无古人,令人倍感震惊。
不到两年前,12年的旗舰显卡Gtx680,显存仅仅只有可怜的2Gb。
后来世人们都知道chatGpt的威力,但很少有人仔细算过这笔账:先不提数据的事情,只说想要训练这个改变了世界的模型,到底需要多少的算力和设备。
英伟达的市值突破万亿,背后的原因是chatGpt引发的AI算力军备竞赛。
而制造这起军备竞赛的openAI本身,其实一直都很缺乏算力,openAI因为无法负担chatGpt的训练算力,而选择与金主爸爸微软合作。
这也是为什么他们曾经一度因为用户的需求量太大而停止提供服务,还是硬件设备不够。
微软为他们耗费了好几亿美元,组建了超过万张A100显卡的超级算力平台。
每一张A100都拥有80G的显存,也就意味着openAI当初为了得到chatGpt这个模型,准备了大约百万Gb大小的显存。
这么换算下来,怎么也得十万张泰坦Z才能够达成相同的显存效果。
十万张泰坦Z,这下可是真真正正的核弹了。
并且这还只是显存与微软保持了一致,由于设备的年代差异,泰坦Z运算的速度还得>> --