这样的积累。
其实最大的区别,是现在的科技巨头还意识不到高质量文本标注的重要性,语言文本一系列的数据集都还比较粗糙。
孟繁岐自半年前起,每个月投入在数据标注当中的金额就高达百余万,还是非常舍得花钱的。
“至于成熟的深度学习框架,杰夫已经在做tensorFlow了,实在不够,caffe也不是不能用,这个问题不是很大。”
“硬件设备和并行方式的限制,这方面的内容就比较麻烦了,因此我一年之内可以推出的,也只是1到2b的大小,是chatGpt的百分之一大小,更大的模型我短期内难以处理。”
“等到明年这个时候,黄仁勋如果听从我的建议,推出了帕斯卡架构、Nvlink以及p100显卡的话,我应该就能够展望7b乃至10b出头一些的大小了。”
这件事情孟繁岐思索了很久,明年上半年,1到2b大小的miniGpt是一个初次的尝试。等到英伟达的新产品到位之后,15年的下半年就能够推出smallGpt。
依赖后续的那些奇技淫巧,这个规模的smallGpt就已经足以做到当年chatGpt七八成的功力了。这个水平,差不多就已经够用,可以圆上自己的那块大饼了。
至于Gpt-4那种级别的模型和性能,恐怕还是要等到17到18年左右,搭配最新的硬件设备才能做到。
“其实一年这个时间限制,对我来说还是有些紧张了,到时候指不定就要跳票,延迟好几个月。”此时此刻,孟繁岐最多也只敢说自己有七八成的把握,再多的也不敢保证。
“把握不够你还敢吹啊?那可是当着全世界几亿人!”不仅唐璜此时听到这句话是震惊的。
最初准备那则宣传视频的时候,谷歌方面也是忧虑重重,不是特别放心。
虽然孟繁岐大半年来创造奇迹无数,可这种场合下公布和宣传的东西,毕竟还是基本直接等同于谷歌这个形象。
别看孟繁岐在台上谈笑风生,一句“onemorething”股价就起飞。
那是基于大家对他历史成绩的信任,等到了时候东西出不来,股价自然又是飞速下降。
孟繁岐累积了大半年的信用也将会一扫而空,下次想要这么一个幻灯片就创造出百亿美金涨幅的奇迹,恐怕就困难得紧了。
并且,对谷歌的信誉也是一个不小的打击。
因此,尤其是前首席执行官施密特,对这件事情就持有相当保守的态度。
孟繁岐也拿不出特别好的理由去说服他,只得拿出此前与霍尔姆斯的对赌事件举例:“有时候人不逼一逼自己,就不知道自己有多少潜力。”
>> --