在前世openAI得到Gpt3之后，为了发展出chatGpt级别的智能，他们曾经做过两种不同路线的尝试。

    openAI将一批模型命名为达芬奇，分为代码版达芬奇和文本版达芬奇两种，顾名思义，一种用于代码，一种用于文本语言。

    这两兄弟可以算作是第一版的Gpt3.5，也就是chatGpt的原始版。

    对比原本有点笨笨的Gpt3，两兄弟已经开始展现出不少关键能力。

    比如合理的响应人类的指令。

    他们针对人类的输入内容，回应会显得非常合理，给人感觉像是在进行对话和思索。而此前的Gpt3，会经常复读相关，但是根本没用也不是回答的句子。

    比如可以对从未见过的任务和知识内容进行应对，这一点是至关重要的。

    如果模型只能对训练集内有的文本进行理解和回答，那么上线以后是完全没法用的。

    广大民众的想象力是无限的，分分钟就会发现智能的漏洞所在，进而对这款智能失去兴趣，这也是为什么Gpt3在人工智能领域外几乎没有什么水花。

    最重要的一点，是模型具备了【思维链】，能够对比较长的句子和事件的因果关系进行相当复杂的推理。

    这一点也是Gpt3几乎不具备的。

    思维链的能力至关重要，它不仅使得模型能够更加聪明的理解人类用户的输入，更加关键的地方在于强化了多轮对话的前后文理解能力。

    它使得语言模型仿佛具有了相当的记忆力，用户每次输入内容和进行对话的时候，几乎不需要过多的提及之前的内容，模型就仍旧能够串起前文，理解用户的意图。

    这些新的能力，是使得Gpt3.5完全蜕变，成为全世界目光焦点的关键所在。

    而与Gpt3相比，模型的参数和训练的数据变化其实很小。

    所以孟繁岐才会认为，数据和模型规模固然重要，但还不够产出chatGpt这样聪慧的智能。

    在此基础之上，还需要另做文章，并且工程量不小。

    这些操作和技巧，就是openAI最成功产品，chatGpt的核心科技。

    “首先要做的两件事是【指令微调】和【代码训练】。”孟繁岐如今手下已经有了好几十人，既然付工资，该让他们做的事情当然不用客气。

    指令微调到底是否改变了模型的性能，这个问题其实并不好说。

    不过前世有很多研究证明，指令微调的确可以使得模型的输出更加符合人类的风格，符合人类的偏好。

    或许，微调前的模型其实已经理解了内>> --