知乎上有个老问题最近又被顶上热榜:"从GPT-1到GPT-4,有哪些变化,是如何发展的?"
高赞回答大多在罗列参数表。我把四代模型的公开技术资料翻了一遍,发现一个更有意思的细节:GPT-1的参数是1.17亿,GPT-3是1750亿,而到了GPT-4,OpenAI在技术报告里直接写明——模型架构、大小、训练算力等细节,一概不公布。
从拼命晒数字,到捂得严严实实,这个态度反转,恰恰是这五年AI行业最重要的一条暗线。
先把时间线捋清楚
2018年,GPT-1。 约1.17亿参数,基于Transformer解码器架构。它的贡献不是"大",而是确立了一个范式:先在海量文本上无监督预训练,再针对具体任务微调。在这之前,做一个翻译模型、一个情感分析模型,是两套人马两套代码。GPT-1之后,底座可以共用。
2019年,GPT-2。 最大版本15亿参数,文本生成的连贯性和创造性上了一个台阶,出现了"零样本"能力——不专门训练,也能做一些没见过的任务。有意思的是,OpenAI当时因为担心被滥用,最初没有公开完整模型。这是"AI太强要不要放出来"争论的早期样本。
2020年,GPT-3。 1750亿参数,当时全球最大的语言模型。真正的转折点在于:它把"微调"这个环节基本干掉了。你不需要懂代码,只要在提示词里给它几个例子,它就能照着做。翻译、写作、生成代码,都是这么完成的。
2023年3月,GPT-4。 多模态模型,接受图像和文本输入、输出文本。在模拟律师考试中成绩排进考生前10%——而GPT-3.5是倒数10%。训练方法上,它在预训练之后采用了与InstructGPT同款的"基于人类反馈的强化学习",还加了基于规则的奖励模型,让输出更符合人类预期。据其技术文档,模型早在2022年8月就完成了训练,之后半年多都在做评估、对抗性测试和迭代。
参数为什么不让说了?
表面上看是商业保密。但往深一层想,这标志着行业竞争的逻辑变了。
GPT-1到GPT-3的时代,比的是"谁更大"。参数是营销数字,越大越有说服力,融资故事也好讲。
到了GPT-4,光靠堆参数已经讲不出新故事。真正拉开差距的是三样东西:数据质量、对齐技术(就是那套人类反馈强化学习)、以及工程上的可预测性——OpenAI自己说,GPT-4项目的重点之一,是用小规模模型的表现去准确预测大规模模型的性能,从而控制训练成本。
换句话说,大模型从"大力出奇迹"进入了"精耕细作"阶段。参数不再是卖点,好不好用才是。
对普通人意味着什么
这条进化史里,普通人的角色也在变:
- GPT-1/2时代:AI是工程师的专属工具,你得会写代码、会微调模型才能用;
- GPT-3时代:会说话就能用,提示词成了新技能;
- GPT-4之后:模型主动对齐人类预期,你甚至不需要精巧的提示词,把需求说清楚就行。
门槛一路降低,但有一件事始终没变,反而更重要了:把你的需求准确表达出来的能力。模型再怎么进化,它对齐的是"人类的一般预期",而你的具体需求——写什么、给谁看、什么口径——只有你自己知道。
所以别被"参数""架构"这些词吓住。用AI用得好的人,靠的不是懂技术,而是会提要求。这就像开车不需要懂发动机,但得知道要去哪。
我自己平时整理资料、写初稿,都是在 spark1.cn 的工具页(/tools/)里直接调不同模型对比着用,同一个问题丢给两三个工具,看哪个答得贴——这比研究参数表有用得多。想试写作类的,站内 /ai-writer 也能直接上手。
💬 评论