—— Google内部报告说,在AI领域,Google与OpenAI都无法记得胜利
AI算是时下最大的风口了. 各个国家,大型科技公司都试图在这个新的领域中攻城占地, 取得优势. 甚至要建立自己的护河城.
而OpenAI毫无疑问是这个领域的王者, 而Google也试图以Bard来追赶OpenAI的ChatGPT.
但是,国外一个知名网站semianalysis上刊登了一份据说是Google的一份内部报告. Google在这份内部报告中分析了当前AI发展的趋势, 提出了独特的观点.
这篇文章是Google “We Have No Moat, And Neither Does OpenAI”, 你可以阅读原文以了解.
我在这篇文章中,把这个网站的观点给大家解释一下, 是否认可就请大家自行判断了.
报告说了什么
这篇报告的观点,我简要的归纳一下.
报告分析了Google和OpenAI在大型语言模型（LLM）领域的竞争地位，并指出开源社区在该领域的发展迅速。报告认为，Google和OpenAI的竞争优势已经不复存在，他们需要关注并学习开源社区的创新。报告中提到的几个开源社区的创新有：
- 在手机上运行基础模型
- 可扩展的个性化AI
- 负责任的发布
- 多模态
报告认为，开源模型在质量、速度、可定制性、隐私保护和性价比方面都优于Google和OpenAI的模型。开源社区在短时间内就实现了这些成果，这对Google和OpenAI的商业模式产生了深远影响。
报告指出，Google和OpenAI应该：
- 学习和与开源社区合作，优先考虑第三方集成
- 重新考虑自己的价值所在，因为用户不会为有限制的模型付费，尤其是在有免费且无限制的同等质量替代品的情况下
- 注意小型变体模型的迭代，因为在长期内，能快速迭代的模型才是最佳选择
报告认为Google和OpenAI应该加入开源社区，与之合作共赢，而不是封闭自己的模型与技术. 从而确保自己在大型语言模型领域的领导地位。
开源大模型
报告最后列出一个开源大型语言模型的发展时间线. 我列出来,供大家参阅.
2023年2月24日
Meta推出了LLaMA模型，开源了代码，但没有开源模型权重。LLaMA模型的参数规模有7B、13B、33B和65B。
2023年3月3日
LLaMA模型泄露给公众，引发了大量的创新和实验。
2023年3月12日
Artem Andreenko成功在树莓派上运行模型，尽管速度较慢，但这引发了后续的模型缩小工作。
2023年3月13日
斯坦福发布了Alpaca，对LLaMA进行了指令调优。同时，Eric Wang的alpaca-lora项目使用低秩微调技术，在单个RTX 4090上进行了训练。这使得任何人都能轻松地微调模型。
2023年3月18日
Georgi Gerganov使用4位量化技术在MacBook CPU上运行LLaMA，这是首个实用的无GPU方案。
2023年3月19日
一个跨校园合作推出了Vicuna模型，并使用GPT-4进行评估。训练成本仅为300美元。值得注意的是，他们使用了ChatGPT的数据，但绕过了其API限制。
2023年3月25日
Nomic创建了GPT4All，这是一个模型和生态系统。首次将多个模型（包括Vicuna）集中在一个地方。训练成本：100美元。
2023年3月28日
Cerebras（与Cerebra无关）使用Chinchilla的计算优化和μ参数化技术，训练了GPT-3架构，性能大幅优于现有GPT-3克隆。这是μ参数化技术首次被证实在实际中使用。
2023年3月28日
LLaMA-Adapter使用参数高效微调（PEFT）技术，在一个小时内为模型添加了指令调优和多模态功能，且只使用了120万个可学习参数。该模型在多模态ScienceQA上刷新了记录。
2023年4月3日
伯克利推出了Koala对话模型，完全使用免费数据进行训练。实际测试表明，13B开源模型和ChatGPT之间的差别已经很小。训练成本：100美元。
2023年4月15日
Open Assistant发布了一个模型和一个通过RLHF进行对齐的数据集。他们的模型在人类偏好测试中接近ChatGPT（48.3% vs. 51.7%）。此外，数据集的公开可用性使得RLHF对于小型实验者变得便宜且易于实现。
END
一直以来,对于AI,我们主要关注的是ChatGPT, 但从这篇报告上来看,也许开源的方案也非常值得我们关注了.