大模型遭泄两月后,Meta意外变赢家

一份被意外泄露的谷歌内部文件,将Meta的LLaMA大模型“非故意开源”事件再次推到聚光灯前。

“泄密文件”的作者据悉是谷歌内部的一位研究员,他大胆指出,开源力量正在填平OpenAI与谷歌等大模型巨头们数年来筑起的护城河,而最大的受益者是Meta,因为该公司2月意外泄露的LLaMA模型,正在成为开源社区训练AI新模型的基础。

几周内,开发者与研究人员基于LLaMA搞起微调训练,接连发布了Alpaca、Vicuna、Dromedary等中小模型,不只训练成本仅需几百美元,硬件门槛也降低至一台笔记本电脑甚至一部手机,测试结果不比GPT-4差。

除了AI模型之外,FreedomGPT等类ChatGPT应用也如雨后春笋般涌现,基于LLaMa的“羊驼家族”不断壮大,这位研究员认为,Meta很可能借此形成生态,从而成为最大赢家。

事实上,人工智能的世界里,的确有一部分进入了“安卓时刻”,这个部分就是开源社区。特斯拉前AI主管Andrej Karpathy评价开源社区中的AI进化时称,他看到了“寒武纪大爆发的早期迹象”。

在AI竞速的赛道上,奔跑的不只有科技巨头,开源社区正在从小径中涌入大道,成为人工智能开发层面不可忽视的力量。


LLaMa意外开源养出 “羊驼家族”


“我们没有护城河,OpenAI 也没有。”一篇来自Google 内部的文章在 SemiAnalysis 博客传播,文章作者认为,Meta的LLaMa开源模型快速聚集起生态雏形,正在消除与GPT之间的差距,开源AI最终会打破 Google与OpenAI的护城河。

这篇文章让人重新注意到了Meta的 LLaMA 大模型,该模型代码被泄露后的2个月里意外成了开源社区训练自然语言模型的基础,还产生了诸多中小模型及应用。

时间回到今年2月24日,Meta推出大语言模型LLaMA,按参数量分为7B、13B、33B和65B四个版本。别看参数量远远不及GPT-3,但效果在AI圈内获得了一些正面评价,尤其是能在单张GPU运行的优势。

Meta在官方博客中曾称,像LLaMA这种体积更小、性能更高的模型,能够供社区中无法访问大量基础设施的人研究这些模型,进一步实现人工智能大语言模型开发和访问的民主化。

“民主化”来得异常快。LLaMA推出一周后,一位名叫llamanon的网友在国外论坛4chan上以种子文件的方式上传了7B和65B的LLaMA模型,下载后大小仅为 219GB。此后,这个种子链接被发布到开源社区GitHub,下载量超过千次。LLaMA就这样被泄露了,但也因此诞生了诸多实验成果。

最初,名叫 Georgi Gerganov 的开发者开源了一个名为llama.cpp的项目,他基于LLaMA 模型的简易Python语言的代码示例,手撸了一个纯 C/C++ 语言的版本,用作模型推理。换了语言的最大优势就是研究者无需 GPU、只用 CPU能运行LLaMA模型,这让大模型的训练硬件门槛大大降低。

正如谷歌那位研究员写得那样,“训练和实验的门槛从一个大型研究机构的全部产出降低到1个人、1晚上和1台性能强大的笔记本电脑就能完成。”在开发者的不断测试下,LLaMA已经能够在微型计算机树莓派4和谷歌Pixel 6手机上运行。

开源社区的创新热情也彻底点燃,每隔几天都会有新进展,几乎形成了一个“LLaMA(羊驼)生态”。

3月15日,斯坦福大学微调LLaMA后发布了Alpaca(美洲驼)模型,仅用了52K数据,训练时长为3小时。研究者宣称,测试结果与GPT-3.5不分伯仲,而训练成本还不到600美元,在一些测试中,Alpace与GPT-3.5的获胜次数分别为90对89。

随后,加州大学伯克利分校、卡内基梅隆大学、加州大学圣地亚哥分校的研究人员又提出新的模型Vicuna(小羊驼),也是基于LLaMa做出来的,训练成本仅300美元。

在该项目的测评环节,研究人员让GPT-4当“考官”,结果显示,GPT-4在超过90%的问题中更强倾向于Vicuna的回答,并且Vicuna在总分上达到了ChatGPT的92%。

用GPT-4测评Vicuna与其他开源模型

短短几周,基于LLaMa构建的“羊驼家族”不断壮大。

4月3日,伯克利人工智能研究院发布了基于LLaMa微调的新模型 Koala(考拉),训练成本小于100美元,在超过一半的情况下与 ChatGPT 性能相当;5月4日,卡内基梅隆大学语言技术研究所、IBM 研究院与马萨诸塞大学阿默斯特分校的研究者们,推出了开源自对齐语言模型Dromedary(单峰骆驼),通过不到300行的人工标注,就能让65B的LLaMA基础语言模型在TruthfulQA(真实性基准)上超越GPT-4。

在国内,垂直医疗领域的 “羊驼家族”成员也出现了,哈尔滨工业大学基于LLaMa模型的指令微调,推出了中文医学智能问诊模型HuaTuo(华驼),该模型能够生成专业的医学知识回答。

哈工大推出中文医学智能问诊模型HuaTuo(华驼)

基于该模型的开源创新不仅在大模型上,应用层也有多点开花之势。

3月31日,AI公司Age of AI推出了语言模型FreedomGPT,正是基于斯坦福大学的Alpaca开发出来的;3月29日,加州大学伯克利分校在它的Colossal-AI基础下发布了ColossalChat对话机器人,能力包括知识问答、中英文对话、内容创作、编程等。

从基础模型层到应用层,基于LLaMa所诞生的“羊驼家族”还在一路狂奔。

由于被 “开源” 的 LLaMA 出自 Meta 之手,那位发文的谷歌研究员认为,Meta意外成了这场AI竞争中的最大受益者——借助开源社区的力量,Meta获得了全世界顶级开发者的免费劳动力,因为大多数开源的 AI 创新都发生在他们的基础架构内,因此,没有什么能阻止 Meta将这些成果直接整合到他们的产品中。


开源力量触发“AI的安卓时刻”


ChatGPT引爆AI热后,英伟达的CEO黄仁勋将这股浪潮喻为“AI的iPhone时刻”,他认为,AI行业进入了如iPhone诞生颠覆手机行业时的革命性时间点。而当LLaMA开启开源社区的小宇宙后,网友认为,“AI的安卓时刻”来了。

回顾过去,谷歌曾以开源思想让更多的开发者参与到安卓应用生态的建设中,最终让安卓成为电脑与手机的系统/应用主流。如今,LLaMA再次让AI业内看到了开源力量的强大。

智能软硬件件开发公司出门问问的CEO李志飞也注意到了谷歌这篇内部声音:

“大模型这个领域,Google已经在声势上大幅落后于OpenAI。在开源生态上,如果Google再犹豫不决,后面就算想开源也会大幅度落后于Meta的LLaMA。相反,如果开源,可以把OpenAI的壁垒进一步降低,而且会吸引(或留住)很多支持开源的高级人才。”

特斯拉前AI主管Andrej Karpathy认为:

“当前开源大模型的生态之势,已经有了寒武纪大爆发的早期迹象。”

确实,开发者对开源的AI模型前所未有的热情正在从Github的打星量指标中溢出:Alpaca获得了23.2k星,llama.cpp获26.3k星,LLaMA获20.8k星……而在“羊驼家族”之前,AutoGPT等开源项目也在Github拥有超高的人气,突破100k星。

开发者对开源AI模型的打星量

此外,为了追赶 ChatGPT,构建大型开源社区的 AI 初创公司Hugging Face 也在近日推出了开源聊天机器人HuggingChat,该机器人的底层模型拥有300 亿个参数,并对外开放了训练数据集。英伟达 AI 科学家 Jim Fan认为,如果后续开发应用程序,Hugging Face将比 OpenAI 更具优势。

开源力量来势汹汹,手握OpenAI的微软也并不准备把鸡蛋都放在一个篮子里。今年4月,微软推出了开源模型DeepSpeed Chat,为用户提供了 “傻瓜式” 操作,将训练速度提升了15倍。

以LLaMA 为核心的AI开源社区正在平行空间中,与OpenAI等走闭源路线的大模型巨头展开竞速,开源思想与实践中爆发出的创新力量已经不容巨头小觑了。