来源:新智元
图片来源:由无界 AI生成
Meta CTO接受访谈,大谈AI开源竞争,认为AI开源将让所有参与者获益。同时,XR已经准备好利用AI搭建杀手应用,Meta最近推出的AR眼镜就是最好的例子。
最近,Meta CTO Andrew Bosworths公开接受了记者的专访。
他针对Meta如何将AI和XR行业融合在一起,以及Meta对于开源AI社区的竞争和发展,AI人才的流动聊了很多。
问题:看起来,当混合现实硬件与生成式人工智能相结合时,会得到1+1大于2的效果吗?
在7年前Michael Abrash的Connect演讲中,他探讨了大型AR的未来愿景,强调人工智能是核心组成部分。
但之前的认识可能存在误区,认为需要大量狭窄的数据集才能获得更好的AI系统。然而,这种思维方式正逐渐转变。
眼镜类产品在市场上的长期存在,加上人工智能的应用,就可以显著提高眼镜的实用性。
在大型语言模型出现之前,机器学习总是围绕着创造价值的应用发展的。
例如,Facebook在引入News Feed排名机制之前已存在,但随着时间的推移,其排名机制得到了改善。
类似地,所有人工智能系统通常都是基于非AI元素开始,以获取数据集,随后这些数据集支持人工智能系统的不断进步。
然而大型语言模型与以往不同,它已经具有了很强的通用性。这意味着不再需要精确或完美的训练数据,现有的人工智能技术将成为未来Meta设备的基石。
Meta最近刚刚和Ray Ban合作推出的眼镜就是一个例子。这款眼镜具有摄像头视频、实时流媒体、优质音乐播放和通话的功能,是一款优秀的产品。
刚刚推出时,我们觉得需要一个「智能助手」来帮助用户使用这些功能,但是6个月过后,智能助手本身成为了眼镜上最为流行的功能了。
他强调,硬件产品的关键功能在短时间内发生改变是非常罕见的,但在眼镜的案例中却发生了,显示了技术发展的迅速和不可预测性。
问:您认为人工智能将如何在Quest中发挥作用?
在Quest上,我们真正想要实现的一些功能实际上并没有很好的训练数据集。
文本,我们有整个互联网作为资源。照片,Facebook和Instagram上有庞大的图库。但对于3D对象,尤其是在四维空间中动画的3D对象,却没有一个大型、权威的数据库。
这正是我们真正想要的。我们正在努力,试图改进这个模态下的一切内容,包括能够导出更多的3D内容。
所以混合现实和虚拟现实非常难以实现,因为你要实现的是一个额外的维度空间上的所有内容。
但另一方面,XR和VR显然有巨大的优势,它们有始终开启的传感器。这些传感器始终在扫描和感知空间。
Meta依然在进行研究,在3D和4D空间上看到了一些很有潜力的事情。
问:您想要实现的杀手级用例是什么?
答:在短期内,公司重点关注的是创作者,提供了设计头像、创建世界和游戏等功能。
而Meta的长期目标是提高用户与机器的交互效率,使用户能够同时在内容和系统层面进行交互。
例如,用户可以直接通过简单指令来启动游戏并邀请朋友参与某个游戏。
这可能是一个非常复杂的过程,需要在系统中启动游戏,同时向好友发出邀请,并将他们拉到同一个应用中的同一个地方。
问:请问Meta开源Llama背后的策略是什么?
公司自2006年以来一直是开源领域的领导者。他们利用了多个开源项目,如PHP、Memcached和MySQL,这些项目帮助公司以较少的员工高效运作。他们还推动了PyTorch项目,这是一种主要的机器学习工程系统,并对其进行了开源。
开源项目的一个重要好处是围绕它可以建立起一个社区,这使得项目自我强化。例如,使用PyTorch的行业其他成员构建的工具也为公司所用。公司也观察到了他们的Llama项目的成功,这个项目有着庞大的建设者社区和1亿次下载记录,已经促成了多个不同项目和商业程序的成功。
公司还强调了开源软件的价值。他们的研究实验室发现,开源软件可以迅速获得独立第三方的验证结果,促进进一步的发展。虽然不是所有东西都适合开源——例如,由于数据集的使用或安全考虑——但在可能的情况下,他们倾向于开源,因为这对所有人,包括他们自己,都是双赢的情况。
问:来聊聊Llama,您的人工智能模型家族。开源Llama背后的策略是什么?
答:从我2006年加入Facebook那天起,Facebook一直以来就是开源领域的领导者。
PHP是开源的。如果Facebook没有接手Memcached这个项目,我们就会倒下。
MySQL是开源的。这就是Facebook之后能够成为一家规模小但是效率超高的公司,并以少量员工完成如此多工作的原因之一。
Meta现在不仅在推动这些项目,而且还在推动PyTorch,这是完成机器学习工程的第一系统。我们构建并开源了它。
开源项目的一个重要好处是围绕它可以建立起一个社区,Meta可以充分利用这个社区中的一切资源。
例如,使用PyTorch的其他成员构建的工具也为Meta自己所用。
就Llama而言,很多人都从中受益了。已经达到了1亿次下载,我们已经看到了由此产生的各种不同项目,并且有很多商业程序正在Llama基础上取得了成功。
如果Llama继续保持如今的发展势头——成为大型开发者社区的绝对核心——Meta也将受益匪浅,这对Meta的帮助也会非常大。
另外,如果再看看成立刚好10年的FAIR,我们研究实验室 一直以来也都秉承开源的理念。当开源软件时,FAIR会立即获得独立的第三方验证结果,然后有人在此基础上继续发展。
我们可以使用该结果来构建我们的下一篇论文,或者是开发我们的下一个程序。
我们不可能开源一切。比如我们的某些研究,因为其中使用的数据集,或者因为它的安全性,没有办法开源它。
但在其他条件相同的情况下,我们确实尝试开源,并相信它将帮助包括我们在内的所有人。这是双赢的。
问题:开源战略对招聘有何影响?我知道有些工程师喜欢开源,而有些人工智能研究人员认为开源如此强大的技术是不负责任的。
答:我认为这肯定有助于我们拥有更大的招募规模,因为更多的人熟悉您的模型以及训练模型的方式。我们可以雇佣更多懂得如何使用PyTorch的工程师。
因此,我认为这对于从越来越多的人中进行招聘来说确实很有好处,这些人距离在公司取得出色的成绩只有一步之遥。
关于认为「开源是不负责任」的说法,我认为对这些大型语言模型的很多焦虑都是错误的。
我觉得Yann LeCun说得很好。开源模型是一个超级有趣且重要的工具。我认为它是一个关联数据库。
没有推理或计划的能力,没法理解世界。而且现在来看未来也不会拥有这些能力。
技术依然会不断取得突破。这是一个非常激动人心的时刻。这是一项伟大而重要的技术。
我迫不及待地希望它的构建成本、运行成本、延迟更低、效率更高,能够在低功耗、小型设备上运行真正强大的模型。这些都是非常重要的事情。但是会花费大量的时间和精力。
而且,大模型也不是AGI。大模型发展到极限本身不会达到AGI。冯·诺依曼关于奥本海默的那句话怎么说来着?
「有时有人为了获得功劳,不惜承认自己有罪。」我认为硅谷有时会发生很多这样的事情。
我并不是说人们不相信它。也许有的人会相信,但是我不会。
问:你们在招募下一位杰出的人工智能研究人员时的宣传口号是什么?如何让他们加入 Meta,而不是OpenAI或Google DeepMind?
A:研究人员现在有很多选择。现在是入行的好时机。这些公司差异很大。如果有人想加入 Google,成为他们千人团队一员。
但是在Meta有不同规模的团队,每个人能获得的个人影响力是完全不同的。OpenAI 是第三个不同的机构。他们有非常不寻常的治理结构,股权单位似乎也不太一样。
问:那么招聘工作还顺利吗?
答:进展顺利。确实有很多伟大的人才正在离开刚刚说到的3家公司。其中一些人才将流向该另外几家公司。
其中一些人才也将去往全新的地方,法国的Mistral是一群开发Llama的人才构成的。
按照硅谷的标准,我的职业生涯已经很长了,也就见怪不怪了。
当新技术出现时,人们的热情就会大爆发。其中一些人才流向初创公司,一些流向老牌公司。但是一定会有更多的人才进入这个行业。
现在就是这样一个时代,人才的总数在不断增加。深度学习研究人员可能比一年前多了10倍。因为人们看到这样的需求,所以就有越来越多的人开始学习和研究这些技术了。
问:你提到了Mistral。上周推出的Mixtral模型使用了专家的混合体,这似乎与你们在 Meta 所做的事情形成了竞争。你是这样看的吗?
答:不。如果整个社区团结在任何开源模型周围,并且它成为事实上的标准,这就是发生的有趣的事情之一。
我们可以使用这个模型。它不一定来自我们,就像Memcached不一定来自我们一样。
MySQL不是来自我们。这些都是伟大的事情。我们很高兴使用它们。因此,一旦你不想与开源竞争,开源就是好的。
让我们拥有相互竞争、采用不同策略并尝试在不同方面超越彼此的模型。「
我的商业模式不会阻止其他人使用这项技术。」
需要明确的是,Llama 团队绝对希望击败所有其他模型。这种竞争是很好的,很健康。
这是人们之间出于善意和良好精神的竞争,而不是为了生存下来的竞争。
如果你输掉了这场比赛,你的惩罚就是你可以使用更好的模型。
参考资料: