Yann LeCun 是 Facebook 人工智能实验室负责人,卷积神经网络发明者。面对 Google 的 AlphaGo,他最近谈到了 Facebook 的人工智能布局,并把组织结构定义为以下架构:
AI at Facebook = FAIR + Applied Machine Learning + Product Groups
即包含了:
1.FAIR,Facebook 人工智能实验室
2.Applied Machine Learning,应用机器学习部门
3.Product Groups,产品部署团队
人工智能和机器学习研发涉及到了 Facebook 的很多部门,从探索性的长期研究,算法,应用,AI/ML 基础设施和产品开发。
Facebook 人工智能实验室和应用机器学习(Applied Machnie Learning)有着共生的关系。Facebook 部署的很多人工智能产品,都是在 AML、FAIR 和产品部门的合作下完成的。
AML 由 Joaquin Quinonero Candela 领导,它的官方职务是应用机器学习的工程总监。
这周在 Quora 上,Joaquin 谈到了 AML 的角色、和 FAIR 的关系,以及两者合作开发的令人惊讶的产品。
但真正让人欣喜的是,FAIR 和 AML 的员工们彼此坐在一起,一起开发项目。这让项目从研究落实到产品变得非常有效率。
FAIR 和 AML 都会做研究以及工程驱动的开发。我会说 FAIR 把 75% 的精力投入到研究,25% 的精力放在了工程上。而 AML 也许是 75% 的工程,以及 25% 放在了研究上。FAIR 和 AML 的分界线是特意模糊的。有些人在两个组织里脚踩两只船。他们是 FAIR 年轻的工程师们,我们把他们称为“研究工程师”,他们和研究科学家一起做研究项目。而当这些项目从研究阶段到开发时,有些研究工程师会选择跟随他们的项目到开花结果,这样就会进入到 AML 团队。这是非常好的方法,把最先进的技术从研究状态散播出去。
——By Yann LeCun
2016.3.15
最近 AlphaGo VS 李世石的世纪大战,不少中国企业躺枪。不少媒体发问,在 Google、Facebook 开展前沿技术研究的时候,中国企业在做什么?
这些企业的领导者们,当然知道在这个时代的铁律:没有技术创新,企业只会走向死亡。过度的苛责没有太多意义,真正重要的是找到改变的良方。
也许
大企业的组织架构,是创新的关键?
Popular Science 对 Facebook 的人工智能业务进行了深入而细致的剖析,其中重点关注到了 Facebook 的组织架构,正是 FAIR、Facebook M、AML 和产品部门彼此之间的密切合作,才让 Facebook 既能够考虑长期的技术规划,也能有短期的产品目标,而跨部门之间的合作,也让技术从研究院到产品部门相对顺畅。
全文阅读:
标题:Facebook AI 背后的神秘组织:FAIR + AML + Product Groups
原标题:Human-Like:Facebook is using our data to build the ‘world’s best’ Artificial Intelligence lab
作者:Ryan Snook
现在,是时候停止仅仅把 Facebook 当做一个社交媒体公司了。Facebook 通过无人机实现互联网服务,购买 Oculus 实现虚拟现实,以及不断的追求人工智能技术,Facebook 迅速成为世界最先进的技术研究中心之一。
不仅仅是 Facebook 这么做,Google 和 IBM 都有类似的计划。人工智能的加速发展已经来到了一个临界点,必将重新塑造人类和计算机互动的方式。事实上,这些事情已经在发生了,只是你可能没有留意到。有着 15 亿月度活跃用户的 Facebook,对这项技术极其感兴趣。Facebook 想要解决模仿通用智能这个难题,让计算机的思考方式不那么线性、逻辑取向,而更像人类的自由形式——通过多管齐下的办法。Facebook 人工智能实验室(FAIR)致力于解决通用智能的问题,一些更小的团队,例如 Language Technology 团队和 Facebook M,在给用户部署实用的功能。
这一切开始于 2013 年。Facebook 的创始人兼 CEO 扎克伯格,首席技术官 Mike Schroepfer 以及公司其他持有股票的领导,在寻找着未来 10 到 20 年让公司保持竞争力的技术。
Facebook 此前已经使用了机器学习技术,在它们的社交网络上决定用户会看到什么样的消息流,但相比最前沿的神经网络模型来说,这还是比较简单的事情。
一些 Facebook 的工程师们也在一直尝试卷积神经网络(CNNs),这是机器学习领域一个强大的方法,现在普遍用于图像识别中。扎克伯格对人工智能的潜力印象极其深刻,即便是在它的早期阶段。所以他从 Google Brain 雇佣了一名工程师 Marc’Aurelio Ranzato。然后,他找到了卷积神经网络的创造者:Yann LeCun。
Yann LeCun,现在是 Facebook 人工智能实验室的主任,来自传奇的人工智能实验室。1988 年,他在贝尔实验室开始职业生涯,担任研究员,然后到 AT&T 实验室担任主任,直到 2003 年。从那时候开始他在纽约大学任教。现代的卷积神经网络是 LeCun 职业生涯的巅峰之作。想象一下,一个 ATM 机器能够读取你的支票?这就是 LeCun 的早期工作的贡献。
“我开始和 Schroepfer 和 Mark 交谈,而我猜测他们喜欢我和他们说的话,”LeCun 在接受 Popular Science 的时候说道:“然后他们劝我来运营它,当 Mark 这样的人跑过来并对你说‘我对你全权委托,把世界最好的实验室都联结到一起,我相信你可以打造全球最好的人工智能实验室。’”在这个时候我会说:“嗯,有趣的挑战。”
Yann 对于世界一流的研究实验室需要什么有自己的想法。如果你想吸引顶尖的人才,就必须要有雄心勃勃的研究实验室,以及雄心勃勃的长期目标。然后你要给他们的工作以一定的自由,也必须对研究非常开放。“这和 Facebook 的一些哲学是一致的,开放性的哲学理念。”LeCun 说道。
这个给 Facebook 谋划未来的团队,其实非常小:只有 30 个研究科学家和 15 名工程师。工作被分为三个分支:Facebook 人工智能实验室的总部在纽约阿斯特广场,在那里 LeCun 带领着 20 人的工程师和科学家团队。Menlo 公园的分支有着差不多的人数,而最近 Facebook 人工智能实验室也在巴黎开设了办事处,大概有 5 名工作人员,以和法国国家信息与自动化研究所合作。还有一些人在 Facebook 里负责把人工智能技术进行部署,例如 Language Technology 团队。FAIR 是一个研究机构。
这些研究人员和工程师来自各种各样的高科技企业,其中很多人以前就和 LeCun 合作过。高级人工智能的研究,并不是一个很大的市场领域。LeCun 的很多学生都来到了一些种子轮的人工智能初创公司,这些公司很可能以后会被像 Twitter 等大公司收购。
LeCun 曾经和 Wired 说,深度学习“实在是 Geoff Hinton、我和 Yoshua Bengio 在蒙特利尔大学的密谋。”Hinton 现在任职于 Google AI,Bengio 在蒙特利尔大学和数据挖掘公司 ApStat 往来,LeCun 也很快担任了 Facebook 人工智能的负责人。
“当我第一次在贝尔实验室做了部门负责人,我的老板告诉我说‘你只需要记住两件事情:第一件事不要把自己放在一个需要彼此竞争的小组中;第二件事是只雇佣那些比你聪明的人。”LeCun 说。
Leon Bottou 是实验室语言小组的负责人,他说 LeCun 的老同事了。他们在 1987 年一起开发 AmigaOS,后面一起开发了神经网络模拟器。Bottou 在 2015 年 3 月加入了 FAIR,在这之前他为微软研究院工作,致力于探索机器学习和推理机。
LeCun 在 2014 年 11 月把 Vladimir Vapnik 拉到了小组当顾问。Vapnik 和 LeCun 曾在贝尔实验室一起工作,发表了关于机器学习的前沿论文,包括测量机器学习能力的技术。Vapnik 是统计学习理论的发明者,依据已有的数据建立预测的模型。预测对于人类来说是一件简单的任务,实际上借鉴了先入为主的观念和对世界的观察。Vapnik 是这块领域的领导者,继续着知识传播的兴趣,从师生互动的工作到机器学习。
这个团队的大小和学术方面的分量,让 Facebook 能对他们的长期目标抱有野心,而不会陷入 LeCun 称之为“不明确的智能”的短期系统。
LeCun 说:“现在,即便是最好的人工智能系统,都是愚蠢的,因为他们没有常识。”他说起了一个情况,我拿起一个瓶子,并离开的房间。对于人的大脑来说,想象这样的场景并不困难,但对于机器而言,如果仅仅基于这样的前提,大量的信息就会丢失。
Yann 说,当你在脑海中想象这个场景时:“你可能会站起来,即便我没有在句子中提到,然后可能会走过去,打开门,穿过大门,也许还会关上门。瓶子不在这个房间里。我的意思是你可以推断出很多事情,因为你知道现实世界的运行规律。所以,我并没有告诉你所有这些事实。”
就现在而言,人工智能界还不足以了解,机器是如何能够学会这个级别的推断。为了实现这个目标,Facebook 正在致力于重点打造机器,可以从周围的世界中学习并理解。
LeCun 说,最大的障碍是“非监督学习”。现在机器主要通过两种方法学习:监督学习,系统会显示成千上万的狗的照片,直到它理解了狗的属性。这这方法在 Google DeepDream 中被很好的解释,研究人员逆转了过程显示出它的有效性。
另一种是强化学习,当电脑被呈现需要识别的信息,并仅仅在每次选择后给予 Yes 或 No 的答案。这需要更长的时间,但机器被强制进行内部的配置,而当两种形式的学习结合在一起的时候,就能产生强大的结果(记住 DeepMind 玩 Atari 游戏?)。非监督学习要求没有反馈或输入。这就是人类学习的方式,LeCun 说道。我们会观察这个世界,举一反三,并把它们添加到我们的知识存储中。这被证明是一块难啃的骨头。
“在如何建造它方面,我们甚至没有基本的原则。很明显我们正在致力于这方面,”LeCun 笑着说:“我们有很多想法,只是工作的不怎么好。”
但这并不意味着,目前在这方面没有进展。眼下,LeCun 正对能够集成到目前的卷积神经网络的记忆网络(Memory Network)表示兴奋,这给了机器保留信息的能力。他把这种新的模式,比作的人类大脑中的短期和长期记忆,分别由海马体和大脑皮层支配。(LeCun 实际上不喜欢把 CNNs 比做大脑,而是宁愿比作拥有 5 亿结点的黑盒模型)
记忆模块可以让研究人员告诉网络一个故事,然后让它稍后来回答故事的问题。
在这个故事中,他们使用了 J.R.R Tolkein 的指环王,不是正本书,而是主线剧情的短摘要(Bilbo 接过了戒指)。当问神经网络,戒指在故事中具体什么地方出现的时候,AI 能够回答很短的正确问题。这意味着它能够“理解”对象和时间之间的关系,根据 CTO Mike Schroepfer 的说法,这个技术能够帮助 Facebook 更准确的把你想看到的东西呈现在面前。
“通过构建一个能够理解世界环境的系统,明白什么是你想要的,我们可以在这里帮助你,”Schroepfer 在 3 月的开发者大会上介绍说:“我们可以建立一个系统,确保我们把时间花在了我们关心的事情上。”
Facebook 人工智能实验室正在围绕一个叫做“嵌入世界”的项目开发。为了让机器能够更好的理解现实,FAIR 团队正在教会机器向量之间的关系:图片、文章、评论、相片和视频。神经网络正在创造错综复杂的内容网络,能够对视频和人们之间的距离进行归类。有一个视频能帮助你想象。
有了这个系统,LeCun 说我们可以开始“用代数代替推理了”。这是难以置信的强大。在“嵌入世界”里的人工神经网络,可以把在同一位置的两张图片连接起来,通过相片上视觉的相似性,以及对相片的描述文字。这是重新创造了对现实的虚拟内存,也会在其他地方和事件的文本中进行聚类。它甚至可以“虚拟代表一个人”,根据他们以前点的赞、兴趣和电子经历。这是多少有点实验性的项目,但对于 Facebook 的新闻信息流来说有着巨大的影响,并且以有限的方式,来跟踪主题标签。
关于长期的目标有很多讨论,但这一路以来取得的小胜利,让 Facebook 不断变得更好。2014 年 6 月,他们发表了一篇题为“DeepFace:在人脸验证上,缩小和人类级别的差距”,文章声称说在面部识别上超过了 97% 的正确率。LeCun 相信 Facebook 的面部识别是全球最好的,这也是 Facebook 和学术研究机构的差别所在。现在,DeepFace 是 Facebook 自动图片标记背后的主要推动力量。
“如果我们的想法真的有效,那么一个月之内,它就会出现在 15 亿人的面前。”LeCun 说:”让我们把目光聚焦到地平线上,聚焦在我们的长远目标上,但我们也会建立一些事情,能够在短期内应用。”
Rob Fergus,是纽约大学和麻省理工学院计算机科学和人工智能实验室的老手,领导着和视觉相关的人工智能研究。他的工作已经能够在自动标记相片上看到,但 Fergus 说下一个目标是视频。很多视频都在噪音中丢失了,因为它没有附带任何的描述性文本。AI 能够学会看视频,并能对此进行分类。
这对于对于阻止不良的内容上传到 Facebook 的服务器中,有着很重大的影响:如色情的、侵犯版权的、或者其他侵犯 Facebook 服务条款的内容。它还可以识别新闻事件,并策划为不同的视频类别。Facebook 过去把这些任务分给承包的公司,所以这在降低成本上起到了一定的作用。
在目前的测试中,人工智能给出了承诺。当看到运动的视频时,例如曲棍球、篮球、乒乓球,它可以识别出正确的运动。它可以区分垒球和棒球,皮划艇和漂亮,街球和篮球等。
Facebook 的另一个独立 AI 小组,成为 Language Technology 团队,专注于开发翻译、语音识别和自然语言理解。FAIR 在 LeCun 的想法里,是推动 Facebook 人工智能实验的地方,而 Language Technology(在应用机器学习(Applied Machine Learning 的保护伞下),是部署实际软件的地方。
这两个机构彼此合作,但发展和部署都是彼此独立的,他们的工作已经部署了 493 种活跃的翻译方向(英语到中文,中文到英语,算作两个方向)。
Facebook 的信条是让世界更加开放和联结,语言服务是一个自然的陆续。超过一半的用户不会说英语,但英语构成了 Facebook 的绝大多数的内容,Language Technology 的负责人 Alan Packer 说。
3.3 亿人正在使用着这些翻译服务,最经常的是通过点击“See Translation”的按钮。如果你是第一个点击这个按钮的人,恭喜你,你已经在运用人工智能了。第一次点击把翻译请求发送到服务器,然后缓存到其他用户。Packer 说,Shakira 的帖子基本上瞬间的翻译好了。这个团队还推出了内容的本地翻译,这出现在“See the original”按钮上。
在翻译这个角色,人工智能是必要的,因为糟糕的翻译在传达人们的消息上面效果不佳。它生成的语法不当,误解方言,而且也不地道。这是有缺陷的直接字对字翻译,正如 Google 翻译。
Packer 说,对人的讲话进行翻译尤其困难,但如果人工智能了解一些基本的语义,那么就会好很多。
“例如‘热狗’这个短语,如果仅仅直接翻译这个词到法语,那是行不通的。‘Chaud chien’对法国人来说没有任何意义。”Packer 说:“然后如果你有我一幅滑雪的图片,然后我说 ‘I am hot dogging it today’,这里的学习真的非常困难,里面的 hot dogging 意味着炫耀。”
关于这方面的认识,还没有形成规模。但早期的结果是令人鼓舞的,它不是一个不可逾越的任务。Packer 说,诀窍不是理解比喻或成语,而是在不明白它们的时候,也能够实现。
人工智能可以去适应这些,并根据俚语迅速培训。Language Technology 团队最近学习到,法国的球迷喜欢用一种新的形式说“wow”。在通过公共数据训练神经网络后,它现在可以可靠的翻译文本。现在他们正在致力于提高 Facebook 的词汇库,通过每一天的新数据,不过更新则是每个月一次。
我们现在习惯于数字个人助理了,像 Siri、Cortana 和 Google Now。但 Facebook M 是不同的方案,它是你的个人助理,能够超出你的手机实现处理复杂任务的能力。Siri 可以发送文本,但 M 可以预定机票和旅行计划。在开发的过程中,Facebook 的员工甚至让 M 去安排一系列搬家公司的评估工作。(不过,你不可以用 M 买烟、酒、三陪服务和枪)
Facebook 的骨干人物,实际上来自于早些时候的收购:Wit.ai。他们加入了 Messenger 团队,在副总裁 David Marcus 的领导下,并于 2015 年 8 月推出了 Facebook M。
Alex LeBrun 领导着 Facebook 的 Wit.ai 团队,他说人工智能不仅仅会让 M 更好的完成广义的任务,而且在非常例外的情况下也能完成任务,例如和婴儿一起旅行,或者在断电的时候。这也意味着,当 AI 成长的时候,M 也在成长。他希望,在三年内,M 可以呼叫有线电视公司或车辆管理局,等待真的人接通。
“M 服务增添的真正价值是,它能够处理你的那些特定的或者有些怪异的请求,”LeBrun 说道:“即便是在复杂或者非主流的情况,它也可以做到。”
M 在发展的过程中学习。现在,它还不够强大以独立。Facebook 组成了 AI 训练团队以编程,M 会从人类教练中学习,也会在后续的请求中使用这些技术。还有内置到程序的随机因素,LeBrun 说,这会更接近人类的学习过程。这意味着,它优势会寻找新的模型,以更有效的方法来执行共同任务。
AI 训练者是一个新的职位,Facebook 仍然在对此进行定义。根据他们的说法,这不是研究人员和工程师的工作,而是更多面向拥有客服服务经验的职位。随着时间的推移,Facebook 能够评估出,有多少请求需要人工的干涉。但最后的希望是,未来不会需要人类的干预。
这些都是发展过程中必不可少的,但是他们的工作是双重的:作为质量控制最终的承担者,并且教育着 AI。
有着人类智能作为看门人,M 可以成为 Facebook 人工智能实验室发展的沙盒。“只要他们有一些测试,它就可以在 M 上进行,在我们的训练和监督下,这没有多大的风险。”LeBrun 说道。
M 平台完全建立在 Wit.ai 平台上(在加入 Facebook 前就发展了),但 FAIR 也会使用用户和个人助理 AI 交互的数据,作为学习资料。
“我们在公开场合做的研究。我们所做的几乎一切事情,都是公开的。我们把很多代码开源了。”LeCun 说道。这些出版物都可以在 Facebook 的研究网址上找到,也可以在 arXiv 看到,里面有计算机科学、数学和物理学的研究论文。
这同样适合于很多人工智能社区。LeCun 一直是开发 Torch 的领军人物,这是人工智能发展的 C++ 库。和 Facebook 的其他团队一起,他还和 Twitter、Google DeepMind 的团队一起,把 Torch 做成更好用的工具。(这些领域的很多专家,曾经都是 LeCun 的学生)
他们也可能发布其他领域的论文,可能是集成在医疗成像系统上,或者是自动驾驶汽车,这些都是未来可以可以进一步使用的领域,LeCun 说。对于 Facebook 来说,重要的是对用户有用,但这个研究团队的工作核心,是致力于让机器更好的赶上人类的集体智能。
这就是为什么 Facebook 是人工智能社区的重要部分,这也是为什么社区本身是如此重要。
“你在一部好莱坞电影里看到一个场景,一些被孤立在阿拉斯加的人,在没有人帮助的情况下研发出全功能的 AI 系统,”LeCun 说道:“这是我们这个时代最大、最复杂的科学挑战,这不是任何一个实体、即便是大的公司能够单独解决的。我们需要整个社区合作来完成。”
文/新智元(AI_era)原创,来源:Popular Science 编译:王嘉俊
·氧分子网(http://www.yangfenzi.com)延伸阅读: