百年清华

朱军:在火爆热潮中依旧冷静的贝叶斯研究者

2018-04-10 | 来源 公号“DeepTech深科技”2018-04-06 |

2018年1月,朱军因“取得多项贝叶斯研究成果,跳脱过去 250 多年历史的经典贝叶斯‘非先验即似然’框架,并将 20 多年来相互分离的两大方向,最大间隔学习和贝叶斯学习,有机融合在一起。还开发了‘算’概率编程库。”而入榜《麻省理工科技评论》中国区“35 岁以下科技创新 35 人”。图为颁奖现场,前排右6为朱军。

朱军长期从事贝叶斯人工智能研究取得多项成果,提出正则化贝叶斯理论,跳脱过去 250 多年历史的经典贝叶斯“非先验即似然”框架,并提出贝叶斯模型的最大间隔学习理论与高效算法,将 20 多年来相互分离的两大方向有机融合在一起。研发“珠算”概率编程库,有效支持贝叶斯方法与深度学习的有机融合,实现多机多 GPU 卡的高效计算。

2011 年,当时正在全球人工智能科研重点学术机构的美国卡内基梅隆大学进行博士后研究的朱军,在其博士导师清华大学张钹教授的邀请下,回到清华大学任教,全面负责新一代博士生培养,而这位在清华大学计算机系教授、中科院院士张钹口中“指导过的最出色博士生”,在回国后不久,也展现了自己在人工智能学术研究工作以及人才培养方面的优秀才能,成为中国人工智能领域发展的关键人物。

朱军于2013年加入国家重点研究计划(973计划)担任课题负责人,身为西安交通大学数理学院教授、中科院院士、973计划首席科学家的徐宗本这样形容朱军:“他可能是国家973整体计划中最年轻的一位课题负责人,而且其所负责课题的研究也获选为我们973项目的代表性成果。”

朱军于2005年和2009年先后在清华大学计算机系获得学士和博士学位,现为清华大学计算机科学与技术系副教授。

人工智能相关研究的热度在过去几年持续上升,而以深度学习为代表的人工智能技术已成为很多科学研究与工程领域的关键技术。朱军长期投注心力于贝叶斯人工智能研究,并在此领域取得多项进展,获得全球人工智能学术界高度关注。

其中,朱军所提出的正则化贝叶斯理论,被认为是跳脱过去 250 多年历史的经典贝叶斯“非先验即似然”框架,为贝叶斯推理提供第三维自由度,也就是所谓的“后验正则化”,可以更灵活方便地引用该领域的知识。

事实上,正则化贝叶斯同时也提供了一个全新的理论框架,为人工智能中如何将知识与数据有机融合的难题,提供了理论意义与应用价值上的全新发展方向。

另外,在正则化贝叶斯框架下,朱军所提出的贝叶斯模型的最大间隔学习理论以及高效算法,将过去20多年来相互分离的两大方向进行有机融合。一方面通过判别式最大间隔学习,显著提高贝叶斯模型的预测性能,另一方面则是通过非参数贝叶斯推理,自动确定最大间隔模型的复杂度。

而值得注意的是,由朱军所带领的清华大学研究团队,于2017年发布的珠算编程概率库,进一步有效支持贝叶斯方法与深度学习的有机融合,实现在多机多GPU 卡的高效计算。

目前已有许多开放框架支持深度学习进行开发和原型设计,但却没有太多的平台能支持贝叶斯深度学习。根据朱军的规划,希望通过构建被称为“珠算”的平台,一方面支持深度学习,另一方面也可支持贝叶斯推断。更重要的是,这将会成为深度学习与贝叶斯两者之间的有机融合平台,推动该方向的研究和工程实践。

在皖西北的农村长大的朱军,说自己年少时的求学历程是“少了一些功利,多了一分自然和真实”。朱军说自己一路走来都很幸运,走过的路都不是事先规划的,任何一个小偏差可能都会改变整个轨迹,而考上清华大学是人生中最重要的转折点,因为清华给他了一个更大的学习与工作的平台,让他得以找到自己的兴趣方向。

考上清华后的朱军,跳出了高考应试教育的模式,回归兴趣驱动的学习,花了很多时间思考和培养自己的兴趣。朱军在大一时选了他说很“难啃”的全英文物理课,学习英文的思维方式;大二时开始进入实验室做SRT训练,初步了解如何开展一个课题;大三时尝试了有挑战性的暑期研究课题,并花一个夏天来设计CPU。

这一个暑期研究的经验,对于后来朱军踏上科研之路起了很大的作用。朱军说,“当时,我们是第一批尝试做16位指令集和流水线的学生,通过不断地探索和调试,最终圆满完成任务。这种探索给了我很大的成就感,也给了我继续读博的信心。在那之后,我很快联系了张钹院士读博,“跨界”选择了人工智能方向。要知道那时候,人工智能、机器学习远没有现在这么火热,甚至有些冷清,我当时也是零基础,完全出于兴趣选择了这个方向。”

在培养兴趣的过程中,朱军其实也在探索自己未来的可能,在2004年的那个夏天,他正式决定进入人工智能学术研究的世界。之后,朱军进入了微软亚洲研究院实习,最先接触的是概率图模型,这种模型将概率论与图论优美地融合在一起,对朱军产生了很大的吸引力,而当时朱军崇拜的几位学者,如Judea Pearl、Michael Jordan、John Lafferty等都是做这个方向,其中,2011年的图灵奖得主Judea Pearl更被称为贝叶斯人工智能之父。这个阶段对朱军而言,奠定了他后来人工智能、贝叶斯相关的发展基础方向。之后朱军前往美国卡内基梅隆大学担任访问学者、进行博士后研究,更进一步深化相关研究工作。

对于自己从事的研究领域,朱军说:“我从事贝叶斯方面的工作,属于概率统计的范畴。但是与统计学家们又不太一样,我更多是从机器学习的角度看问题,更关注模型的预测性能和学习效率。比如:经典的贝叶斯定理是一个从先验分布到后验分布的推理过程,没有优化的目标。我们基于优化理论,将后验分布的预测性能(比如分类错误率)引入到学习目标中,这种思路能够将机器学习中比较先进的思想,比如最大间隔准则(支持向量机是一个典型例子),与贝叶斯有机融合。这种新颖的视角也给我的研究工作打开了一扇门,让我看到很多新的问题和挑战。”

对于在强调用创新改变世界的TR35评选中获奖,并被评选为“科技先锋”(Pioneer)的朱军认为,创新对于科研是至关重要的,是衡量学术贡献的基准,创新同时也是非常有挑战性的。锦上添花的工作相对简单,也容易形成“火热”的局面。但是,基础研究上的创新却很难,通常需要冷静的思考和长期的坚持,需要研究者能耐得住寂寞。

朱军用图灵奖得主JudeaPearl教授之前在NIPS大会上的报告受到冷遇为例,他认为,各方对Judea Pearl的报告或有不同的观点,但这对他本人来说可能没有太多意义,因为他最早在开创贝叶斯人工智能的方向时,想必也是理解和支持的人少,但这并没有影响他对人工智能领域的基础性贡献。

也因为如此,朱军对自己的期许是,目前国内人工智能行业如火如荼,在一些应用上甚至领先全球。但在基础理论方面,值得我们骄傲的事情却少之又少,国内的土壤还比较贫瘠。但创新之风已然刮起,人工智能需要国家以及整个行业的长期支持,对原创性成果更加鼓励和包容。客观的说,现在技术能解决的问题还相当有限。随着范围的扩大,应用环境将变得更加开放、更加动态和不确定,边界条件也变得更模煳,甚至存在对抗和攻击。因此,更多新的要求和挑战会逐渐浮出水面。作为研究者和教师,我们有义务探究人工智能更具前瞻性的理论方法和技术,同时,也要培养更多的优秀人才,推动人工智能的可持续发展。


相关新闻