百年清华

王梦迪:探寻强化学习背后的简洁规律,她是普林斯顿最年轻终身教授

2019-05-07 | 李根 | 来源 公号“DeepTech深科技” |


王梦迪,清华大学自动化系2003级校友,现为普林斯顿大学运筹和金融工程系、计算机系助理教授

“强化学习是人工智能的未来” ,王梦迪表示,“应当是同控制论、统计学习思想结合起来,用大数据的方法探索一个复杂系统的动态过程。这方面在强化学习的框架下都是空白,我的工作就是要把这个框架建立起来。”

王梦迪的履历很传奇,她14岁从少年班考入清华大学,随后进入MIT于24岁取得博士学位,同年成为普林斯顿大学的助理教授和博士生导师,29岁时,她成为普林斯顿大学最年轻的终身教授。谈及自己的特殊成长经历,她表现的很谦虚,“就读少年班是一把双刃剑。我有幸遇到过很多极有天赋并且非常优秀的前辈和同龄人,当我有点迷茫时,我会观察那些走在最前面的人,他们的努力会成为我的动力。”

王梦迪在麻省理工学院读博士期间根据兴趣选择了偏数学、偏理论的系统和信息论方向,师从美国工程院院士DimitriP Bertsekas,用数学理论来设计大规模算法。博士期间,王梦迪对强化学习 (Reinforcement Learning)产生兴趣,并决心解决强化学习背后的算法和理论问题。

强化学习是机器学习的未来,强化学习算法能够让智能体通过与环境实时交互、获取反馈信号来产生后续行为,并逐步“习得”最优的决策,从而获得最大的效用值。强化学习由控制论和认知科学发展而来,糅合了大数据和机器学习技术,可以实现复杂动态系统中的实时自动决策。强化学习强调基于环境而行动,从大量经验和数据中总结推理出下一步的策略,是未来智能自动化系统的思考引擎。

强化学习在2016年被大众所熟知,那一年GoogleDeepMind的AlphaGo击败了人类围棋顶尖选手李世石,而AlphaGo的算法就是一种强化学习算法。近两年强化学习又在游戏领域上取得突破,基于强化学习的AI在Dota2和星际等游戏上都击败了人类队伍。

“我们为什么关心游戏?人类的幼儿在发展自己的智能的过程中,正是通过游戏来学习如何决策的,人工智能的发展也正处在这一阶段,我们很快能看到人工智能将不仅仅能打游戏,而将解决更难的问题。”王梦迪说。但其实强化学习的发展还处在比较低级的阶段,“这些游戏上的成功更像是工程上的一种试错,100次试验只要取1次最佳的结果就可以展示了。它们背后模型的复杂度、耗费的计算资源是常人难以想象的。”

强化学习与近些年非常成功的深度学习都还存在着很多问题,一直以来,它们的不可解释性和难以复现性为人诟病,即所谓“黑箱”问题;而王梦迪的目标就是解决这一难题。

“很多人感觉强化学习或者深度学习的模型越来越复杂,越来越难以训练。很多时候我们都在努力让训练速度加快,去优化算法,让更复杂的模型能跑起来。但任何算法的加速都是有极限的,这个极限就是该类问题的计算复杂度和信息复杂度,我们只能一步步逼近它。很多异常复杂的模型和算法往往是极为极为简单的,比如随机梯度算法的极限其实是一组简洁的随机微分方程。我的工作就是去找到复杂强化学习背后的简洁数学规律,利用它开发更强大的算法,去解决高维强化学习所面临的scalability和generalizability的问题。”

目前强化学习方面的大部分进展都来自工程优先方式的探索,先有具体的工程问题,再不惜资源地解决问题,再讲原理。而对王梦迪来说正好相反,她希望从数学统计和控制原理出发,把强化学习的框架摸清楚,从根本上提高强化学习的计算效率和对数据的利用效率。她致力于推动强化学习的理论和实践的同步发展,推动其在金融风险控制、医疗决策等领域的应用,让强化学习方法成为未来复杂系统的智能大脑。

“这条道路上的每一件事情,我都有极强的热情去参与去推动。”王梦迪说。


相关新闻

  • 092017.05

    清华大学教授颜宁受聘美国普林斯顿大学

    记者从清华大学证实,颜宁已接受美国普林斯顿大学邀请,受聘该校分子生物学系雪莉•蒂尔曼终身讲席教授的职位,将于近期前往就任该教职。

  • 222021.09

    清华校友终身学习支持计划

    学校高度重视和关怀校友学习进步,清华校友总会自2013年起启动了以“推动校友终身学习、促进校友职业发展”为宗旨的“清华校友学堂”项目。2018年,学校为更好地服务校友成长成才,延伸清华育人成果,传承清华精神文化,决定在原有“清华校友学堂”项目等工作的基础上推出“清华校友终身学习支持计划”,旨在开拓校友视野、完善校友知识结构、增加校友的核心竞争力、促进校友成长成才的同时,进一步加强校友和母校之间的联系,...

  • 162009.04

    美国普林斯顿高等研究院院长访问清华

    10月31日,美国普林斯顿高等研究院院长Peter Goddard教授访问清华大学。

  • 102011.02
  • 102016.10

    30岁成为清华最年轻博导,37岁攻克50年不解的科学难题,她是颜宁

    在今天这篇文章里,你将认识她——颜宁。当今最受瞩目的女科学家,清华大学和普林斯顿的学术女神,30岁成为清华最年轻博导,37岁率领平均年龄不到30岁的团....

  • 252017.08

    美国终身教授的海归全记录

    事业与家庭,前途与发展,环境和空气……到底是留在海外,还是回国发展?让我们共同领略一位美国终身教授的心路历程。

  • 272018.11

    “清华校友终身学习支持计划”首次学习日开讲

    ——万俊人教授受邀主讲“构建人类命运共同体:挑战与应对” 活动现场11月25日下午,“清华校友终身学习支持计划”首次学习日在清华大学主楼后厅开讲。

  • 182021.05

    清华校友终身学习支持计划•首期中国哲学学习班开班

    2021年5月15日上午,“清华校友终身学习支持计划·中国哲学学习班”开班仪式在清华大学第二教学楼401教室举行。清华大学校务委员会副主任、校友总会副会长史宗恺,终身教育处处长邓丽曼,人文学院副院长韩立新,1981级校友、北极光投资顾问有限公司创始人兼董事总经理邓锋,校友总会副秘书长、校友工作办公室副主任杨柳,人文学院副教授、哲学班班主任高海波和带班辅导员高路等出席开班仪式。开班仪式由人文学院副院长蔡文鹏主持...

  • 252022.08

    “清华校友终身学习支持计划·艺术研究与实践学习班”开班仪式举行

    2022年8月20日上午,“清华校友终身学习支持计划·艺术研究与实践学习班”开班仪式举行。校务委员会副主任、校友总会副会长史宗恺,美术学院原党委书记、校友总会常务理事李当岐,北京清华工业开发研究院副院长、1983级化工系校友朱德权,美术学院院长马赛、副院长杨冬江,校友工作办公室主任、校友总会秘书长唐杰,校友工作办公室副主任、校友总会副秘书长杨柳,终身教育处副处长王雷,美术学院培训中心主任谢绮红,绘画系教授...

  • 272008.10