我们生活在一个人工智能爆炸发展的年代——每隔一小段时间，研究人员们就会想出新奇的人工智能训练方式。这不，微软研究院的计算机学家最近就创
我们生活在一个人工智能爆炸发展的年代——每隔一小段时间，研究人员们就会想出新奇的人工智能训练方式。
这不，微软研究院的计算机学家最近就创造了一种用人类情绪来训练机器自我学习的方法。
该研究使用虚拟代理人来辅助机器在虚拟环境中学习。研究中极具意义的一点是，它使用了人与系统交互时产生的微笑来训练AI。
这项研究的背后其实是强化学习
强化学习非常适用于教学系统来训练机器完成一系列的任务。在这项研究中，应用主要着重于计算机视觉的相关任务。
强化学习的工作原理是通过让虚拟代理人(agent)在模拟环境中反复执行任务，再将经验提取成策略。用这种方法训练系统来玩游戏在几年前十分流行，甚至更先进的算法击败了围棋世界冠军李世石。
强化学习的关键在于它严重依赖于代理人通过在虚拟环境中探索得到的数据，该数据就是该研究的核心。
微软研究人员希望采用常规方法来构建一个极具探索能力的代理人。为了实现这一点，他们使用了另一项技术——模仿学习，即通过使系统与人在模拟环境中进行交互来完成训练。
研究者认为，最好的提炼人类探索方式的方法就是通过捕捉真实人类与系统交互的瞬间。基于之前将正面情绪与好奇心进行关联并应用于机器学习的研究，研究人员构建了一个用于发现这些情绪的系统。
最终，他们构建了一个能够记录人们在模拟迷宫环境中驾驶时产生的微笑表情的系统。经过多次系统测试后，研究人员发现这个基于情绪的强化学习系统使代理人的探索持续时间延长了51%，探索范围扩大了46%，在迷宫中碰撞的次数减少了29%。
基于情绪的强化学习
使用情绪反馈例如微笑来训练机器的意义在于，情绪反应了人类的内在反馈，这一反馈能够在今后拓展应用到更多领域，而不拘泥于该项研究。另一个在使用强化学习时需要注意的地方是，代理人与模拟环境的交互很大程度上受系统设计者选择的特定奖励机制影响。如果你想训练一个系统使其在游戏中获胜，那么你就需要在得分时给予奖励。
但问题是，生活中发生的事情并不总是能够轻易用分数量化。因此，找到明确的奖励机制是强化学习研究中的挑战之一。
通过将微笑定义为正反馈，研究人员发现了一个训练人工智能系统的普适化反馈机制，并且这种情绪反馈是较容易获得的。
基于情绪的强化学习本质上是在人类这一数亿年才形成的智慧生物基础之上进行的，它使我们能够快速轻松地量化各种体验感受。通过有效的调整，该信号可在训练机器进行学习的过程中做为一种强大的、可扩展性极强的反馈机制。
情绪AI在市场中的应用
除了研究团队使用的开源微笑探测工具外，还有许多商业公司也在做这项工作，例如Affectiva公司和Emotient公司(于2016年被苹果公司收购)。情绪追踪工具在市场中被称为“情绪AI”。微软的这项研究赋予了这些工具新的应用，即可作为基于情绪的强化学习的数据来源。
AI在许多领域都可以从人身上习得知识，尤其是服务性经济领域。例如谷歌、奈飞和亚马逊这些公司都在使用用户数据来自动服务于用户。我们在使用这些强大的技术平台时，产生了的大量的数据，这些数据可用于训练机器学习系统，从而使这些平台变得更智能、更强大。
基于情绪的强化学习的应用将为这些平台开启新的篇章。强化学习本身就尤其擅长学习如何优化一系列的任务。而业务流程的本质就是一系列的任务，并且业务流程就是公司为客户创造价值的核心。在业务流程中使用强化学习主导这些任务的挑战在于保障可靠的反馈信息来源。
类似微笑或其它表情的反馈信息来源众多，这要归功于无处不在的摄像头。正如研究人员所指出的，这项技术也可以扩展使用“其他生理信号”，这意味着像亚马逊和谷歌等收集的声音数据也可以用于训练机器。就像今天，电话可能被录音用于训练和通话质量评估。这项技术使得被训练的不再是员工，而是智能软件代理人。
情绪将我们与机器相连结
这些系统究竟从人与他们的交互中学习到了什么呢?如果交互是通过建立关系并使用这些关系，那么机器就会在与我们交互的过程中学习如何与我们建立联系以及如何为我们服务。
情绪AI能够帮助机器更好的与我们建立连结。目前，基于这些技术构建了一种探测情绪的传感器，该传感器可用于市场营销以及改善事物性能，例如汽车。
今后，这些技术将把重点扩展到与终端用户建立密切关系。可以想象未来我们会通过与模拟角色进行交互来使用产品或享受服务。今天的聊天机器人或代理人像Siri和Alexa只是早期的例子。终有一天，你将和你的运动鞋或你的牙刷建立连结。
微软这项研究有趣创新的地方在于，它提出了情绪AI新的应用，即通过使用一种类似于大脑的情感信号来训练情绪AI。在心理学上，效价衡量了我们对某种经历的情绪反应是吸引还是厌恶。
当孩子触碰到火炉时，会产生强烈的负效价，从而在大脑中留下有效的学习信号。同样，基于情绪的强化学习也可以使用这种有效的机制，用相似的情绪效价来驱动机器学习。
在目前的大背景下，这项研究最有趣的地方在于，地球上古老生物的智慧已成为人工智能发展的温床。
情绪是强大的老师，而这项新的研究指出了向这位老师学习的方法。（大萌、钱天培）
