多模态情绪分析系统供应商

调研 | 李喆 洪军

撰写 | 洪军

在公安审讯领域，有经验的审讯人员少之又少，再加上众多嫌疑犯在审讯过程中拒不配合且善于伪装，很难攻克其心理防线。因此，在审讯场景亟待需要一款多模态分析系统用以解决高效审讯的需求，提高办案效率。

云思创智是一家提供多模态情绪分析系统的产品与解决方案公司。通过对人的微表情、微动作、声强、心率、体温等多种模态进行综合分析，从而判定人的情绪是否处于紧张、撒谎等异常状态，主要应用在公安、海关、金融等领域。

云思创智基于图像识别、声纹识别、微动作识别、人脸识别等技术构建了“沉思者”多模态算法开放平台，用于对多模态数据进行分析建模。在沉思者算法平台之上构建了多模态数据采集器“凝瞳”与多模态数据应用产品“灵视”。

沉思者多模态开放算法平台是云思创智的智能算法的PaaS平台，集成了深度学习、机器学习、声强识别等多种算法，云思创智的产品均构建在此之上。同时，沉思者也可以对开发者提供。开发者只需提供数据，就可以在平台上训练出自己的多模态模型。

凝瞳产品主要包括边缘计算Box和雾计算服务器，其内置了图像识别等算法。通过与无人机、摄像头配套使用，可以实时识别视频流中的特殊对象，主要应用在工业检测、电力巡检、车辆追踪、异常预警等场景。

灵视产品为多模态情绪分析研判系统，通常会搭载麦克风、摄像头作为一套软硬件产品对外出售。灵视通过对人们的微表情、微动作、声强、心率、提问等多模态综合智能分析能力，发现人们的实时情绪变化，并进行分析预警等，主要应用公安审讯、海关、金融等领域。

多模态情绪分析属于新兴市场，应用领域包括公安审讯、海关、金融、安检等，潜在市场规模接近千亿，亟待挖掘。

在公安审讯领域，根据公安部数据，截至2017年底，我国共有39888个派出所，每个派出所约有3个审讯室，全国共约有12万个审讯室。据云思创智CEO透露，每个审讯室配套一个多模态情绪分析系统，每个审讯室预算为15万元。因此，公安审讯的市场规模约为180亿元。

在海关领域，全国目前拥有43个直属海关，近4000个通关监管点，每个通关监管点预算为15万。因此，海关的市场规模约为6亿元。

在金融领域，多模态情绪主要应用在贷款、理赔等面谈环节，部署地点在各个银行的网点。根据银行业协会2018年3月分布的《2017年中国银行业服务报告》数据，我国共拥有22.87万个银行营业网点。每个网点预算为10万左右。因此，多模态情绪分析系统在金融领域市场规模约为220亿。

上述公安审讯、海关、金融三个行业市场规模共计406亿元，再加上公共安全领域，多模态情绪分析市场规模已接近千亿。

目前，在多模态情绪分析领域，产品较少，云思创智的“灵视”发布能带来很好的先发优势。此外，数据与技术也能多维度构建云思创智的护城河。

多模态情绪分析与心理学有着密切的联系，并不是简单的将多个单模态相加，而是探究多个模态之间隐藏的关联关系。

基于此，传统的单模态数据在模型训练时并不适用，而是需要对视频、图像等数据同时进行多模态的标注，而这些数据标注都需要人工完成。训练一个模型通常需要1万条数据，每条数据标注的市场价格在2000-3000元。因此，训练一个模型通常需要花费大量的资金。

为此，云思创智通过与中国人民公安大学等高校构建联合实验室，校企合作，邀请专家共同参与数据标注工作，降低标注成本。在耗时一年的研究之后，云思创智联合专家、干警等共同标注超过2000个小时视频数据，超过400万张情绪图片数据。拥有了行业领域专家的背书，数据与产品的可信度均得到了有效保障。

在技术层面上，多模态深度学习深晶网络需要能够融合多个单模态的特征。因此，不仅需要掌握图像识别算法、语音算法、人脸识别算法，还需要搭建融合这几种算法的多模态算法，技术难度较高。

爱分析认为，云思创智所在的市场潜在规模虽然接近千亿，但为一次性市场，分摊在每年为百亿级别，后期的运维费用较低，市场属于资源导向型，行业目前竞争者较少。若公司能够通过直销、渠道商、政府背书等方式快速拓宽市场，将能够为公司带来丰厚的业绩回报。

其次，在市场跑马圈地结束之后，能够带动行业业绩增长驱动力在于数据分析服务。公安、金融等行业均会寻找数据服务合作伙伴，若云思创智对数据分析能力高度重视，亦将为公司业绩增长带来全新动力。

近日，爱分析专访云思创智创始人兼CEO凌志辉，就多模态情绪分析发展趋势与云思创智业务发展进行了深入交流，现摘取部分内容如下。

爱分析：创立云思创智的初衷是什么，当时是如何考虑这个方向的？

凌志辉：云思创智在2016年成立，成立之后，我们一直在摸索人工智能产品的方向和落地的可能性。2016-2017年，我们做了很多项目，有军队、气象、环保的项目。2017年年初，沉思者产品上线，把我们在企业项目中积累的经验、技术等集成起来，目的是为了帮助开发者能够利用该平台自己去训练和学习自己的模型。

后来，我们发现公检法、司法在审讯过程当中对被审讯人员情绪状态判断存在痛点，审讯人员要花大量的时间进行审讯，并且被审讯人员有很多伪装，很难攻克他们的心理防线。审讯人员需要通过审讯过程当中的通过蛛丝马迹去进行判断。于是，我们就设计了凝瞳和灵视两款产品。

凝瞳定位为多模态数据网关，主要用来做多种数据采集，如摄像头、麦克风、定向麦克等，对这些信息进行滤噪、特征提取、边缘计算等。

灵视是多模态情绪研判系统，负责处理凝视得到的结构化数据。灵视判断出这个人的情绪状态，包括高兴、生气、紧张等，帮助审讯人员去定位和发现可疑点。

爱分析：云思创智切入公安审讯环节的原因是什么？

凌志辉：首先，这个行业目前是一片空白，没有什么厂家在做；其次，需求非常强烈，公安部、司法部都有专门的科研基金在做这方面研究，且预算很高；最后，政府端有很好的数据。

我们可以发现人工智能领域的独角兽公司大部分都是做政务端业务起家的，主要是因为政务有痛点、有资金、有数据。

爱分析：多模态情绪研判系统在公安审讯是个刚需落地场景吗？

凌志辉：这个场景一直都有需求，只是没有比较好的产品而已在。

现在，多模态情绪研判机还是处于辅助阶段，但未来重要性会越来越高。主要是因为人的判断会有偏差，而且我们的模型是越训练准确度越高。未来，审讯人员会摒弃人的判断和偏差，将会更依赖相对客观的评价体系。

我们的产品可以提供审讯过程中相对客观、公正的表现情况，而且我们的产品也可以变为审讯执法办案的领导的眼睛，帮助他们去判断刑讯执法人员在执法过程中的问题。

此外，审讯人员对于审讯方法上很多时候比较茫然，不知该用什么技巧、策略。全国的审讯专家数量很少，且审讯人员容易疲劳，因此他们愿意接受多模态情绪研判机。

爱分析：现在审讯是个完全的黑盒，那么云思创智在审讯产品训练时的数据从哪里获取？

凌志辉：我们通过和中南财经、南京森林警官学校、中国人民公安大学都建立了相应的联合实验室和校企合作，邀请他们的专家来做这方面的工作。

爱分析：多模态识别的图像、语音等是一起进行标注吗？

凌志辉：目前来说，是将图像、语音单独训练，然后将语义的数据抽取，再将他们做为黑盒子的输入进行深度训练，是分两个阶段做的。

爱分析：云思创智是如何决定由这5个多模态进行情绪识别判定？

凌志辉：这个不是一次性决定的，我们最早的时候是用3个模态，表情、声音、音域，后来是这些专家建议增加一些其他维度，就形成了现在的5个模态，效果很不错。

爱分析：行业本身技术上的门槛是什么？

凌志辉：三个部分。一个部分是标注的地方比较难，二是算法本身比较难，三是心理学模型和多模态深度学习网络的融合比较困难。算法需要考虑多种模态之间的相互映射、相互描述、语义之间相互打通，和心理学模型关联，多模态远远不是单模态的叠加。多模态其实是通过多模态机器学习，去发现多种单模态之间隐藏相关性。

爱分析：云思创智在数据标注的时候，需要同时将多个状态都进行标注？

凌志辉：对，在时间轴、时间空间标注，5个模态都需要标注。干警提供的数据我们会和他们签保密协议，数据只能用于我们项目模型的优化。

爱分析：现在多模态是5个模态，如果要加新的模态数据是不是要进行重新标注？

凌志辉：数据是需要重新标注，但是现在已经标注了这么多，再标注其他的模态只是少部分的工作，标注成本会降低很多。公安的标注成本之所以这么高，是因为他有一个与事实相比较的一个关系，与事实相比较去判断你是否存在问题，但是海关就不存在这个问题。海关更关注于异常表情这一块。

爱分析：是不是可以基于这5个模态，从中选择部分模态进行场景落地应用？

凌志辉：对的，可以。像海关可能就只需要3个模态就可以了。

爱分析：下一步，云思创智打算如何去推广灵视产品？

凌志辉：我们会进行几个省级层面的课题，我们也会寻找相应的部门做政法的论证、测试，得到一个相应的产品结论，然后就可以快速推广。省级的话一般会定政策，采购权一般都在市级，所以虽然不是省级购买的，但是是省级批复的。

爱分析：云思创智的客户是直销为主是吗？

凌志辉：直销+渠道。渠道方面主要依靠集成商，现在大概有5-6个集成商，也有其他集成商在往我们这边汇聚。

爱分析：云思创智未来两年发展规划是什么？

凌志辉：我们希望我们的产品成为多模态领域的研究专家，然后把多模态技术产品应用到行政、金融、公共安全等领域。

爱分析：灵视的改善点有哪些方面？

凌志辉：有三点，分别是性能、功耗，算法的准确度。

为此，我们将引入一些心理学模型，与多模态模型进行相互配合。然后，在里面增加一些人机互动的功能，比如，谈话的建议。其次，把语言逻辑矛盾做一个技术研究，能通过一些已知的事实，去判断审讯人员的逻辑是不是有一些冲突。

爱分析：现在看，公安审讯是最难的一个场景吗？

凌志辉：对，公安审讯是最难的一个场景。从难易度来看，公安审讯最难，然后金融、海关、安检依次递减。

爱分析：下一步应用到金融、海关，这些数据标注要重新做吗？

凌志辉：基本可以通用，但还需要根据行业属性，再做些数据标注调整以及增量训练。

爱分析：业务方面，云思创智会做数据分析与公安技战法的模型吗？

凌志辉：会的，我们的节奏是第一阶段卖产品，第二阶段卖方案，第三阶段卖服务。

第一阶段就是卖灵视的产品，第二阶段是把技战法打包，完善产品矩阵，包括管理系统、判断分析系统、审讯效果评估等，一次出售多套产品，形成规模效应。第三阶段就是做数据定制化训练和分析服务。