【WRC大咖论道】阿联酋阿里发大学教授Jorge Dias：《神经形态计算架构—为机器人系统提供更高效和高性能计算的计算模型》

2024世界机器人大会以“共育新质生产力 共享智能新未来”为主题，为期三天的主论坛和26场专题论坛上，416位国内外顶尖科学家、国际组织代表、院士和企业家聚焦前沿技术、产业动向和创新成果，深入研讨人工智能与机器人技术深度融合带来的新趋势、新机遇，共同打造了一场十分精彩的机器人领域前沿观点盛宴！

在8月24日上午的主论坛上，美国乔治亚理工大学教授，阿联酋阿里发大学教授Jorge Dias以《神经形态计算架构—为机器人、人工感知和自主系统提供更高效和高性能计算的计算模型》为主题发表演讲。

数说2024世界机器人大会

论坛

26 家国际支持机构

3 大主题 26 场专题论坛

416 名国内外顶尖科学家、国际组织代表、院士和企业家

74 位国外嘉宾及港澳台嘉宾参会

线上线下听众达 160万 人次

展览

27 款人形机器人集中亮相

首发新品 60 余款

近 170 家参展企业 600 余件参展产品

参观人数近 25万 人次

大赛

全球 10 余个国家和地区的 7000 余支赛队

 13000 余名参赛选手

每天参赛人数 4000 余人

媒体关注

近 400 家国内外媒体

短视频平台话题播放量达 2.9亿

Jorge Dias（阿联酋阿里发大学教授）

以下是对话内容实录 

今天我们会为大家分享一个有趣的主题，我想为大家分享的是机器人研究领域的另外一个挑战，我们使用了很多机器人智能方面的解决方案，这是非常有趣的一个研究领域。

与此同时，我们要知道这样的一些计算的需求需要消耗很大的算力以及能源，在某种意义上这也是阿联酋阿里发大学研究的领域中心，我们也有一些很复杂的系统。我们是阿联酋的一所大学，我们有一个中心叫做自主化机器人系统中心，在这里有大量实践性的研究，也有很多不同的研究主题，您在这页上可以看到我们最近研究一些主题的复杂度，它是跟机器人科学的方方面面相关的。

我本人主要关注机器人当中的计算、决策这个过程，如果您回顾一下过去的里程，我们有一些机器学习的工具，这些年来相应的算法都是基于传感器数据观察到的信息来总结、来学习、来做出预测。

我们看到这方面会做大量的传感、感知和观察，收集到的信息可以用于做出决策，这是一个很有趣的回路，从感知到基于感知数据的决策，是一个非常有趣的范式，我们多年来一直在使用这种范式，它就好像是一个循环。

我们的控制是不断循环往复的，但是考虑到现在的数据真的是海量的数据，所以在做推理的时候，我们要做计算的时候，继续使用机器学习或者相应算法工具的话，其实是希望能够以更小的算力推动更多的数据量。这里很有趣的一点是当我们来思考机器学习的这种方法时，它其实是很久之前就有相应的方法了。

上个世纪1990年代的时候，我们模型的灵感来自哪里呢？他们希望计算机做出决策的方式是跟人体相类似的，您可以看到1990年出版的一篇论文说到了仿生的神经形态方法是自我学习、自我处理的，所以很多年前我们就有这个领域的研究了，这是一篇很有趣的论文，我们多年来都有这种基于人类神经网络的灵感，所以我们现在就有所谓的人工神经网络，它是来仿真人类的大脑，基于最基本的原理来解读，并且做实时调整。

神经网络实际上是一种加权的整合，它是做很多的计算，但是如果大家仔细来看这里面的工作，它其实是把加权做一个整合，我们会从系统的层面上来乘、来“加”过去收到的信息，这就是我们现在给出的一个深度学习的方法，它可以给出非常好的结果。

但是刚才说到的这种加权结果的整合，它是海量的，我们就开始考虑如何来解决这种数据量过于庞大和庞杂的问题，我们是希望有一个特殊的技巧来改善，比方说水下图像的质量，这就是其中的一个案例，要提升水下图像的一些分辨率，我们把它叫做图像的去雾。因为在水下，你看到的图像像蒙着一层雾一样，所以我们在这种极端的环境下，我们需要有一个解决方案帮助这些设备在水下作业的时候可以自主的完成图像的去雾。

你要知道在水下这些任务的机械是没有GPU或者是很大的计算机，我们需要找一种方式来高效的完成图像去雾，这里会有不同的一些任务，外部的、内部的，偏振滤波或者是距离选择，这都是实验室可以用的。

但是我们考虑如何把它用做一个泛化的技术来做图像的去雾和增强，所以我们以回顾的方式来看，它其实是很有趣的，而且商用是很有趣的。商用的可能性也会推动研究者做更多的思索，在计算方面，他的商业可用性是不断增加的。

随着时间的推移，我们发现会使用更多的云计算，就需要把通讯信息传输到云，但是云计算之外我们可能外部也有一些大型系统的需求，我们会高度依赖于这些大型的系统。如果我们继续探索这样的技术，通过深度学习的需求和自主化的需求，你的智能是需要采购大量的算力，而且要消耗大量的能源，这种方式是不可持续的。

我们不能够一直依赖外部云端的算力，我们要考虑到在一些情况下，我们是需要以端来完成计算，我们是需要在设备端高效的完成计算任务，我们不是说这种基于云的计算方法就不好，这里有很多的案例，我们是可以在很多情形下使用这种方法，但确实有一些情形是需要我们在设备端来完成的，所以我们现在就有这样新的方法，叫做人工神经网络，高度依赖于数据的，而且它的计算成本很昂贵，功耗很大，它其实需要有上百万的计算，所以我们能不能找到另外的一些方法或者是电子电力学的解决方式，完成机器人端的计算，这是我们一种新的思维范式。

我们可以看到在这里仍然要使用基于概率学的一些计算，这是一种好的办法，但与此同时要有最合适的计算模型，所以我们现在的方法是多年来一直在试图做的，叫做神经仿真，神经仿生学是希望用很简单的方式，用少而精的数据来完成，就好像是在右边，我们会使用系统里的事件来捕捉特定的情形，这里有很多很好的研究工作，大家也在之前的大会上听到了其他嘉宾的分享，但是我想说我们不要仅仅满足于收集事件或者是感知到信息，我们是需要有这样的一些基于事件的计算机大规模使用，我们如果捕捉到了事件，我们可以立即看到数据，而且它是很有趣的一个领域。

比如说室内，你可以看到它看到的一些图像，可能会有照明等等，但是如果计算机或者摄像头进入了黑暗的环境，它能不能更好的捕集到这些事件数据，能不能更好的处理这些数据。抱歉，这里的视频放完需要一点时间。

在右边可以看到同样的一个场景，但是用不同的方式来观察它，我们加入了事件数据的系统，即便是在黑暗的环境当中，你也可以很好的辨识图像当中的内容。这样的一个事件摄像头可以直接给你高质量的图像，你不需要给它做后期的一些修改或者是增强，这是我们对于事件摄像头或者事件系统的一个想法。

这里是可以立即对数据进行修改，所以我们现在就接受到了这样的想法，我们是希望做的更多，并不仅仅是在传感这个部分，而且在神经、形态这个部分，我们希望有新的技巧，可以看到这里有不同的堆栈和层，但是每一层会使用不同的模式，我们把它叫做尖峰神经网络，我们使用这些尖峰来表达数据的不同，它是有不同的水平，我们现在也有很好的工具来执行这一点。

芯片制作大头英特尔就有相应的工具，我们也是试图把这样的尖峰架构引入神经拟态计算的架构当中。大家可能想说，我想要买这个芯片在其它的方面工作，但并不一定，在这个堆栈当中，我们是可以使用仿真来看相应的尖峰架构，这也是我们之前做的。

我们是可以很高效的利用堆栈，像摩尔定律等等都是可以应用在其中的，可以是第一次使用尖峰神经网络的算法来完成设计，这是一些类似的设计，就跟正常或者是之前来做设计是类似的。但是我们会做一点探索，在Labar上来靶向最终的系统，然后让它变成了这样的傅里叶变换。

我们通过尖峰神经网络算法集群设计之后，我们发现很有趣的事情，做机器人等等，大家都在说精准度和矩阵还有算法，我们想要说的是当我们进入计算这个领域，和硬件的结合，我们需要做一个拓展，并不是仅仅使用一个精准的矩阵。

我们看一下这里面的信噪比或者我们如何使用这些网络或者其它的一些算法，可以实现大容量数据分析，结合实施性能，比如30帧的视频，在这方面人们做了很多有趣的研究，包括中国的团队做了很多此方面的相关技术。

谈到尖峰神经网络，它是致力于能量和精确度，码率更高意味着能量更高，并且更加的精确，因此我们聚焦尖峰电压、二元事件和逆尖峰间隔，这是发生在触突后的神经元阶段，这是很有趣的一项技术。我们可以计算出信息的编码，可以计算出速率编码，因此它的尖峰可以给我们产生值来处理。

如果我们聚焦逆尖峰间隔，可以用于安全能量方面，尤其是码率，比较典型，比如说使用更少的更低的尖峰，可以使用更少的能量，可以节约很多的时间来进行神经网络尖峰的解读，尖峰间隔码，编码为尖峰之间的间隔的信息，我们使用人工神经网络发展到第二代的技术，从传统的神经生物学发展到第二代ANS，也就是人工神经元从神经传递到0至1的实际价值，并且研究从生物神经系统提升到ANS研究神经元动力学非线性激活函数，研究预激活到浮点运算浮的计算，取决于模型架构的常数值和能源消耗的计算都更加的准确。

这样可以提取丰富的时空特征，使用二进制尖峰进行信息的传输，不再需要相适应的感知，可以用于水下可见度增强的SNN。传统的机器学习的模型依赖于密集且连续的数据处理，这导致更高的能耗。

我们所提出的建议是SNN构架用于开发此类算法，可以模仿稀疏异步处理，并降低能耗，提供可供比较的结果。因此它的绩效评估可以实现定性的分析，可以通过数据集图样、样本的定性进行精确的分析。

性能的评估是一种面向硬件的指标，浮点的运算可以在不同架构层的峰值率进行，它可以减少能量，这很有趣，我们减少92.44%的处理能量，尽管在每个架构层都是恒定的，但不同层的尖峰率存在差异，这非常有趣，使用不同数据集训练和测试，会产生能量的差异，这样我们就有一种机制，不需要一直使用能量消耗，而只在需要的节点使用。

我认为现在需要去看不同的计算模式，这是第一件事情要做的。此外还有商业的力量，推动我们使用GPU进行加速的嵌入式系统，另外一个驱动的力量是可重构计算，这是另一种可选性。

但我们需要思考另外一种落地的方法和工具，当我们做计算和峰值神经网络的时候需要考量，这是给大家展示一下我们水下机器人研究团队包括学院研究人员和研究生，这是我的博士生，也非常感谢他。

这就是我的演讲，我们非常期待大家可以在2024年10月14日到18日莅临我们的会议，非常感谢各位的聆听。

（本文根据录音整理）