演讲全文>>
大家好,我叫李骁健,来自中国科学院深圳先进技术研究院和深港脑科学创新研究院。我研究的领域是高性能脑机接口和类脑工程,今天主要和大家聊一聊脑机接口。
什么是脑机接口?实际上它只是一种通信方式,就是大脑与外界直接进行信息通信的方式。
我们总结了脑机接口要做的三类事情:
第一,弥补收发信息器官的带宽差。这是什么意思呢?我们平时是通过视、听、嗅、触、味等方式接收信息,通过说话或者做动作发出信息。虽然我们接收的信息很多,但是能发出的信息是比较少的,所以这两者之间有一个带宽差的问题,而脑机接口可以弥补这个问题。
第二,当收发信息的感官受损伤时,我们希望可以通过脑机接口的方式来替代这些受损伤的器官,让人能够正常地生活、工作。
第三,我们完全不要这些感官,通过脑直接跟外界进行沟通,即意念交流。治疗某些精神疾病就需要通过这种方式来实现。这听起来可能比较科幻,那我们今天就先从科幻讲起。
这是电影《阿凡达》中的一个场景,讲的是意识替换。视频中的这个人是一个残疾的士兵,他的腿不能动。但是科学家给他培养了一个人造人,是个外星人。当这个士兵进到睡眠舱中之后,他的意识就会传递给人造人。然后,这个人造人便可以成为他了。
这部电影里还有所谓的意识对接。当这个人造人骑着潘多拉星的飞龙时,他不需要说话就能控制飞龙。他的辫子可以与飞龙的辫子连接在一起,通过这个辫子就可以实现意念沟通。
所以电影中展示了两种情况,一是意识替换,二是意识对接。意识替换对意识的遥感和遥控技术要求很高,我们现在还不清楚如何操作。而意识对接虽然看起来比较简单,但遗憾的是,地球上的动物没有能进行这种对接的器官。所以我们认为这些情况暂时都无法实现。
我们再来看看另一部科幻电影《阿丽塔:战斗天使》的片段。这个小丫头阿丽塔的身体完全是一个机械体,只有里面的脑子是她自己的。
这是一种脑神经与电子装置的对接方式。值得高兴的是,这种对接方式在生理角度上比较有可行性,所以我们正在努力向它前进。
接下来,我们看一下我们的脑是怎么样的。
脑是有相对独立的功能分区的,比如在上图中我们可以看到颞叶、顶叶、额叶、枕叶、小脑和脑干,它们结合起来便组成了一个脑。
大脑是如何实现这些复杂功能的呢?我们的大脑由近千亿个神经元组成,而每个神经元会进行信息的接收、处理和转发,这些神经元通过级联就形成了通讯网络,这些交连的网络就能实现复杂信息的处理。
神经元里面既传递信息,也处理信息。如果想获得神经元传递的信息的话,应该怎么做呢?
我们想的办法就是把传感器放入大脑里,监听这些神经元的活动。那么传感器应该放在哪儿呢?这是一个挺让人纠结的问题。
我们先来看一下体育场效应。大家去球场看球,总会想买靠前排的票,因为看得清。最理想的是裁判员的位置,因为他能看清每个球员的动作,甚至连说话都听得到。大脑也一样,我们希望把传感器放到离神经元更近的位置,因为离得越近,清晰度越高。
用黄框圈出的是传感器的高清模式,这是我们今天主要谈及的植入式脑机接口的主流模式。另外,美国的马斯克推出的Neuralink脑机接口采用的也是这种方式。
我们要把传感器放在什么位置?当然,最理想的就是这张图所展示的位置。这个传感器贴在神经元上面,能同时实现读写活动。这个位置很理想,但是实际上我们无法操作,必须采用其他方式。
我们采用了自己研发的宽带植入式脑机接口系统。我们把神经传感器植在猴子脑内,后面再连上神经电子芯片和采集器,最后在台式机中对数据进行可视化和存储。这样我们就构建了一个脑机接口的猕猴。
我们实验室做的东西,可以拿来和目前主流的脑机接口设备做个比较。这个设备是美国的,通过了美国临床认证可以给人用,而我们的设备还处在动物研究阶段。可以看到他们这款设备使用的是BlackRock系统,设备的体积比较庞大,可以通过左下角的可乐罐头来比较。
刚才展示的我们的系统的神经信号采集超过了2000道。而即便是采集1000道神经信号,也需要至少5套BlackRock系统才能完成。
这是现在最火的马斯克做的Neuralink系统。我们可以看到它非常小巧,同样也具有电极传感器、处理器芯片。这个系统共展示了两款:2019年这款上面有一个Type-C插头,它是有线系统,而2020-2021年这款是无线系统。这两者的区别主要是采集传输信号的方式不一样,但植入过程都一样。即在脑袋上打个洞,像种水稻一样把电极插到脑子里面。右下角图中展示的就是猪的脑子,红色的是血管,细丝就是植入的脑电极。
我们可以先看一下有线系统在大鼠脑内采集的神经元信号。
上图中这些波形的每一道都是一个神经信号通道,这就是脑内神经活动的信号。这个数据量是比较大的,处理这些数据需要大量的CPU以及显卡阵列。
无线的优点就是脑袋上不需要拽线,实验对象可以自由活动。比如这是植入Neuralink的猴子,它在用手柄控制光标运动,脑信号被采集到了计算机当中。通过屏幕我们可以看到,现在这些信号就像一排排的麻点,跟刚才那些直接抖动的波形不一样。这是因为无线传输信号的通量比较低,因此发生了很大的数据压缩。好在这些数据足够用来解码了。现在猴子可以不用手柄,完全通过脑控这两个光杆做类似打乒乓球的游戏。所以这些数据是足够用来做脑控解码这一工作的。
刚才我们讲的主要是在做猴子的脑机接口,那么如果把这个东西给人用,发展植入式脑机接口对人类有没有帮助呢?我们认为是有的。
植入式脑机接口并不像有些人认为那样是马斯克这两年才推出的,实际上它已有几十年的研究历史。在20世纪六七十年代,美国有很多残疾退伍军人,为了帮助他们实现生活自理,科学家就开始研究运动脑机接口技术,这主要是从治疗疾患的角度考虑的。
我们来回顾一下运动脑机接口的研究史。任何技术发展的前提是必须有充分的科学依据,做脑机接口当然也是如此。比如说在上世纪60年代,发现从猕猴脑内可以采集到跟运动相关的神经元活动。到了80年代,发现如果把很多神经信号放到一起,它的群体表现跟我们手抓东西的动作方向极为一致,这样脑控就有了神经科学的基础。后来又过了二十多年,到了2006年,有人提出了人脑用的脑机接口BrainGate方案。从此植入式脑机接口进入了实用阶段,至今也接近二十年时间了。
当时最简单的运动脑机接口形式,即所谓的初期型,就是从和运动相关的脑区采集神经信号,然后把它转码成控制机械手的指令。
于是在2012年,出现了第一个人脑控机器人。视频中的这位女士头上有一个大插头,它就是我刚才介绍的主流的BlackRock系统。我们可以看到这位女士的胳膊是不能动的,她正在通过集中意念抓住水瓶。这个过程很磨叽,水瓶晃来晃去都没有拿到跟前,但最后水瓶还是靠近了,而她也喝到了水。旁边的人的作用主要是监测,机械臂完全是这位女士通过脑控的方式进行控制。
在视频中,我们可以看到这位女士一直在用眼睛盯着这个水瓶,但是其实我们抓东西不太需要用眼睛看,主要靠的还是手抓的触觉。所以这种脑机接口有一个很大的问题,它没有得到触觉。
脑机接口发展到现代型,就是把机械手体感和触觉信息也反向编码神经脉冲,再写回脑内对感觉信息进行处理的脑区,这样就可以达到运动和感觉的合一,我们觉得这招可能很好。
2016年出现了第一个有触觉的人脑控机器人。视频中的这位男士出了车祸,他的上肢不太能动。除了胳膊还好以外,他从手腕到手动起来都挺费劲的。最后,他决定接受脑机接口手术。工作人员先把他头发剃掉,在颅骨上打个洞,然后把很小的BlackRock小电极植入到他的脑内,脑外留下了两个小插头。
在这之后他开始了训练。我们可以看到他控制机械手比刚才那位女士灵活得多。这是因为在运动的时候,体感跟触觉信息能回到脑区。
我们来直接比较一下有/无触觉反馈的脑控机器人的性能表现。二者的实验是同时进行的,左边的机器人是有触觉反馈的,可以看到它毫不犹豫地抓起杆扔到了盘子里;右边这个机器人是没有触觉反馈的,它主要在用脑袋看,磨磨叽叽费了半天劲才放下。可以发现,有触觉反馈确实能够在很大程度上提高脑控效果。
刚才给大家介绍了几个实例,现在我们来看一下运动脑机接口的系统构成。
首先我们介绍第一段——神经界面,就是最前面植在脑内的那部分,这一块也是在不断发展的。
上图左上角的就是现在主流的BlackRock电极,它是一种硬质电极,其实挺像一把鞋刷子。科学家通过小气锤把这个电极拍到了人的脑组织里面,当然前提是已经把颅骨打开了。
像Neuralink这个系统是通过很复杂的机器人,把柔性的、比头发还细的小细丝、软丝儿一点点种进脑内。对两者进行比较,硬质电极引起的排异反应比较强,所以脑信号的逐渐衰减是比较明显的。我们认为右边的柔性电极可能会有比较好的效果。
第二段就是脑机转码,即脑信息怎么转成机械动作。回想当年学自行车和游泳的时候,我们摔了很多跤,也喝了很多水。其实用脑机接口做机械控制也一样,脑控是一个新的技能,得学习一段时间才能掌握它。
脑机转码的依据也是神经科学,主要包括两个方面:一是神经元群体编码理论(上图左)。这个名字比较复杂,它表明我们得记录足量的神经元才能做解码。二是神经的可塑性(上图右)。这说明学习就是神经生长的过程,肯定快不了。所以使用脑机接口主要还是要靠大脑自己来学习,而不能靠机器学习那种大力出奇迹的方式。因为人脑学习相对较慢,所以不要指望装上脑机接口就能立刻使用,学习是需要时间的。
第三部分就是控制机械臂,包括两种情况。
一种就是左边这种不用自己的胳膊,或者是胳膊已经损失了的情况,我们会用仿生机械臂、机械手抓东西。还有一种情况就是我们本来是有手的,虽然它不能动,但我们可以通过电刺激肌肉做出我们想做的动作(上图右)。这确实也是可行的,就是所谓的功能电刺激。
我们可以看到视频中的小臂上贴上了腕带,它主要是进行肌肉电刺激的。当他想做抓的动作时,就可以刺激这下面的肌肉,然后动作就做出来了。他既可以抓着水瓶倒,也可以做更精巧一点的动作,比如可以抓棍子和用棍子进行搅拌。
前面介绍的都是美国人做的工作,最近国内在临床上也有一些成果,比如浙江大学通过主流的BlackRock系统实现了一个高龄志愿者的脑控机器人,这位志愿者成功通过脑控吃了一根油条。
刚才提到脑机接口可以在一定程度上恢复运动功能,此外它在视觉、听觉、语言功能的恢复上也有所帮助。现在这方面已经有很多应用了,比如人工耳蜗、人工视网膜、脑起搏器。
一个最前沿的研究成果就是让不能说话的人重新说话,这主要是通过脑神经解码构建一个语言合成器实现的。
这是美国UCSF发展的一项技术。我们可以看到人在说话时,脑内会有很大一片区域都活跃起来管理语言。实际上,这片区域就是通过控制我们喉部的肌肉来实现发声的。知道这个原理之后,我们就知道怎么操作了。
我们在语言这一片区域贴一片电极,以采集这些神经信号。这是从人开始说话,到采集到信号,然后再在计算机里进行建模的过程。这里面每个活动对应的是喉部肌肉动作,可以说是将神经信号转码成控制肌肉,每个肌肉动作可以对应一个声音。其实简单来说,就是把这个语句用肌肉动作拼接起来。这样当我们采集了想说的话的神经信号后,就可以用一个语言合成器重建话语。可以听到这是语音合成出的话,跟自然说的话非常相似。
这里说的电极跟刚才说的不一样,是所谓的ECoG电极。这种电极有一个优点,它比较薄,贴在脑皮层表面上基本不会伤脑子。而前面那些电极要像种水稻一样扎进脑内,可能会产生脑损伤。当然ECoG电极也有缺点,毕竟它是贴在大脑表面的,离神经元比较远,所以它采集信号的精度可能比较低。
为了解决这个问题,我们实验室进行了一定研究。我们成功研发了可能具有更高精度的微型ECoG电极阵列。目前这个电极在老鼠的脑子里成功测试了,还没有在猴子上完成测试,后面才能用到人。
右上图展示了我们的电极从老鼠那儿采集的神经信号,这比用商用电极采集的看起来多了些毛刺。这些毛刺其实是非常细节的神经信息,也就是说我们的电极采集的信息比商用的ECoG更多,很可能对解码更有帮助。
现在,精神疾病也是社会上的大问题。既然脑机接口在感觉和运动功能恢复上很有帮助,那么如果我们想通过它来治疗精神疾病,比如说失忆、老年痴呆、焦虑、抑郁、自闭等症状行不行呢?确实也是可以的。
最近脑机接口在难治性抑郁治疗上确实有突破。左边的就是现在用的治疗调控器,可以看到它跟刚才那些电极不太一样,有两条长须子。这是因为精神疾病对应的出毛病的脑区比较深,所以这个电极要比较长,要扎到脑子最中心去。中间这个图展示的是解决方案,即对一个脑区的神经活动进行监测,如果发现异常,立刻去刺激这个需要调控的脑区,从而纠正症状。现在,它已经对一两例难治性抑郁病人起到比较好的症状缓解效果。精神类疾病一般会在多个脑区出现异常,所以我们认为可能需要在多个靶点进行协同调控,这样治愈率会更高一些。
现在我们来畅想一下植入式脑机接口未来场景。
这是一个比较酷的机器人,可以看到这个机器人非常灵巧,跟人基本相当。如果人能够脑控这样的机器人,那将带给瘫痪病人、尤其是四肢瘫痪的病人极大的帮助。
比如已经去世的科学家霍金先生,他一生大部分时间都瘫坐在轮椅上。如果给他配一个这样的机械身体,通过脑控的方式控制它,那他可以去到任何他想去的地方。
此外,现在已经出现了5G通讯,后面可能会发展为6G。6G可能会有5G千倍的带宽,这么强的带宽应该是可以充分支持多人、多地域的脑信息自由交流的。在整个地球范围内、在一个平面空间内,我们将实现人与人的意念沟通。
我们一开始介绍过科幻片《阿丽塔:战斗天使》,把脑神经与电子机械躯体进行融合,我们认为这种情况在不久的将来也是有机会实现的。
2020年,美国的国家药监局(FDA)发布了植入式脑机接口医疗器械申请指南,中国的药监局也在抓紧准备相似的指南。这个指南将为申请植入式脑机接口作为三类医疗器械提供可参考的依据。在不久的将来,应该会有越来越多的脑机接口装置面世,造福瘫痪的病人,给他们带来更好的生活,我们可以拭目以待。
脑机接口是一门科学,并不玄幻。脑机接口的未来已来,但是仍充满挑战。
谢谢大家!