黄明强课题组提出忆阻器神经网络的高能效权重更新方案

bingnuan

近日，中国科学院深圳先进技术研究院医工所医学人工智能研究中心的黄明强研究团队在基于忆阻器阵列的卷积神经网络的研究当中提出了硬件友好型的随机自适应学习方法。区别于具有复杂外围电路设计的梯度下降方法（SGD）和分段线性（PL）的传统方法，该方法具有良好的硬件友好特性和高能效特性。相关成果以Hardware-Friendly Stochastic and Adaptive Learning in Memristor Convolutional Neural Networks为题发表于Advanced Intelligent Systems。深圳先进院客座硕士生张伟和潘伦帅为本论文的共同第一作者，深圳先进院医工所副研究员黄明强、钟高阔和南方科技大学李江宇教授为论文的共同通讯作者。

　　图：（a）卷积神经网络模型；（b）忆阻神经网络的忆阻-权重映射方案；（c）本论文提出的高能效权重更新方案（红色线）与传统忆阻权重更新方案（蓝色线）的性能对比。

　　神经网络已被广泛应用于各种人工智能技术，如计算机视觉和语音识别。然而，在传统互补金属氧化物半导体CMOS数字平台上运行的人工智能算法在很大程度上受到摩尔定律即将结束或冯·诺依曼架构限制的限制。因此，学术界提出了基于忆阻器阵列的存储计算模型（computing in memory）。传统的基于忆阻器阵列的权重更新，需要计算出具体的脉冲数，这需要构建复杂的外围电路来计算脉冲数。在新的学习方案当中，随机提取训练样本，基于训练样本更新整个卷积神经网络的权重，计算梯度值获取权重更新的方向，引入忆阻器非理想特性，给予忆阻器单脉冲进行权重更新，该方法不需要复杂的外围电路设计，大大节省了芯片面积和功耗。研究人员基于新的学习方案提出了四种权重更新方式，将传统的SGD和PL作为基准，在基于LeNet5网络对MNIST图像识别中取得了好的识别率。该方法可以应用到更加复杂的神经网络结构当中，如resnet8网络和VGG网络对cifar10数据集进行识别，具有良好的应用前景和优化空间。
　　该工作是研究团队近年来在新型微电子器件高能效计算领域发表的第3篇系列研究型论文。2020年，团队先后提出柔性铁电突触晶体管神经网络方案（Applied Physics Letters 117 (9), 092903，2020）和功耗可调型1T1DM低比特神经网络方案（IEEE Electron Device Letters 42 (1), 106-109）。未来，该团队将结合新型微电子器件和集成电路设计技术，在更大规模的忆阻神经网络应用上进行拓展，为高能效人工智能和终端智能的硬件架构提供新的思路。
　　该工作得到了科技部重点研发计划、国家自然科学基金和深圳市科技计划等项目资助。


　　论文链接 ：https://onlinelibrary.wiley.com/doi/full/10.1002/aisy.202100041




       文章来源：深圳先进院
       黄明强，博士、副研究员、硕士导师。2013年6月于华中科技大学获得学士学位，2018年6月于华中科技大学获得博士学位，博士毕业后前往新加坡南洋理工大学电子工程学院从事博士后研究工作，2019年11月加入中科院深圳先进院并担任副研究员。主要研究方向为新型微电子信息器件及其高能效计算系统集成，目前已在该领域主持项目4项，项目总金额超过300万元。发表SCI论文数十篇，包括一篇一作Nature Nanotechnology论文和一篇共一作者Nature Electronics论文。黄博士还具有多学科交叉背景和企业合作背景，并在新型半导体器件、FPGA、人工智能算法等领域均有一定的研究经历。目前正在从事的研究课题包括高性能微电子器件研发、新型高能效计算体系设计、存内计算等。