编辑:俞莉莉 来源:计算机科学与技术学院办公网 时间:2023年11月13日 访问次数:10 源地址
借鉴人类大脑的信息处理机制发展专用计算芯片及硬件系统,是当前计算机技术与人工智能发展的新趋势与新方向。大脑存算一体的信息处理特性,为冯·诺依曼架构计算机中处理器与内存间的大量数据搬运问题提供一种有效的解决思路。
当前研究利用忆阻器等新型器件构建存算一体系统,初步实现了超过100 TOPS/W的超高计算效率。然而受限于存储器件的有限读写精度问题,其主要应用在神经网络推理任务中,对学习任务仍是重要挑战。
2023年10月4日,浙江大学计算机学院、脑机智能全国重点实验室、教育部脑与脑机融合前沿科学中心的潘纲、林芃课题组在《Nature Communications》期刊上在线发表题为“Open-loop analog programmable electrochemical memory array”的研究论文。该研究工作针对以往存算一体与神经拟态器件无法直接实现高精度权重更新的难题,设计并实现了一种更加适合神经网络学习任务的电化学人工突触器件,为面向在线学习的存算一体芯片与神经拟态类脑系统提供了一种新的器件方案。
在实现存算一体系统的高效片上在线学习功能时,高精度权值读写一直是一把双刃剑。一方面,与当前计算机中SRAM和DRAM每个单元只能存储1比特信息相比,新型存算一体硬件的一大优势是单器件就可以存储超过5-10比特的权重信息,并能实现模拟域的多比特乘加与矩阵运算,因而可以在较小的能耗开销下提供较高的系统算力。然而,高精度信息的快速写入是一大挑战,现有器件的写入程通常伴随大量的物理随机性,因此仍需依赖Write-and-verify的闭环形式完成权重写入,通过多次重复的读写周期达到所需的权重精度,这极大的限制了该类系统在训练任务中的速度与效率。
潘纲、林芃课题组受电池充放电过程启发,提出了一种过程高度可控的新型电化学人工突触器件(ECRAM),利用氧离子在空间可逆运动实现权重线性更新,单次开环形式的写入过程就能实现较高的权值精度,从而解决了单器件高精度权重存储与快速写入的两难问题,可以满足神经网络训练过程中频繁的权重更新需求。
图1 电化学器件(ECRAM)阵列图片与用阵列做图案编程的展示。图案信息通过开环、单次脉冲的方式即可完成阵列写入,与传统器件需要几十次重复调整相比,这种开环更新的方式大大降低了权值更新的时间与能耗开销。
为了验证该技术在各类在线学习任务中的有效性,团队在阵列芯片原型上进行了应用实验,在小规模分类任务中实现了与软件相当的分类准确率,并进一步通过模拟仿真评估了其在大型任务下的学习能力。后续,团队还将开展更加深入的研究,通过异构集成技术实现阵列集成规模的大幅拓展,并探索应用至脑机接口等新型领域,助力人工智能与脑科学的交叉融合。
图2:ECRAM在线学习功能展示与性能评估。
该项研究工作由潘纲教授与林芃研究员共同指导,博士后陈鹏为论文第一作者,刘丰豪、李佩鸿、张碧华等研究生为本论文工作也做出了重要贡献。相关研究得到了科技创新2030-“脑科学与类脑研究”重大项目、国家杰出青年科学基金、浙江省重点研发计划、浙江省自然科学基金重大项目等资助。
原文链接:https://www.nature.com/articles/s41467-023-41958-4