ENGLISH

电子新闻

新闻 | LOEN:无透镜光电融合神经网络论文于Light:Science & Application上发表

发布时间:2022-05-16 点击数:

2022年5月4日,清华大学电子工程系陈宏伟教授课题组的博士生史宛鑫、黄铮等人的论文(LOEN: Lensless opto-electronic neural network empowered machine vision》(LOEN:无透镜光电神经网络赋能机器视觉)于Light:Science& Application上发表。

基于卷积神经网络(CNN)的深度学习为人工智能的多种应用提供了有效的解决方案,近年来,光学计算因可以突破电子计算的瓶颈限制的特性而被广泛应用。然而目前绝大部分光神经网络虽然可以实现高速度、低能耗的计算,但需要相干激光作为光源,且硬件系统笨重复杂。本工作提出了一种用于机器视觉任务的无透镜光电神经网络(LOEN)架构,该架构利用成像光路中插入的无源掩模版在光域执行卷积运算,解决了自然场景中非相干光源和宽带光信号处理带来的挑战。同时,将整个链路中产生、接收、处理、决策的各个环节(光学端、图像数字处理、电神经网络)相结合,面向特定视觉任务联合优化,实现了全链路功耗和体积的“极简化”。以手写数字识别任务验证该架构中光学卷积的性能,使用单核掩模版的手写数字识别准确率可以达到93.47%。在掩模版上并行排列多核实现单层多通道卷积运算,识别精度可提升至97.21%。相比传统机器视觉链路,可节省大约50%的能耗。更进一步,扩大光学掩模版的维度,图像经过光域卷积实现对场景隐私信息的天然加密。以人脸识别任务验证该架构中光学加密的性能,相比于未经优化(由随机M序列生成pattern)的掩模版,使用端到端的无透镜光电神经网络联合优化后的掩模版的人脸识别精度可提升超过6%,实现隐私保护加密的同时,基本可以达到与无加密人脸识别相近的精度。

Shi, W., Huang, Z., Huang, H. et al. LOEN: Lensless opto-electronic neural network empowered machine vision. Light Sci Appl 11, 121 (2022).https://doi.org/10.1038/s41377-022-00809-5

原文链接:https://www.nature.com/articles/s41377-022-00809-5

来源 |硅基集成系统研究团队光纤传输技术课题组

分享到: