香港中文大学团队在《Nature》上发文,揭示了一项突破性成果:利用一块10平方毫米的超表面芯片,边缘设备得以初次具备"基础模型"级别的视觉理解能力。
光学神经网络(ONN)的理论优势曾备受瞩目,其光速传播、天然并行、低能耗特性被人们反复强调。但十年来,多数ONN实验仅限于MNIST手写数字、Fashion-MNIST服装识别等简单任务,参数量通常在几万至几十万之间,与数千万乃至千亿的现代AI模型相距甚远。
从Extended Data Table 1的对比图可看出,过去的ONN系统要么仅能实现分类功能,要么需要针对不同任务重新训练物理层设备,没有一个能在检测、分割、三维重建和视频理解四大领域达到与数字SOTA模型相当的水平。
症结究竟出在哪里?ONN领域长期沿袭一个错误假设——光学系统应当精确模仿数字神经网络的代数运算。例如,光学卷积神经网络试图在物理层面复现卷积核的乘加操作,光学衍射网络则通过光场传播模拟全连接层的矩阵乘法。这种"数字模拟"思路在物理实现时带来巨大损耗和误差:光学系统本就不擅长高精度代数运算,强行模仿必然导致参数规模、非线性操作和可扩展性全面受挫。
共同第一作者为Jiayong Peng和Mingcheng Luo
通讯作者是Chaoran Huang
研究机构包括:
香港中文大学 电子工程系 / 计算机科学与工程系(The Chinese University of Hong Kong, Shatin, Hong Kong)
香港理工大学 应用物理系(Yang Chai组)
Queen's University, Canada(B. J. Shastri组)
合肥综合性国家科学中心 人工智能研究院(Yuxi Han)
港中文黄超然团队在《Nature》上发表的这项工作彻底颠覆了原有认知。其核心思路是:放弃让光学系统"模仿"数字模型具体运算的做法,而是将计算机视觉三大基本原理——基于相似性的识别、注意力引导的感知、细节与上下文的整合——直接嵌入超表面的物理设计和光传播过程之中。
这一 paradigm shift带来了惊人成果:一块固定不变的4100万参数光学超表面前端,配合仅8.7万参数的数字后端,就在Cityscapes和DAVIS等高分辨率真实世界数据集上,同时完成目标检测、语义分割、三维重建和视频理解四项任务,超越了数百万乃至数亿参数的数字模型。
从“精确模拟”到“物理嵌入”,实现了明显跃迁
这项研究的创新性在于突破"用光学系统复制数字网络"的思维定式。现有文献中ONN的智能往往体现在更精密的数学变换实现上。但该论文作者们发现,计算机视觉的三大支柱——基于相似性的识别、注意力机制的感知、以及细节与上下文的整合——并非必须通过复杂数学公式完成。他们独辟蹊径,将这些原则直接"物理嵌入"到一块10平方毫米的"光学超表面"上。
图 1 | 该系统整体的工作流程示意图。
这块超表面还融合了注意力机制和多尺度特征提取技术。通过巧妙的光学结构设计,每个输入像素点经256个不同纳米柱调制,形成256个卷积核,这类似于数字网络中的通道注意力作用。
同时,通过调节光波衍射距离(d1与d2),系统可以自然分离局部"细节特征"和全局"上下文特征",这正是卷积神经网络和Transformer的核心机制,但这一切都在光通过芯片的刹那以光速、零功耗完成。
光学"超表面":拥有4100万参数的无源"认知中枢"
这个光学超表面芯片,其内核是一个由4100万个高斯分布随机排列的硅纳米柱(meta-atoms)构成的宏阵列。看到这里,









