Adv. Mater. |用于多模态圆偏振神经形态视觉的光离子胆甾液晶视网膜

今天与大家分享一篇发表在Advanced Materials上的文章，标题是“用于多模态圆偏振神经形态视觉的光离子胆甾液晶视网膜”。本文的通讯作者为中国科学院福建物质结构研究所黄伟国教授和香港大学教授王忠睿教授。

圆偏振光（CPL）是相位调控成像、量子光学和光学计算的基础。传统的CPL检测依赖于偏振片和四分之一波片，使设备设计复杂化并降低了灵敏度。在新兴的CPL探测器中，基于螺旋有机半导体的有机场效应晶体管（OFET）由于紧凑的结构而备受关注，但其合成繁琐，不对称系数低（S_ph < 0.1），工作电压高（> 50 V）。为了解决这些问题，作者开发了一种光电离子胆甾相液晶（i-CLC）薄膜，该薄膜具有电和光子活性，可作为光电晶体管的介电介质。i-CLC薄膜具有明确的胆甾相结构和可宽泛调控的螺距，使其能够在广谱范围内以优异的“手性”选择特性检测CPL。此外，它的离子性质提供了高电容（高达580 nF cm^-2 @20 Hz）。由此产生的柔性CPL探测器在低工作电压（< 5 V）下实现了前所未有的高不对称系数（S_ph = 1.33），在光通信和数据加密方面显示出巨大的潜力。随后，作者利用这一高S_ph，使用融合的多模态视觉输入（例如，圆偏振光和普通光）执行传感器内计算，以实现高精度的语义分割，达到75.73%的精度和0.3982的平均交集，超过非CPL光电探测器的性能。不仅如此，与大多数传统视觉处理系统相比，它将功耗优化了10²倍，为高性能神经形态CPL视觉提供了突破性的硬件解决方案。

具体来说，作者采取了一种“一石二鸟”的策略，开发了一种创新的双网络光离子电子胆甾相液晶薄膜（i-CLCs）。这种薄膜由一个用于区分L-和R-CPL的手性聚合物网络和一个提供高介电电容（在20 Hz时最高可达580 nF cm⁻²，厚度为25 μm）的离子聚合物网络组成。尽管这两种网络本质上是不相溶的，但离子聚合物网络不会破坏手性聚合物网络中的分子排列（Scheme 1）。将i-CLC集成到有机场效应晶体管（OFETs）中作为电介质层，可以得到CPL探测器，其g_ph值高达1.33（比已报道的OFET-CPL探测器高10倍），且工作电压低（< 5 V，比最佳OFET-CPL探测器低一个数量级）。通过简单调整手性添加剂的含量，可以宽泛调节i-CLC的光波长响应范围，从而将CPL检测的窗口或波长从蓝绿区域扩展至红区。由于这些优势，基于i-CLC的CPL检测器在高度安全的手性光学通信和四维数据加密领域展现出巨大潜力。此外，作者实现了手性光学突触行为，使得神经形态CPL视觉系统能够用于物品识别和多模态传感器内语义分割，达到了75.73%的准确率和0.3982的平均交并比（mIoU），超越了传统非CPL光电探测器的表现，并模仿了头足纲甲壳动物的物体识别和区分能力。此外，第一层卷积运算中7×7 OFET传感阵列的功耗约为3.3 mJ，明显低于大多数传统视觉处理系统，能量效率优化了10²倍。i-CLC薄膜的简单制造工艺、良好的可扩展性和灵活性，使得这种方法能够克服传统CPL光电探测器的缺点。基于i-CLC的FETs融合了传感与处理功能，是仿生边缘计算领域的一个重要里程碑，为高性能CPL检测、成像、传感、加密及光神经形态视觉提供了创新的硬件解决方案。

Scheme 1：基于手性半导体和手性介电层的手性光学视网膜图示。

i-CLC薄膜的设计、合成和表征

在双网络薄膜中，第一个聚合物网络采用胆甾相液晶相来实现CPL的区分，而第二个聚合物网络则具有离子特性，以增强介电电容。要同时满足这两种功能，两个网络必须完全互穿，并且各自保持分子排列和相结构的稳定性。然而，由于两种前驱体的固有混溶性较差，直接固化两种网络的前体混合物难以获得所需的iCLC薄膜，导致严重的相分离，并且阻止形成所需的螺旋结构。为了解决这一问题，作者采取了两步法工艺：首先通过紫外光固化宏观排列的CL混合物（由RM105、RM257、S811或R811（点手性源）与光引发剂组成），制备出结构明确的CLC薄膜；随后进行S811（或R811）的交换以用于离子聚合物网络（ES）的前驱体。随后对浸渍了ES的CLC薄膜进行固化处理，最终形成具有特征纹理的i-CLC薄膜（图1a, b及图2a, d, g）。

在i-CLC薄膜的傅里叶变换红外（FTIR）光谱中（图1d），1039和1159 cm⁻¹处的峰分别对应S═O的对称和非对称伸缩振动，而3160和3112 cm⁻¹处的峰则对应咪唑的H─C─N-基团，这些特征证实了离子ES网络的成功整合。图1b显示，初始橙色的CLC薄膜在去除S811后变为蓝色，表明CLC的螺距减小。随后用ES对CLC进行膨胀处理，其颜色变为绿色，表明CLC的螺距增大。这种螺距变化也通过图1c中的UV透射率光谱得到了证实，其中CLC的光子带隙（PBG）从570 nm移动到460 nm，随后增加至535 nm。值得注意的是，所有这些薄膜在左偏振滤光片下观察时颜色非常鲜艳，但在右偏振滤光片下则变得暗淡（见图1b)，这表明这些薄膜能够选择性地反射左旋圆偏振光（L-CPL），而透过右旋圆偏振光（R-CPL）。此外，去除S811并添加ES网络并未影响CLC薄膜中的分子排列。

图1：（a）CLC薄膜的制备和基于i-CLC的OFETs的示意图。（b）CLC21(S)在有无S811及i-CLC21(S)的自然光下，分别使用无、左、右偏振滤光片拍摄的照片。比例尺：5毫米。（c）CLC21(S)、无S811的CLC21(S)和i-CLC21(S)薄膜的光透过率光谱。（d）CLC21(S)、聚（ES）和i-CLC21(S)薄膜的FTIR光谱。

此外，通过调整S811（或R811）的含量，可以轻松调节i-CLC的螺距和PBG（图2a-i）。当S811的质量百分比从17%增加到29%时，光谱间距可从416 nm降至290 nm，PBG则从650 nm缩小至400 nm，从而在蓝光至红光区域扩展了CPL检测窗口。除了可见光区域，PBG还可以根据需要调谐至深紫外或红外区域，这表明其设计具有极高的灵活性。在圆二色性（CD）光谱中，所有三种i-CLC薄膜的吸收值在350至800 nm范围内均为正值，对应的g_trans值分别为1.71、1.58和1.81，分别对应于i-CLC17(S)、i-CLC21(S)和i-CLC29(S)。其中，数字17、21和29分别表示点状手性源（即S811或R811）在薄膜中的含量，而“S”则代表由S811引发的左旋性。这些结果明确证实，所有i-CLC薄膜均展现出卓越的圆偏振光检测能力。

在表征了光学性质后，作者进一步评估了iCLC薄膜的机械和电学性能。纳米压痕测试显示，其杨氏模量为0.63 ± 0.40 GPa，硬度为75 ± 19 MPa。此外，i-CLC薄膜的柔韧性使其能够轻松扭曲和折叠（图2j）。为了研究其介电特性，采用金属-绝缘体-金属（MIM）结构制备了电容器。如图2m所示，当厚度为25 μm，频率为20 Hz时，i-CLC17(S)、i-CLC21(S)和i-CLC29(S)薄膜的电容值分别达到109、374和580 nF cm⁻²。值得注意的是，由于在前驱体中添加了更多的S811，i-CLC薄膜的PBG值较低，这导致更多的S811被ES取代，从而使得这些薄膜的电容更高。相比之下，没有ES网络的CLC薄膜的电容太低，无法测量。在5V电压下，i-CLC薄膜的漏电流密度约为5.5×10⁻⁶ A/cm²，与大多数已报道的聚合物电介质层相当（图2n）。此外，当对i-CLC薄膜施加200 V电压时，薄膜保持完整并表现出高稳定性，未发生电气击穿（图2o）。

OFET中i-CLC电介质的性能

作者接下来评估其在有机场效应晶体管（OFET）中的性能。OFET的制造过程如图1a所示，i-CLC薄膜首先粘贴在ITO基板上，随后沉积半导体层。最后，通过金的沉积完成源极和漏极电极的形成，从而完成OFET器件的制作。采用i-CLC21(S)电介质的OFET器件在L偏振滤光片下呈现明亮的绿色，而在R偏振滤光片下则颜色变暗。这表明，即使经过严格的OFET制造工艺，i-CLC薄膜仍能保持其高质量特性。使用2-癸基[1]苯并噻吩[3,2-b][1]苯并噻吩（BTBT，p型）半导体的场效应晶体管（OFET）在低栅极电压V_g为−5 V时，其漏电流（I_d）达到−168 nA，对应的空穴迁移率为1.03×10−2 cm²V⁻¹s⁻¹，开/关比为10²。该OFET的阈值电压（V_th）约为3 V，表明该器件非常容易开启。相比之下，使用对映体纯有机半导体或其组装体的OFET-CPL检测器通常表现出更低的迁移率，并且需要更高的操作电压才能达到相似的电流水平（≈10⁻⁷ A）。此外，这些OFET的阈值电压通常超过20 V，表明其电切换特性较差。基于i-CLC的场效应晶体管（OFET）的栅极泄漏电流（I_g）在0 nA附近波动（图2t），表明聚（ES）网络不会显著增加器件的泄漏电流。这些结果清楚地证明了i-CLC薄膜作为OFET操作中优秀电介质的有效性，以及其在CPL检测中的潜在应用。

图2：光学显微镜和扫描电子显微镜拍摄的薄膜横截面图像，以及样品在左右偏振滤光片下的透射率光谱；a-c) i-CLC17(S)、d-f) i-CLC21(S)、g-i) i-CLC29(S)。（j）i-CLC21(S)薄膜的拉伸、折叠和扭曲状态（尺寸：2 cm×3 cm)。（k）分别对CLC21(S)和i-CLC21(S)薄膜进行纳米压痕测试。（i-o）电容器结构，不同频率下的电容值，泄漏电流密度，以及 i-CLC21(S)薄膜的击穿测试。（p）基于i-CLC21(S)的场效应晶体管（OFET）的显微光学图像。比例尺：100 μm。（q）基于i-CLC的OFET的示意图。（s）CPL检测的装置。（s-u）基于i-CLC21(S)的场效应晶体管的转移曲线、栅极电流和输出曲线。

基于i-CLC的OFET的手性光学响应

在本研究中，作者提出了一种新型的双层半导体结构应用于场效应晶体管，该结构由底部的BTBT和顶部的十二烷基苝二酰亚胺（PDI，n型）组成，而非传统的单层半导体（图3a）。这两种半导体之间的界面能量偏移显著增强了激子解离成自由载流子，从而提高了器件的光响应。此外，所得OFET表现出双极半导体行为，提供电子和空穴的互补光响应。为了研究基于i-CLC的场效应晶体管的旋光响应特性，分别使用i-CLC17(S)、i-CLC21(S)和i-CLC29(S)作为电介质层，制备了三种器件。在后续讨论中，这些器件分别命名为OFETi-CLC17(S)、OFET-i-CLC21(S)和OFET-i-CLC29(S)。在测试过程中，OFETs以“采样”模式运行，栅极电压V_g设为1 V，漏极电压V_d设为0.8 V。如图3c所示，OFET-i-CLC17(S)的电流I_d从黑暗状态下的−4.0 nA增加到650 nm光照射下的−15.1 nA。对于650 nm光，其对应的检测率（D*）计算结果为6.14×10⁹ Jones。当使用左偏振滤光片时，650 nm光源的电流密度（I_d）降至−5.4 nA（I_LCPL）。相反，使用右偏振滤光片时，电流密度（I_d）则增加至−14.4 nA（I_RCPL）。I_RCPL值高于I_LCPL，这与i-CLC(S)薄膜能够传输右旋圆偏振光（R-CPL）但阻挡左旋圆偏振光（L-CPL）的事实相符。这些结果表明，根据以下方程，不对称因子g_ph 为0.93，突显了OFET-i-CLC17(S)在650 nm波长下对CPL的优异选择性。其中，I_RCPL和I_LCPL分别表示在R-CPL和L-CPL光照条件下的光电流。

此外，OFET-i-CLC17(S)可以在650 nm的L-CPL和R-CPL交替模式下轻松调控其I_d值（图3d）。然而，无论是532 nm还是405 nm的L-CPL和R-CPL，都能产生相似的OFET-i-CLC17(S)I_d值，这进一步证明了OFET-i-CLC17(S)在CPL检测中的良好波长选择性（图3ef）。对于OFET-i-CLC21(S)，其暗电流约为−0.8 nA，在532 nm光线下，暗电流增加到−15 nA（图3g），D*值为2.39×10¹⁰ Jones。当使用左旋偏振滤光器时，暗电流I_d降至−4 nA（I_LCPL）；而使用右旋偏振滤光器时，暗电流I_d增加到−20 nA（I_RCPL）（图3i）。这些结果显示的不对称因子g_ph为1.33。同样，在532 nm下，OFET-i-CLC21(S)在交替使用左旋偏振滤光器和右旋偏振滤光器时，表现出二元I_d值，但在650 nm或405 nm下则不表现出这种特性（图3h-j）。同样，OFET-iCLC29(S)的暗电流为−0.3 nA，在405 nm光照射下，暗电流增加到−6.2 nA（图3k），D*值为1.31×10¹⁰ Jones。当使用左偏振滤光片时，暗电流I_d降至−0.99 nA（I_LCPL）；而切换到右偏振滤光片时，暗电流Id增加到−4.65 nA（I_RCPL）（图3n）。这些结果所对应的g_ph为1.30。交替使用左偏振滤光片和右偏振滤光片可以产生相应的I_LCPL和I_RCPL。然而，对于650 nm或532 nm的左偏振滤光片和右偏振滤光片，暗电流I_d值保持在相似水平（图3l，m）。

图3o展示了所提出的CPL检测机制。R-CPL能够轻松穿透i-CLC电介质层，进而激发PDI/BTBT半导体层，从而生成电子和空穴。在负栅极电压的作用下，电子迁移到PDI的最低未占据分子轨道（LUMO），而空穴则迁移到BTBT的最高占据分子轨道（HOMO）。这些重新分布的载流子随后分别向漏极和源极移动，当受到负漏极电压驱动时，导致较高的I_d。相比之下，L-CPL大部分被i-CLC薄膜阻挡，因此I_d值显著降低。OFETs也可以通过调整栅极电压（V_g）至1 V和漏极电压（V_d）至0.8 V，以n型开关模式运行。这些OFETs在650 nm、532 nm和405 nm光下分别保持了g_ph达到0.78、0.69和0.91的出色CPL选择性。值得注意的是，这些g_ph值显著高于基于对映体纯有机半导体、钙钛矿、纤维素纳米晶体等材料的CPL检测器（图3b）。此外，通过简单调整i-CLC薄膜的BG值（图3c-n），可以有效调节波长选择性。另外，通过在CLC薄膜中用R811替换手性掺杂剂S811，可以轻松逆转CPL的选择性。基于i-CLC(R)的OFETs表现出更高的I_LCPL，比IRCPL具有更大的正g_ph值。

图3：（a）基于i-CLC的双层半导体OFETs用于CPL检测的示意图。（b）本工作g_ph值与以往报告的比较。（c-f）OFET-i-CLC17(S)对650 nm、532 nm和405 nm光的CPL响应。（g-j）OFET-i-CLC21(S)对650 nm、532 nm和405 nm光的CPL响应。（k-n）OFET-i-CLC29(S)对650 nm、532 nm和405 nm光的CPL响应。（o）CPL检测过程的推导机制。

用于物体识别的视网膜光学视觉

在证明了基于i-CLC的OFETs具有出色的CPL检测能力之后，作者接下来利用它们在旋光视觉中的应用，模仿螳螂虾识别捕食者和食物的能力（图4a）。如图4b所示，为了进行物体识别测试，制作了三个能够反射不同波长和手性的光的字母：字母“O”反射红色L-CPL，字母“X”反射绿色R-CPL，字母“Y”反射蓝色L-CPL。该手性光学视觉系统包含六个不同的传感器阵列，分别是OFETi-CLC29(S)阵列、OFET-i-CLC21(S)阵列、OFET-i-CLC17(S)阵列、OFET-i-CLC29(R)阵列、OFET-i-CLC21(R)阵列和OFETi-CLC17(R)阵列。在测试过程中，未偏振光首先照射到这些字母上，随后选择性地反射为偏振光。这些偏振光路随后被旋光视觉系统检测到，导致传感器阵列中的I_d发生变化。通过映射这些I_d的变化，生成相应的输出图像。图4c展示了六个传感器阵列的详细输出图像。对于OFET-i-CLC17(R)，在暴露于红色L-CPL后，其I_d的增加量远高于OFET-i-CLC17(S)阵列，尽管它们对绿色和蓝色光的光响应相似。因此，对于OFET-iCLC17(S)和OFET-i-CLC17(R)，输出图像分别为“OXY”和“ØXY”（其中“Ø”表示空）。两个输出之间的差异（OXY−ØXY=O，图4c），即红色L-CPL反射率的字母“O”，代表了两个光学传感器阵列获取的关键信息。这种行为与螳螂虾的CPL视觉相似，通过眼睛的扭转旋转来识别物体（例如捕食警告或狩猎）。基于相同的机制，OFET-i-CLC21(S)和OFET-i-CLC21(R)的输出图像分别为“ØØY”和“ØXY”。通过比较两个输出（ØØY−ØXY=−X），可以识别出带有绿色R-CPL反射的字母“X”。对于OFET-iCLC29(S)和OFET-i-CLC29(R)，输出图像分别为“ØXY”和“ØXØ”，从而识别出带有蓝色L-CPL反射的字母“Y”（ØXY–ØXØ= Y)。这些结果表明，旋光视觉不仅能够识别字母，还能识别它们的颜色和偏振状态，很好地模拟了螳螂虾的动态偏振视觉。

图4：（a）螳螂虾物体识别行为的示意图。（b）OFET-i-CLC手性光学视觉用于物体识别测试。（c）当输入字母“O”（代表红色L-CPL）、“X”（代表绿色R-CPL）和“Y”（代表蓝色L-CPL）时，六个不同OFET-i-CLC阵列的输出结果分别如下所示。

手性光学通信

图5a展示了CPL检测器如何将光输入转换为数字输出。根据之前的实验结果，CPL检测器的输出，即基于i-CLC的OFET的I_d值，受到输入光的波长(λ)和手性的共同影响，类似于‘与’逻辑门，其真值表见图5b。当与405 nm输入结合时，L-CPL和R-CPL输入分别对OFET-i-CLC29(S)、OFET-i-CLC21(S)和OFET-i-CLC17(S)产生逻辑输出0和1、1和1、1和1。这里，“0”和“1”分别表示电流I_d低于和高于5 nA的情况。对于532 nm的输入，L-CPL和R-CPL输入分别对OFET-i-CLC29(S)、OFET-i-CLC21(S)和OFET-i-CLC17(S)产生逻辑输出1和1、0和1、1和1。同样，当与650 nm的输入结合时，LCPL和R-CPL输入分别导致OFET-i-CLC29(S)、OFET-i-CLC21(S)和OFET-iCLC17(S)输出0和0、0和0以及0和1。这些明确的输出结果表明，OFET-i-CLC器件非常适合用于手性光学通信。作为演示，当接收到405 nm的输入1(λ)和“RLLRLRRLRLRLRLR”的输入2时，OFET-i-CLC29输出了“1 001 011 010 101”（图5cd）。当将输入1(λ)调整至532或650 nm时，OFET-i-CLC29分别产生“1 111 111 111 111”或“0000000000000”的输出（图5ef）。这些不同的输出结果证明，OFET-i-CLC能够准确识别输入信号，并作为CPL光子芯片用于手性光学通信，有效模拟了自然界中头足纲甲壳类动物和无脊椎动物的功能。

手性光学信息加密

此外，由于光强度(I)、手性及时间(t)等多维特性，CPL天然适合作为理想的数据载体。因此，4D数据可被高效加密至CPL光束中（图5g）。为了正确解密信息，需要一个具有正确电介质的OFET作为‘密码’或‘密钥’。而正确的电介质层的PBG值和手性在解密前是未知的，只有授权方才能访问。当接收到CPL光束时，会测量并记录OFET的I_D随时间的变化，然后根据I_D的大小转换成摩尔斯电码。再通过模数转换，将摩尔斯电码转换为实际数据（图5g）。作为演示，使用了预设手性序列、强度为50 mW/cm²的405 nm圆偏振光束进行数据加密（图5h）。通过七种不同的设备：OFET-i-CLC29(S)、OFET-i-CLC21(S)、OFET-i-CLC17(S)、OFETi-CLC29(R)、OFET-i-CLC21(R)、OFET-i-CLC17(R)和OFET-PMMA来读取数据。如图5i所示，摩尔斯电码“_ . _ . / . . . . / . / _ _”被OFETi-CLC29(S)解密为“CHEM”，并作为正确数据。当CPL光束通过OFETi-CLC21(S)处理时，生成了摩尔斯电码“_ _ _ _ / _ _ _ _ / _ / _ _”（图5j），导致数据解密失败。而当CPL光束通过OFET-i-CLC17(S)处理时，同样生成了摩尔斯电码“_ _ _ _ / _ _ _ _ / _ / _ _”（图5k)，产生了错误的信息。当使用OFET-i-CLC29(R)、OFET-i-CLC21(R)和OFET-i-CLC17(R)处理CPL光束时，分别生成了摩尔斯电码“._._ / _ _ _ _ / _ . .”、“_ _ _ _ / _ _ _ _ / _ / _ _”和“_ _ _ _/_ _ _ _ / _ / _ _”（图5m-o)。所有这些代码都无法转换为“CHEM”。此外，带有PMMA电介质层的OFET也因无法区分L-CPL和R-CPL（输出代码：. . . . / . . . . / . / . .，图5l）而无法解密数据。只有七分之一的OFET能够正确无误地解密数据，这表明该系统具有极高的数据安全传输性。此外，该系统还可通过精心编程控制CPL光束的光强(I)、波长(λ)、手性及时间(t)，实现对其他数据的加密。

图5：（a）光通信示意图。（b）输入和输出之间的“与”逻辑运算，以及相应的真值表。（c）输入2的旋光序列。OFET-i-CLC29(S)在输入2（RLLRLRRLRLRLRLR，见图c）和输入1(λ)下，分别在d) 405 nm、e) 532 nm及f) 650 nm处的输出结果。（g）通过CPL光束对4D数据进行加密的示意图，以及基于i-CLC的OFETs实现的数据解密。（h）CPL与4D数据加密。解密后的摩尔斯电码及最终读数分别由以下器件完成：i) OFET-i-CLC29(S)，j) OFET-i-CLC21(S)，k) OFET-i-CLC17(S)，l) PMMA，m) OFET-i-CLC29(R)，n) OFET-i-CLC21(R)，以及o) OFET-i-CLC17(R)。

光子神经形态计算

为了进一步评估其在神经形态视觉领域的潜力，利用i-CLC OFET阵列通过无传感器计算技术模拟了多模态图像的语义分割。这些阵列充分利用了基于OFET阵列系统的独特特性，能够根据物体的材质属性对视觉场景中的对象进行精准分割。例如，给定图6a所示的街道场景，系统应识别代表沥青、油漆、树叶等材料的像素。

图6展示了系统流程：如图6a至c所示，系统处理了三种模式的输入图像：原始RGB图像、同一场景的左右圆偏振图像。这些图像分别由OFET-i-CLC(S)传感器阵列、OFET-i-CLC(R)传感器阵列和辅助CMOS传感器阵列感知。每个7×7 OFET传感阵列的栅极电压偏置编码了不同模态的卷积核，从而产生不同的光响应性。因此，7×7 OFET感应阵列的总源漏电流代表了卷积核（编码为OFET光响应性）与输入卷积窗口（即7×7 OFET感应阵列接收到的光照强度）之间的内积。通过将7×7 OFET卷积核扫描整个输入图像，输出电流形成了相应的原始低级特征。这一过程在左右圆偏振图像模式下重复进行，生成原始RGB图像和左右圆偏振图像的原始特征。随后，这三个原始特征通过图6d所示的自动编码器的各层处理，生成最终的像素级特征（图6e）。这三张特征图随后被融合成软件中原始输入场景的统一表示，相比单一模态，这种融合方式丰富了场景信息。接着，融合后的结果会被逐像素分类进行语义分割（图6f）。结果表明，由于OFET基于传感阵列的系统具有多模态统一表示，因此能够清晰地分割出树木（绿色像素）、道路（深蓝色像素）、天空（黄色像素）等其他元素。

图6：采用OFET技术的多模态传感器内计算语义分割流水线。三种视觉输入包括：（a）原始RGB图像，（b）左旋圆偏振图像，（c）右旋圆偏振图像。（d）三种模式的图像分别由不同的OFET阵列（例如，OFET-i-CLC（S和R）)接收，这些阵列通过门偏置调制光响应性来物理实现卷积核。OFET感测阵列中源漏电流的总和是卷积核与输入卷积窗口的内积。（e）随后对三种模态的特征图进行融合和数字解码，生成如（f）所示输入场景的准确语义分割。

图7a直观地对比了基于OFET的多模态传感器内计算方法与单模态软件模型（使用相同的编码器和解码器架构）的分割结果以及与真实情况的比较。多模态传感器在识别复杂场景方面表现出色，例如上图红色圆圈中的混凝土柱，单模态软件模型未能识别。同样，在下图的红色圆圈中，汽车的阴影被单模态软件模型错误分类，而多模态方法则准确地识别了这些阴影。这种优势源于多模态模型包含了关于光的方向及其与表面的相互作用的额外信息，揭示了在标准RGB图像中不易辨识的表面纹理、边缘和材料属性，但可以通过利用RGB和偏振数据的模型来区分。图7b定量展示了该方法的分割性能，准确率达到75.73%，mIoU值为0.3982。相比之下，单模态模型、MobileNet、以及使用标准非极化RGB信息的UNet的平均准确率及mIoU分别为64.64%（0.3447）、62.29%（0.3048）、64.46%（0.2706）和62.91%（0.2995）。这证实了多模态传感器内计算能够捕捉到更丰富的场景信息，从而实现更精准的语义分割。图7c进一步详细展示了19个类别中，采用多模态传感器内计算与单模态模型时的mIoU值。多模态传感器计算在大多数类别中优于单模态方法，但陶瓷类别因缺乏足够的标注训练样本而例外。此外，相比于传统视觉处理系统，传感器内计算还使系统能效提高了近10²倍。

图7：语义分割性能。（a）使用多模态传感器内OFET和单模态软件模型，以及真实情况的分割结果示意图。红色圆圈突出显示该方法在区分复杂场景方面表现出色。（b）多模态传感器内OFET、单模态软件、MobileNet、膨胀残差网络及UNet的平均像素级准确率（红色条形）和mIoU（蓝色条形）。（c）多模态传感器内OFETs与单模态软件的19类mIoU值，多模态传感器内OFETs在多数类别中的表现更优。

综上所述，作者采用‘一石二鸟’策略，基于OFETs与i-CLC作为介电层，成功开发出高性能的CPL神经形态视觉系统。该双网络i-CLC视网膜由同手性聚合物网络构成，用于能够区分L型和R型CPL，并且这种离子聚合物网络具有高介电常数（在20 Hz时可达580 nF cm⁻²，厚度25 μm）。将i-CLC（一种特定的液晶材料）作为电介质层集成到场效应晶体管（OFETs）中，可以实现具有前所未有的高光谱分辨率（g_ph=1.33）和低工作电压（< 5 V）的圆偏振光检测器。通过简单调整i-CLC薄膜中的手性添加剂含量，可以宽泛调节圆偏振光检测窗口或波长范围，覆盖从蓝光到红光的整个光谱区域。这些圆偏振光检测器凭借上述优点，在精确物体识别、高度安全的手性光学通信以及四维数据加密等领域展现出巨大潜力。此外，通过神经形态CPL视觉技术实现了物品识别和多模态传感器内语义分割，达到了75.73%的准确率和0.3982的mIoU。这些结果优于传统非CPL照片检测器（包括单模态模型、MobileNet、膨胀残差网络和UNet）的准确率和mIoU值，很好地模拟了对头足纲甲壳动物的物体识别和区分功能。最终，i-CLC薄膜的简单制造工艺、良好的可扩展性和灵活性，克服了传统CPL光电探测器的缺点。基于i-CLC的FETs融合了传感与处理功能，是仿生边缘计算领域的一个重要里程碑，为高性能CPL检测、成像、传感、加密和光神经形态视觉提供了突破性的硬件解决方案。

文字：郗盼毅

审核：叶曦翀

参考文献：DOI: 10.1002/adma.202419747

https://advanced.onlinelibrary.wiley.com/doi/10.1002/adma.202419747