存算一体与感存算融合：类脑视觉芯片如何绕开冯·诺依曼瓶颈

存算一体与感存算融合：类脑视觉的技术突破

1. 引言：当视觉感知撞上"存储墙" 从智能手机的人脸解锁，到自动驾驶的环境感知，再到工业质检的毫秒级缺陷识别，机器视觉早已走出实验室，成为智能系统的"眼睛"。然而，当我们试图把视觉能力塞进一枚指甲盖大小的边缘芯片时，一个诞生于 1945 年的架构设计，却成了横亘在面前的隐形高墙。 这就是冯·诺依曼架构的"存储墙"问题。它并非某个具体器件的缺陷，而是计算与存储分离这一根本设计在现代数据密集型任务下的必然代价。而类脑视觉，恰恰是数据最密集、实时性要求最高的场景之一。 本文将从"存储墙"这一底层矛盾出发，梳理铁电光电传感器阵列如何实现感存算一体，类脑视觉如何在感知图像的同时完成加权求和，以及这条技术路线在边缘 AI 中的真实潜力与工程化挑战。 2. 冯·诺依曼架构的"存储墙"问题 2.1 计算与存储分离的原罪 冯·诺依曼架构的核心思想是"程序存储"：指令和数据统一存放在存储器中，CPU 按需取指、取数、运算、写回。这套设计让计算机具备了通用性，却也埋下了一个结构性隐患—— 每一次运算，数据都要在处理器与存储器之间往返搬运 。 在早期计算任务中，这个代价可以忽略。但当任务变成"对一张 1920×1080 的图像做逐像素卷积"时，问题就被急剧放大：一次 3×3 卷积，每个输出像素需要读取 9 个输入像素和 9 个权重，而权重在整张图上复用。数据搬运量远超实际计算量，处理器大部分时间在"等数据"，而非"算数据"。 2.2 带宽与功耗的双重瓶颈 "存储墙"具体表现为两个维度的瓶颈： 带宽瓶颈 ：处理器算力增长遵循摩尔定律，而 DRAM 带宽的增长速度长期落后。二者之间的差距，就是所谓的"内存墙"（Memory Wall）。算力再强，喂不饱数据也是空转。 功耗瓶颈 ：在先进工艺下，一次 32 位浮点乘加运算的能耗约为皮焦耳量级，而一次片外 DRAM 访问的能耗可达其数百倍。著名的"数据搬运能耗远高于计算能耗"结论，正是存算分离架构的直接后果。 典型能耗对比（数量级示意）： 32-bit 乘法运算 ≈ 3.1 pJ 32-bit SRAM 读取 ≈ 5 pJ 32-bit DRAM 读取 ≈ 640 pJ ← 搬运代价是计算的 200 倍 2.3 为什么视觉任务首当其冲 视觉任务天然具备三个特征，恰好全部踩在"存储墙"的痛点上： 数据量大 ：单帧高清图像就是数百万像素，视频流更是持续不断的数据洪流。 计算密集但结构规整 ：卷积、池化等操作高度重复，理论上适合并行加速，但受限于数据供给。 实时性要求高 ：自动驾驶的感知延迟以毫秒计，容不得数据在总线上反复排队。 于是，一个自然的追问浮现出来： 能不能让计算发生在数据所在的地方，而不是把数据搬到计算单元去？ 这正是存算一体（Compute-in-Memory, CIM）思想的起点。 下面这张图对比了传统架构与存算一体架构的数据流动路径，可以直观看出"搬运"与"就地计算"的差别： flowchart TB subgraph T["传统冯·诺依曼架构"] T1["传感器采集图像"] --> T2["数据写入存储器"] T2 --> T3["处理器读取数据"] T3 --> T4["运算后写回存储器"] T4 --> T2 end subgraph C["存算一体架构"] C1["传感器采集图像"] --> C2["数据直接进入计算阵列"] C2 --> C3["阵列内就地完成乘加"] C3 --> C4["输出结果"] end T4 -.->|"数据反复搬运，带宽与功耗瓶颈"| C1 3. 铁电光电传感器阵列的感存算一体方案 3.1 从"存算一体"到"感存算一体" 存算一体解决的是"算"与"存"的分离，但在视觉系统中，还有第三个环节——"感"。传统链路是：光电传感器感知光信号 → 转换为数字信号 → 传输到处理器 → 存储 → 计算。这条链路上，每一次跨环节的数据搬运都在消耗带宽与功耗。 感存算一体 （In-Sensor Computing）则更进一步：让传感器件本身兼具感知、存储与计算能力，在光信号转换为电信号的第一现场就完成初步的信息处理。这相当于把"眼睛"和"大脑"的一部分功能合并到了同一个物理器件上。 从"感"到"算"再到"存"的链路演进，可以用下图概括： flowchart LR subgraph P1["传统分离链路"] A1["光电感知"] --> A2["模数转换"] --> A3["传输至处理器"] --> A4["存储"] --> A5["计算"] end subgraph P2["感存算一体链路"] B1["光电感知 + 权重存储 + 模拟乘加"] --> B2["ADC 量化"] --> B3["输出结果"] end P1 -.->|"环节合并、搬运消除"| P2 3.2 铁电材料为何成为关键载体 铁电材料（如 HfO₂ 基铁电薄膜、P(VDF-TrFE) 等）之所以在这一方案中占据核心地位，源于其独特的物理特性： 非易失性多态存储 ：铁电极化具有多个可区分的稳定状态，且断电后保持，天然适合模拟突触权重的多值存储。 光电响应可调 ：铁电薄膜的光生载流子输运行为受极化状态调制，意味着"存储的权重"可以直接影响"感知到的信号"，实现感知与计算的物理耦合。 低功耗与 CMOS 兼容 ：HfO₂ 基铁电材料与标准 CMOS 工艺兼容，为大规模阵列集成提供了工艺基础。 3.3 阵列级架构：像素即计算单元 在铁电光电传感器阵列中，每个像素不再只是"记录光强"，而是一个可编程的计算节点： 单个像素单元结构示意： 光输入 → [铁电光电敏感层] → 光生电流 ↑ [铁电极化状态 = 存储的权重] ↓ 输出电流 = 光强 × 权重（模拟域乘加） 整个阵列以交叉阵列（Crossbar Array）方式组织，行线施加读电压、列线收集电流。根据基尔霍夫电流定律，同一列上所有像素的输出电流自动求和—— 加权求和这一神经网络最核心的运算，在物理层面被"免费"完成了 。 交叉阵列的物理结构如下图所示，行线施加读电压、列线汇聚电流，加权求和在列线上自然完成： flowchart TB V1["行线 V1"] --> R1["像素单元 W11"] V1 --> R2["像素单元 W12"] V2["行线 V2"] --> R3["像素单元 W21"] V2 --> R4["像素单元 W22"] R1 --> COL["列线电流汇聚 I = Σ(Vi × Wij)"] R3 --> COL R2 --> COL2["列线电流汇聚"] R4 --> COL2 COL --> OUT["模拟加权求和输出"] COL2 --> OUT 3.4 与传统方案的对比 维度 传统 CMOS 图像传感器 + 数字处理器 铁电光电感存算阵列 数据搬运 每帧全量传输至处理器 阵列内就地完成初步运算 权重存储 片外 DRAM / 片内 SRAM 铁电极化态，非易失 乘加实现 数字电路逐次计算 模拟域物理并行 功耗 高（搬运主导） 显著降低 精度 高（数字确定性） 受器件非理想性影响 这张表也点出了关键权衡：感存算一体用 模拟域的物理并行 换来了能效，但也必须面对模拟计算固有的精度与一致性问题——这一点将在后文的工程化挑战中展开。 4. 类脑视觉：感知图像的同时完成加权求和 4.1 生物视觉的启示 人眼视网膜并不是一台"相机"。它在上亿个感光细胞之后，紧接着就是多层神经元的局部处理：双极细胞、水平细胞、无长突细胞、神经节细胞……光信号在抵达大脑之前，已经完成了边缘增强、对比度自适应、运动检测等大量预处理。 这意味着， 生物视觉系统的"感知"与"计算"从一开始就是融合的 。视网膜本身就是一块高度并行的模拟计算芯片，功耗仅约 20 毫瓦，却能实时处理相当于每秒数十亿比特的视觉信息。 4.2 感算一体的物理实现路径 类脑视觉在硬件上的实现，核心是把神经网络的"加权求和"映射为器件的物理行为。以铁电光电阵列为载体，其工作流程可概括为： flowchart LR A["入射光图像"] --> B["铁电光电像素阵列"] B --> C["光生电流 = 光强 × 极化权重"] C --> D["列线电流汇聚（基尔霍夫定律）"] D --> E["模拟加权求和结果"] E --> F["ADC 量化 / 阈值判决"] F --> G["输出特征图或分类结果"] 整个过程中，图像从未被完整地"读出来再送进去"，而是在阵列内部就完成了第一层卷积或全连接运算。对于边缘设备而言，这省下的不只是功耗，更是延迟。 4.3 与脉冲神经网络（SNN）的天然契合 类脑视觉的另一条重要分支是事件驱动（Event-driven）的脉冲神经网络。动态视觉传感器（DVS）只在像素亮度变化时输出事件，天然稀疏；而铁电器件的多态特性又可模拟突触的可塑性。 二者结合，可以构建"感知—计算—存储"三位一体的脉冲视觉系统：事件流直接驱动阵列中的突触权重更新与膜电位累积，无需时钟同步的全帧处理。这种异步、稀疏、事件驱动的工作模式，正是类脑计算低功耗优势的根源。 事件驱动的脉冲视觉处理流程可以表示为： flowchart LR E1["DVS 像素亮度变化"] --> E2["输出稀疏事件流"] E2 --> E3["铁电突触阵列权重更新"] E3 --> E4["膜电位累积"] E4 --> E5{"是否超过阈值"} E5 -->|"是"| E6["发放脉冲"] E5 -->|"否"| E2 E6 --> E7["输出识别结果"] 4.4 一个直观的类比 如果把传统视觉系统比作"先拍照、再冲洗、再送去分析"的流水线，那么类脑视觉更像是"眼睛在看的瞬间，就已经完成了初步判断"。前者每一步都要搬运底片，后者则把判断能力直接长在了感光细胞上。 5. 存算一体芯片在边缘 AI 中的应用潜力 5.1 边缘 AI 的核心诉求 边缘 AI 设备的约束条件极为苛刻：功耗通常在毫瓦到瓦级，算力有限，且往往需要长期电池供电或能量采集供电。与此同时，应用场景却越来越"重"——智能门锁的人脸识别、可穿戴设备的健康监测、无人机的实时避障。 在这样的约束下， 能效比（TOPS/W） 成为比绝对算力更关键的指标。而这恰恰是存算一体的主战场。 5.2 典型应用场景 智能安防与门禁 ：人脸检测与识别可在传感器端完成初步特征提取，仅将特征向量上传，既降低功耗也保护隐私。 工业视觉质检 ：产线高速相机产生的海量图像，若在传感器端完成缺陷初筛，可大幅减少后端算力需求。 自动驾驶感知 ：多路摄像头数据在近端完成预处理与目标初筛，缓解车载计算平台的带宽压力。 可穿戴与植入式医疗 ：极低功耗的感存算阵列适合长期连续监测，如视网膜假体、智能隐形眼镜等前沿探索。 5.3 能效优势的量化视角 存算一体的能效优势主要来自两处"减法"： 减去权重搬运 ：权重存储在计算阵列内部，无需每次运算从存储器读取。 减去中间结果搬运 ：模拟域完成乘加后，只在必要时才做模数转换，中间特征图不必反复进出存储器。 在理想条件下，这两项减法可带来一到两个数量级的能效提升。当然，"理想条件"四个字背后，是一系列必须跨越的工程障碍。 6. 从器件到系统的工程化挑战 6.1 器件层面的非理想性 模拟计算的美好图景，首先要在器件的物理现实中接受检验： 器件间差异（Device-to-Device Variation） ：不同像素的铁电畴翻转行为存在离散性，导致相同权重在不同单元上表现不一致。 循环间波动（Cycle-to-Cycle Variation） ：同一器件多次写入同一权重，实际电导值也会有随机波动。 保持特性与疲劳 ：铁电极化随时间存在退极化风险，反复翻转也会带来疲劳失效。 线性度与对称性 ：理想的权重更新应线性且对称，而实际器件的电导更新曲线往往非线性、非对称，直接影响训练收敛。 6.2 阵列与电路层面的挑战 寄生电阻与线阻压降（IR Drop） ：大规模交叉阵列中，行线列线的寄生电阻会导致远端单元的实际电压偏离设计值，引入计算误差。 漏电流与串扰 ：未选通单元并非完全隔离，漏电流会污染列线电流求和结果，需要 selector 器件或补偿算法。 ADC/DAC 开销 ：模拟计算的优势可能被高精度模数转换的功耗与面积抵消，需要在精度与能效间权衡。 暗电流与光照非均匀性 ：光电传感引入的暗电流、响应非均匀性，会叠加到本就脆弱的模拟信号上。 6.3 算法与系统层面的协同 硬件非理想性无法完全消除，就必须在算法侧做补偿： 感知训练（Hardware-aware Training） ：在训练阶段就把器件噪声、非线性建模进前向过程，让网络学会"容忍"硬件缺陷。 误差补偿与校准 ：通过片上校准电路或软件后处理，修正系统性偏差。 软硬件协同设计 ：从网络结构（如量化位宽、稀疏度）到阵列映射策略，都需要与硬件特性联合优化。 6.4 生态与产业化门槛 技术之外，还有更现实的壁垒： 工艺良率与一致性 ：从实验室单器件到百万级阵列，良率与一致性是量产的前提。 设计工具链缺失 ：传统 EDA 工具对模拟存算阵列的支持尚不成熟，缺乏标准化的建模与仿真流程。 评测标准不统一 ：不同团队报告的能效、精度指标口径不一，难以横向比较。 应用验证周期长 ：从原型到车规、医疗等严苛场景的认证，往往需要数年时间。 从器件到系统的工程化挑战，可以归纳为一条逐层递进的关卡链： flowchart TD L1["器件层：差异 / 波动 / 疲劳 / 非线性"] --> L2["阵列层：IR Drop / 漏电串扰 / ADC 开销"] L2 --> L3["算法层：感知训练 / 误差校准 / 软硬协同"] L3 --> L4["产业层：良率 / 工具链 / 评测标准 / 认证周期"] L4 --> GOAL["可量产的边缘类脑视觉芯片"] 7. 总结与展望 回顾这条技术脉络，逻辑其实相当清晰： 冯·诺依曼架构的"存储墙"，本质是计算与存储分离带来的数据搬运代价；存算一体通过让计算发生在数据所在之处来消解这一代价；而感存算一体则进一步把"感知"也纳入同一物理载体，让图像在产生的瞬间就完成初步的加权求和。 铁电光电传感器阵列，正是这一思想在材料与器件层面的具体落点。它用铁电极化态存储权重，用光电响应承载输入，用基尔霍夫定律完成求和——把神经网络最核心的运算，交给了物理规律本身。 但我们也必须清醒地看到，从一枚性能优异的实验室器件，到一颗能在边缘设备中稳定运行数年的芯片，中间隔着器件非理想性、阵列寄生效应、算法协同、工艺良率与工具链生态等多重关卡。这条路上，材料学家、器件工程师、电路设计师与算法研究者必须紧密协作。 类脑视觉的终极图景，是让机器之眼像生物之眼一样——低功耗、低延迟、边看边想。存算一体与感存算融合，正是通往这一图景最值得期待的路径之一。它未必是唯一的答案，但很可能是最接近"仿生"本意的那一个。