2024 年 5 月，阿米巴资本被投企业清智元视在武汉光博会上正式线下发布全球首款像素级控光影像整机 MetaCam 4M。MetaCam 4M 除面向终端应用场景外，还开放了众多硬件 SDK 用于计算成像领域的相关开发。

让我们一起回顾这场面向计算成像领域的开发者大会，余下为演讲全文：

▋ 计算成像何去何从?

大家好，今天我们团队将发布一款新型的相机，这个独特的物种首次以产品化的形态出现在这个世界上。我们叫它 MetaCam——全球首款像素级控光影像整机。

在正式介绍这款相机之前，我们先聊一聊当下的影像领域。无论是在学术界还是工业界，大家普遍认为我们已经进入了计算成像的时代。成百上千的研究团队正在致力于该领域的探索和研究。

计算成像的核心理念，是从光学源头开始，全链路设计整个成像pipeline。这对相关的从业人员提出了极高的要求，不仅需要编写代码和算法，还要购买器件并手工组装光路，在各种不稳定的硬件设备中反复调试，以寻找那一瞬间的最优状态。令人遗憾的是，尽管计算成像领域蓬勃发展，在纯仿真环境中成像质量非常出色，但应用到实际硬件中，各种误差叠加，成像质量通常不尽如人意。

纵览这十余载计算成像领域的科研结果，我们发现大多数展示的素材，都是低分辨率且充斥着鬼影与噪声的成像结果。与动辄百万、千万像素的传统影像设备相比，这种成像效果几乎没有优势，许多本有价值的创新也因为这种难以使用的成像效果被埋没在时间的尘埃中。于是我们不禁思考，这里面的本质问题是什么呢？

我们认为，在计算成像这个需要光、机、电、算协同设计的核心思想指导下的领域，不同技术范畴的基础硬件发展不在同一水平上，尤其是光机硬件和算法运行的计算平台之间的差异尤为明显。

算法和软件方面的差异相对容易解决，因为有成熟的、可重构性极高的硬件平台（如 GPU、CPU）可供使用。用户可以随心所欲地修改算法，修改后没有 Bug 就能稳定工作。同一套代码，小红和小明运行的结果就是相同的。

但光学系统却不同。由于缺乏可重构、可调制的成像系统供使用与优化，每个实验室、每个人都需要自行购买器件与手工搭建光路。搭建结果千差万别，全凭个人手艺。今年的学生搭建得好，成像效果就好一些；明年学生毕业了，手艺失传，成像效果就变差了。而且，由于系统中需要加入许多新的光学器件，这些新器件引入的像差无法通过从第三方平台购买单镜片来消除，成像效果从根本上就无法与主流设备媲美。

作为一个研究背景均为计算成像的创业团队，自团队组建之初，我们便在思考一个问题：既然我们已踏入业界，能否采用业界的思路，为计算成像这个我们所热爱的领域做出一点贡献？把那些学术界不好做的 dirty work，在各个工厂、产线上一点点把它打磨好，从而使该领域的研究人员能够将全部精力集中在更具价值和意义的研究上。

▋ 光学域像素级编程控制多任务多场景自由切换

所以，我们决定实现以下目标：首先，打造一款画质最优的硬件，能够与商用产品相媲美；其次，我们愿意开放所有的成像建模，以帮助大家进行全链路优化；最后，我们计划构建一个免费的算法评测平台，帮助直观地进行算法对比。后两个目标主要涉及软件，较易实现。关键在于硬件模组的开发，我们需要确定从哪个模块开始。

我们认为，这个硬件模组要覆盖已有的主流研究领域，能够在帧率、动态范围、信噪比等主要性能指标上实现提升。这意味着它必须是一个可重构的光学系统，能够在多目标间自由切换。此外，它还需要具备与 GPU、CPU 相匹配的像素级处理精度和能力，以满足计算成像全链路优化的核心需求。

为满足这些诉求，MetaCam 应运而生。

在 MetaCam 中，我们重新设计了光学系统，引入了空间光调制器，实现了数百万像素的点对点高精度光强控制，即像素级控光。

三大技术创新

这种像素级的调控速度，快到难以想象，每秒的调控速度最高可达 12,987帧。也就是说，我们不仅能在微米级的空间尺度控光，还能在微秒级的时间尺度上控光，真正实现了时空性能的极限。

当然，看似我们只是在成像系统中加入了一个新的光学器件，但这个光学器件，将会给传统的成像系统带来指数级上涨的光学设计难度。为了保证能和传统相机有相同的影像质量，我们自主研发与设计了 27 片玻璃镜头，保证全可见光波段的影像质量。

全链路协同优化

作为计算成像领域的从业者，我们深知要实现优良的效果必须进行全链路的协同设计与优化。这意味着算法端需要获取硬件模组的精确建模。因此，我们的每一台相机在出厂前都会进行光学误差和传感器噪声的精确标定，并将这些数据提供给用户，使他们能够充分利用硬件的所有信息，将理想中的成像系统真正实现。

此外，我们还提供自研究的算法测试平台，该平台集成了各领域的基准算法，方便用户在平台上直观地比较不同算法的优劣，评估改进成果。

▋ MetaCam 助力多项视觉场景应用

作为一个底层相机开发平台，通过和海内外的多家高校、研究单位进行联合开发，MetaCam 已在多个场景中得到了应用。

视频压缩感知

首先，在视频压缩感知这一计算成像领域里，MetaCam 展现了显著的能力。通过调制器的高速编码，低帧率的传感器可以被转化为高速相机，在光学域完成视频压缩。

还记得我们最初展示的那个视频吗？那是我们的用户使用自己设计的光路达到的成像效果。在采用 MetaCam 之后，成像性能实现了本质的飞跃。此时，大家可能会觉得，256x256 的分辨率仍然较低。

我们可以自信的说，在使用 MetaCam 后，视频压缩感知领域可以仅用竞品 1/10 的数据量，实现一个完全相同的影像质量，真正将计算成像的科研成果变成一个可以商用的设备仪。

高动态范围成像

MetaCam 的能力远不止于此。在高动态范围（HDR）领域，也有用户利用它进行有趣的实验。MetaCam 本质上是像素级的快门，因此可以摆脱卷帘快门和全局快门的局限，采用纯光学的 HDR 方案。

用户可以通过自设计的算法，自适应地延长暗区的曝光时间并压制亮区的曝光，从而实现 120dB 的高动态范围成像效果，无任何鬼影现象。

暗光成像

MetaCam 的用户运用这种像素级快门，还可以在暗光场景中有很好的表现。

我们的用户实现了纯光学方案的视频级暗光成像：静态暗区通过增加曝光提升信噪比，运动区域则会自适应识别，去除运动模糊。

我们欢迎计算成像领域的研究人员使用我们的设备，我们将尽最大所能保证基础硬件的稳定性与画质性能，让各位将精力集中在最有价值的科学突破上。

最后，我们希望和各位同行共进，一起将计算成像的技术从文章里带到我们的生活中，让这些有趣的技术，拥有属于自己的一方天地。