一、引言 

不可否認的是，當前主流的端到端光學算法聯合設計多出自國外研究團隊，國内在相關領域仍需加強。但國内相關成像産業發達，尤其是手機、工業、車載等領域，新技術的發展往往容易得到快速的産業化應用，并反向推進學術進展，形成良性循環。

基于此，奕目科技聯合點昀技術、Google、Snap、同濟大學、阿蔔杜勒國王科技大學和香港中文大學研究團隊在最新論文著作《最新綜述：計算成像前沿進展》中，以計算成像的新設計方法、新算法和應用場景為主線，通過綜合國内外文獻和相關報道來梳理該領域的主要進展，從端到端光學算法聯合設計、高動态範圍成像、光場成像、光譜成像、無透鏡成像、低照度成像、三維成像、計算攝影等研究方向，重點論述計算成像領域的發展現狀、前沿動态、熱點問題和趨勢。

 二、内容介紹

本文圍繞端到端光學算法聯合設計、高動态範圍成像、光場成像、光譜成像、無透鏡成像、偏振成像、低照度成像、主動三維成像、計算攝影等具體實例全面闡述當前計算成像發展現狀、前沿動态，熱點問題、發展趨勢和應用指導。

1.高動态範圍成像

高動态範圍成像（high dynamic range imaging，HDR）在計算圖形學與攝影中，是用來實現比普通數位圖像技術更大曝光動态範圍（最亮和最暗細節的比率）的技術。高動态範圍成像旨在獲取更亮和更暗處細節，從而帶來更豐富的信息，更震撼的視覺沖擊力，不僅是目前手機相機核心競争力之一，也是工業、車載相機的基本要求。

2.光場成像

光場成像（light field imaging，LFI）能夠同時記錄光線的空間位置和角度信息，是三維測量的一種新方法。經過近些年的發展，逐漸成為一種新興的非接觸式測量技術，自從攝影被發明以來，圖像捕捉就涉及在場景的二維投影中獲取信息。然而，光場不僅提供二維投影，還增加了另一個維度，即到達該投影的光線的角度。光場擁有關于光陣列方向和場景二維投影的信息，并且可以實現不同的功能。例如，可以将投影移動到不同的焦距，這使用戶能夠在采集後自由地重新聚焦圖像。此外，還可以更改捕獲場景的視角。目前已逐漸應用于工業、虛拟現實、生命科學和三維流動測試等領域，幫助快速獲得真實的光場信息和複雜三維空間信息。

3.光譜成像

光譜成像（spectrum imaging）。光譜成像通常分為掃描式和快照式，其中快照式因其隻需單次曝光就可以獲取整個數據立方體信息，在應用上更具潛力和前景，因此當前計算機視覺和圖形學關于光譜成像的研究也主要集中在快照式光譜成像技術上。快照式光譜成像按照實現方式不同，可以分為分孔徑光譜成像，分像面光譜成像，孔徑/像面編碼光譜成像等。光譜成像可作為科學研究、工程應用的強有力工具，已經廣泛應用于軍事、工業、民用等諸多領域，對促進社會經濟發展和保障國家安全具有重要作用。例如，光譜成像對河流、沙土、植被、岩礦等地物都具有很好的識别效果，因此在精準農業、環境監控、資源勘查、食品安全等諸多方面都具有重要應用。特别地，光譜成像還有望用于手機、自動駕駛汽車等終端。當前，光譜成像已成為計算機視覺和圖形學研究的熱點方向之一。

4.無透鏡成像

無透鏡成像（lensless imaging）技術為進一步壓縮成像系統的尺寸提供了一種全新的思路（Boominathan等，2022)。無透鏡成像摒棄了傳統透鏡中點對點的映射模式，而是将物空間的點投影為像空間的一種特殊的點擴散函數，不同物點在像面疊加，形成了一種人眼無法識别，但計算算法可以複原的原始數據。這種無透鏡成像方式在光學硬件上對圖像信息進行編碼，并在計算算法中解碼，因此形成了光學和算法的聯合設計。因此，在可穿戴相機、便攜式顯微鏡、内窺鏡、物聯網等應用領域極具發展潛力。另外，其獨特的光學加密功能，能夠對目标中敏感的生物識别特征進行有效保護，在隐私保護的人工智能成像方面也具有重要意義。

5.低光照成像

低光照成像（low light imaging）也是計算攝影裡的研究熱點一。手機攝影已經成為了人們用來記錄生活的最常用的方式之一，手機的攝像功能也是每次發布會的看點，夜景模式也成了各大手機廠商争奪的技術制高點。不同手機的相機在白天的強光環境下拍照差異并不明顯，然而在夜晚弱光情況下則差距明顯。其原因是，成像依賴于鏡頭收集物體發出的光子，且傳感器由光電轉換、增益、模數轉換一系列過程會有不可避免的噪聲；白天光線充足，信号的信噪比高，成像質量很高；晚上光線微弱，信号的信噪比下降數個數量級，成像質量低；部分手機搭載使用計算攝影算法的夜景模式，比如基于單幀、多幀、RYYB陣列等的去噪，有效地提高了照片的質量。但目前依舊有很大的提升空間。低光照成像按照輸入分類可以分為單幀輸入、多幀輸入( burst imaging)、 閃光燈輔助拍攝和傳感器技術。

6.主動三維成像

主動三維成像（active 3D imaging）以獲取物體或場景的點雲為目的，被動方法以雙目立體匹配為代表，但難以解決無紋理區域和有重複紋理區域的深度。主動光方法一般更為魯棒，能夠在暗處工作，且能夠得到稠密的、精确的點雲。主動光方法根據使用的光的性質可分為基于光的直線傳播如結構光，基于光速如Time-of-fligt（TOF），包括連續波TOF（iTOF）和直接TOF（dTOF），和基于光的波的性質如幹涉儀，其中前兩種方法的主動三維成像已廣泛使用在人們的日常生活中。

  三、總結

端到端光學算法聯合設計旨在打破傳統的成像系統中，光學、傳感器、圖像後處理算法以及顯示處理等環節之間的壁壘，降低每個環節對人經驗的依賴，為諸多場景提供傻瓜化的全新解決方案。

展望未來，雖然端到端成像技術仍處于早期階段，但已成為各大相關産業競争焦點，短期看來，未來三年便可得到相關産業應用。長期看來，整體的趨勢不僅是光學、傳感器、算法和處理器的聯合設計優化，而且朝着集成化發展，尤其是傳感器自身對ISP的集成和光學配合，會大幅降低整個光學、攝像模組行業的生産成本和降低下遊廠商對高性能處理器的依賴和提高自由度，有望對整體成像産業鍊進行重新洗牌，突破成本、功能瓶頸。

關于論文更多細節，點擊：最新綜述：計算成像前沿進展

關于奕目科技

奕目(上海)科技有限公司成立于2019年，通過長期研發積累，發展了全新一代光場三維檢測技術。通過仿生昆蟲複眼成像，将幾萬至幾千萬個微小複眼傳感器精密封裝成一台相機，實現了“單相機、單次拍攝，三維成像”，解決了“透、薄、微”三維尺寸、缺陷快速精密檢測的難題。

奕目科技是國内率先全面掌握光場相機光學設計、微納加工、封裝制造、算法軟件等全鍊路核心技術的高新技術企業，具備工業級光場相機規模化、标準化量産能力，并且光場系統精度、速度位于國際前列。主要産品用于泛半導體、锂電、智能穿戴、3C、微納三維檢測，是國際領先的光場相機供應商。