Core Concepts
本文提出了一種基於脈衝神經元的 Gaussian Splatting 方法 (Spiking GS),透過抑制場景中低透明度部分 (LOPs) 的整合,實現更高效、更精確的三維場景表面重建。
研究背景
從多視角 RGB 圖像重建三維場景表面是計算機圖形學和視覺領域的一項挑戰性任務。
基於神經輻射場 (NeRF) 的方法雖然可以從隱式表示中提取幾何信息,但訓練時間長,限制了其應用場景。
三維高斯散佈 (3DGS) 在三維重建方面速度極快,但重建結果存在偏差,且在存儲和訓練方面效率低下。
研究問題
現有 3DGS 方法生成的結果中普遍存在低透明度部分 (LOPs) 的問題。
LOPs 的整合導致表面重建偏差和優化成本高。
研究方法
本文提出了一種基於脈衝神經元的 Gaussian Splatting 方法 (Spiking GS),透過抑制場景中低透明度部分 (LOPs) 的整合,實現更高效、更精確的三維場景表面重建。
Spiking GS 主要包含以下兩個創新點:
全局 FIF 神經元:應用於高斯透明度 α,透過學習一個共享的閾值來有效減少低透明度高斯 (LOGs) 的數量。
局部 FIF 神經元:應用於每個高斯表示函數,透過引入不連續性來減少高斯低透明度尾部 (LOTs) 在 3DGS 整合中的貢獻。
此外,Spiking GS 還採用了以下優化策略:
基於尺度的複製:在遮擋或稀疏觀測區域複製高斯,以彌補缺失的幾何信息。
正則化損失:包括閾值損失、尺度損失、深度失真損失、法線損失和總方差損失,以進一步提高重建精度。
實驗結果
在 NeRF-Synthetic、Dex-NeRF 和 DTU 等主流數據集上進行了實驗,結果表明 Spiking GS 在高斯數量更少的情況下,實現了與其他方法相當或更優的重建精度,並顯著優於其他方法在半透明場景下的性能。
Spiking GS 不依賴於任何來自預先訓練的幾何(深度或法線)估計模型的先驗信息。
研究結論
Spiking GS 透過減少 LOPs 的數量,有效提高了表面重建的精度和效率。
Spiking GS 在各種數據集上表現出穩健的性能,尤其是在具有半透明物體的場景中。
研究局限與未來方向
Spiking GS 在盲點區域的重建表面存在較大偏差,需要額外的幾何先驗信息。
由於網格提取方法的固有缺陷,高頻細節(例如非常薄的結構)難以重建。
雖然減少 LOPs 的數量通常可以提高表面重建的精度,但並非絕對如此。
Stats
Spiking GS 在 NeRF-Synthetic 數據集上使用的高斯數量比 2DGS 方法少近一半,在 Dex-NeRF 數據集上使用的高斯數量比 2DGS 方法少五倍。
在 NeRF-Synthetic 數據集上,Spiking GS 的平均 Chamfer 距離為 0.87 × 10−2,優於其他所有基於高斯的表面重建方法。