研究人員提出首個(gè)可以渲染高動(dòng)態(tài)范圍（High Dynamic Range, HDR）自然光的 3DGaussian Splatting 模型 HDR-GS，以用于新視角合成（Novel View Synthesis, NVS）。

該方法可以根據(jù)用戶輸入的曝光時(shí)間來改變渲染場(chǎng)景的光照強(qiáng)度，同時(shí)還可以直接渲染高動(dòng)態(tài)范圍場(chǎng)景。比當(dāng)前最好的算法 HDR-NeRF 速度上要快 1000 倍。

常見的 RGB 圖像大都為低動(dòng)態(tài)范圍（Low Dynamic Range, LDR），亮度的取值范圍在 [0,255] 之間。

然而人眼對(duì)亮度的感知范圍要比 RGB 圖像寬廣得多，一般為 [0,+∞]，導(dǎo)致 LDR 圖像很難反映真實(shí)場(chǎng)景的亮度范圍，使得一些較暗或者較亮的區(qū)域的細(xì)節(jié)難以被捕捉，高動(dòng)態(tài)范圍（High Dynamic Range，HDR）圖像應(yīng)運(yùn)而生，具有更廣的亮度范圍。

新視角合成（Novel View Synthesis，NVS）任務(wù)是在給定「一個(gè)場(chǎng)景的幾張不同視角圖像，并且相機(jī)位置已知」的情況下，合成其他新視角的場(chǎng)景圖像。

同比于 LDR NVS，HDR NVS 能更好地?cái)M合人類視覺，捕獲更多的場(chǎng)景細(xì)節(jié)，渲染更高質(zhì)量、視覺效果更好的圖片，在自動(dòng)駕駛、圖像編輯、數(shù)字人等方面有著十分廣泛的應(yīng)用。

當(dāng)前主流的 HDR NVS 方法主要基于神經(jīng)輻射場(chǎng)（Neural Radiance Fields, NeRF），然而，NeRF 的 ray tracing 加 volume rendering 機(jī)制都十分耗時(shí)，常常需要十分密集地采集射線，然后在每一條射線上采集多個(gè) 3D 點(diǎn)，對(duì)每一個(gè) 3D 點(diǎn)過一遍 MLP 來計(jì)算體密度和顏色，嚴(yán)重拖慢了訓(xùn)練時(shí)間和推理速度。當(dāng)前最好的 NeRF 算法 HDR-NeRF 需要耗費(fèi) 9 小時(shí)來訓(xùn)練一個(gè)場(chǎng)景，8.2 秒來渲染一張尺寸為 400x400 的圖像。

為了解決上述問題，清華大學(xué)、上海交通大學(xué)、香港科技大學(xué)、約翰霍普金斯大學(xué)的研究人員提出了首個(gè)基于 3DGS 的方法 HDR-GS，用于三維 HDR 成像；設(shè)計(jì)了一種有著雙動(dòng)態(tài)范圍的三維高斯點(diǎn)云模型，同時(shí)搭配兩條平行的光柵化處理管線以用于渲染 HDR 圖像和光照強(qiáng)度可控的 LDR 圖像。

研究人員還重新矯正了一個(gè) HDR 多視角圖像數(shù)據(jù)集，計(jì)算得到的相機(jī)參數(shù)和初始化點(diǎn)云能夠支持 3DGS 類算法的研究。HDR-GS 算法在超過當(dāng)前最好方法 1.91 dB PSNR 的同時(shí)僅使用 6.3% 的訓(xùn)練時(shí)間并實(shí)現(xiàn)了 1000 倍的渲染速度。

一演示如下：

對(duì)比近期出現(xiàn)的 3D Gaussian Splatting（3DGS），雖然能在保證圖像質(zhì)量的同時(shí)也大幅提升了訓(xùn)練和渲染速度，但卻很難直接應(yīng)用到 HDR NVS 上，仍然存在三個(gè)主要問題：

1. 渲染的圖片的動(dòng)態(tài)范圍依舊是 [0,255]，仍舊屬于 LDR；

2. 直接使用不同光照的圖片來訓(xùn)練 3DGS 容易導(dǎo)致模型不收斂，因?yàn)?3DGS 的球諧函數(shù)（Spherical Harmonics，SH）無法適應(yīng)光照的變化，時(shí)常會(huì)導(dǎo)致偽影、模糊、顏色畸變等問題；

3. 常規(guī)的 3DGS 無法改變渲染場(chǎng)景的亮度，極大限制了應(yīng)用場(chǎng)景，尤其是在 AR / VR、電影、游戲等領(lǐng)域，經(jīng)常需要改變光照條件來反映人物的心情與環(huán)境氛圍。

方法架構(gòu)

研究人員首先使用 Structure-from-Motion（SfM 算法來重新矯正場(chǎng)景的相機(jī)參數(shù)并初始化高斯點(diǎn)云，然后將數(shù)據(jù)喂入到雙動(dòng)態(tài)范圍（Dual Dynamic Range，DDR）的高斯點(diǎn)云模型來同時(shí)擬合 HDR 和 LDR 顏色，使用 SH 來直接擬合 HDR 顏色。

再使用三個(gè)獨(dú)立的 MLP 來分別對(duì) RGB 三通道做 tone-mapping 操作，根據(jù)用戶輸入的曝光時(shí)間將 HDR 顏色轉(zhuǎn)為 LDR 顏色，然后將 3D 點(diǎn)的 LDR 和 HDR 顏色喂入到平行光柵化（Parallel Differentiable Rasterization, PDR）處理管線來渲染出 HDR 和 LDR 圖像。

實(shí)驗(yàn)結(jié)果

定量結(jié)果

合成實(shí)驗(yàn)和真實(shí)實(shí)驗(yàn)的定量對(duì)比結(jié)果分別如表 1 和表 2 所示，HDR-GS 在性能上顯著超過之前方法的同時(shí)，訓(xùn)練和推理也分別達(dá)到了 16 倍速和 1000 倍速。

視覺結(jié)果

LDR NVS 的視覺對(duì)比結(jié)果如圖 4 和圖 5 所示，HDR NVS 的視覺對(duì)比結(jié)果如圖 6 所示。HDR-GS 能夠渲染出更豐富更清晰的圖像細(xì)節(jié)，更好地捕獲 HDR 場(chǎng)景并能靈活地改變 LDR 場(chǎng)景的光照強(qiáng)度。

參考資料：

https://arxiv.org/abs/2405.15125