论文地址：NVS-MonoDepth: Improving Monocular Depth Prediction with Novel View Synthesis (arxiv.org)

选择：

• 就目前而言，其在多项评估中排名居前。

灵感、动机，痛点：

• 作者依据前人的工作发现：①利用NVS（novel view sythesis）证实了精确的集合先验能够很好的提高合成质量；②即使没有深度监督，也可以获得粗略但合理的深度估计，并且深度估计网络可以从端到端视图合成管道获得监督信号；③视点约束可以引导网络学习图像的深度。
• 本文聚焦于单眼深度估计，提出一个新的单目深度预测结构训练的管道——使用新的视点一致性约束作为常见的深度监督以外的监督信号。管道使用了两个相邻的视点进行训练，这两个视点在训练期间同时进行预测，以便通过RGB图像和深度数据的可微渲染提供进一步的网络监督。
• 本文方法的主要区别：显式的使用新的视点合成创建立体/多视点深度预测，并且仅在训练时使用它们来保持一致性。新的视点合成方法使用的是NeRF，不太适合本文目标单目深度问题，因此本文没有努力实现完美的新颖视图合成，而只是将该技术用作更好的网络训练工具。
• 与传统的监督训练相比，这种新的训练过程，有效提高了绩效。

贡献：

• 提出一种新的训练方法，利用额外的损失函数来改进单目深度估计。其关键思想是通过新颖的视点合成进行视点一致性约束，测试仅需要单目输入。

网络架构：

来自源视点（RGB 1）的RGB图像用作深度网络（DepNet）的输入。输出深度预测与已知的相机内部特征和姿势（外部特征）一起用于创建三维点云。然后将该3D表示直接重新投影到目标视点（RGB 2），以获得初始2D投影，该投影用作合成网络（SynNet）的输入。SynNet主要填充因重投影而产生的遮挡和孔洞，以便估计目标视点（RGB 2）的完整RGB图像。最后，目标视点的合成RGB再次用作同一单目深度网络（DepNet）的输入。对于第二个RGB视点的深度预测，我们有一个额外的损失函数来监督深度预测网络。

训练和评估：

文章考虑了用于单眼深度估计的各种数据集。因为本文提出使用具有重叠视点的多个输入图像进行训练，因此我们专注于具有地面真实深度的多视图数据集。