2D升维成3D的过程中，可见部分和不可见部分可以分开建模

原标题：一秒内从单个图像生成3D对象，支持实时编辑，Stability AI推出3D生成新方法SPAR3D
文章来源：机器之心
内容字数：5027字

Stability AI发布全新3D生成模型SPAR3D：高效、精确、可编辑

Stability AI在CES上发布了其最新的3D生成模型SPAR3D（Stable Point Aware 3D），该模型采用两阶段方法，在速度和精度方面取得了显著突破，为游戏开发者、产品设计师和环境构建者提供了全新的3D原型设计方式。

1. SPAR3D的核心优势

SPAR3D的核心优势在于其高效性、精确性和可编辑性。它能够在不到一秒钟的时间内从单个图像生成高度详细的3D网格，包括通常隐藏的区域。此外，SPAR3D允许用户直接编辑生成的点云，实现前所未有的控制，例如删除、复制、拉伸、添加特征或重新着色点。

2. 两阶段重建系统

SPAR3D采用两阶段重建系统：第一阶段使用轻量级点扩散模型生成稀疏3D点云，速度快；第二阶段使用采样点云和输入图像创建高度详细的网格。这种设计将复杂的不确定性计算集中在点采样阶段，网格化阶段则专注于细节生成，从而提升了整体效果和计算效率。

3. 点云作为中间表示的优势

选择点云作为连接两个阶段的中间表示是SPAR3D的关键。点云是计算效率最高的3D表示方式之一，其缺乏连接性的特点也方便了用户编辑。用户可以在低分辨率点云上轻松进行局部编辑，然后生成符合需求的网格。

4. 性能超越现有方法

在GSO和Omniobject3D数据集上的评估结果表明，SPAR3D在大多数评估指标上都显著优于其他回归或生成式基线方法。相比其他方法生成的3D模型，SPAR3D能更忠实地重现输入图像，并更合理地生成被遮挡部分的细节，展现出其在真实场景图像上的出色泛化性能。

5. 可编辑性与消融实验

SPAR3D的可编辑性是其一大亮点，用户可以灵活地修改重建网格的不可见部分。通过消融实验，研究团队验证了点采样阶段的关键作用，证明了该两阶段设计的有效性。

6. 可见部分与不可见部分的分离建模

SPAR3D的一个关键设计理念是将单目3D重建中的不确定部分（背面建模）和确定性部分（可见表面建模）有效分离。通过一个特殊实验（将不匹配的数据输入系统），研究团队验证了系统能够分别处理可见和不可见部分的重建工作。

总而言之，SPAR3D 凭借其高效的两阶段方法、基于点云的中间表示以及强大的可编辑性，在单图像3D重建领域取得了显著进展，为3D内容创作带来了新的可能性。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台