近日，中国香港大学、哈尔滨工业大学和浙江大学的研究团队联合发布了一项名为 “OmniPart” 的创新技术。这项技术致力于解决当前主流3D 生成模型在构建细节方面的不足，使得生成的3D 模型不仅外观逼真，而且具备清晰的部件结构。
现有的3D 生成模型如 DreamFusion 和 TRELLIS 等，尽管能够生成看似完整的3D 形状，但缺乏内在的零件结构，难以满足细节修改的需求。例如，在调整一个3D 角色的手臂或机械装置的齿轮时，使用这些模型就会显得十分棘手，因为它们无法提供对零件级别的精准控制。为了解决这一问题，OmniPart 的提出便是为了实现部件之间的独立性，同时又能形成一个合理的整体。
OmniPart 采用了一种创新的两阶段生成框架。第一阶段是结构规划，通过自回归模型与灵活的2D 部件掩码，规划出3D 部件的空间布局。自回归模型会根据已有的序列信息逐步生成各个部件的边界框，边界框的生成既灵活又高效。为了确保生成的边界框能够覆盖对应的物体部件，OmniPart 还设计了一种新颖的部件覆盖损失函数，从而提升生成效果。
在第二阶段，OmniPart 则根据第一阶段生成的部件布局，利用预训练的整体3D 生成器 TRELLIS 高效生成所有部件的高质量3D 表示。该阶段特别关注每个部件的语义感知和整体结构一致性，以确保生成的部件在语义上是独立的，而在结构上又能够紧密相连。此外，OmniPart 还引入了一种体素丢弃机制，进一步提升了模型的准确性与效率。
这一技术的推出，标志着3D 建模领域的一次重要进步，有望在游戏开发、动画制作等多个创意领域广泛应用。
项目:https://omnipart.github.io/
划重点:
🌟 OmniPart 技术实现了3D 模型部件的独立性，使得创意设计更加灵活。
🔍 采用自回归模型与部件掩码的两阶段生成框架，提升3D 建模的精确度。
🚀 创新机制如体素丢弃，增强了模型在复杂场景中的应用效果。
