​腾讯混元开源定制化图像生成插件 InstantCharacter

腾讯混元宣布开源定制化图像生成插件 InstantCharacter，并实现了对开源文生图模型 Flux 的兼容。这一插件的推出，标志着图像生成技术在角色一致性和图像生成精确度上取得了重大突破，为内容创作者提供了更高效、更灵活的创作工具。

InstantCharacter 的核心优势在于能够确保角色在不同场景中的一致性和真实性，同时具备高画质和精度，以及灵活的文本编辑性。用户可以通过简单的提示词，让任何角色以想要的姿势出现在任何地方。例如，只需一张图片和一句描述，如“一只兔子在厨房拿着勺子喝汤”，就能生成相应的图像。这种能力在多轮文生图场景中尤为重要，解决了角色一致性这一难题。

在技术实现上，InstantCharacter 利用 DiT 模型构建了一个创新的框架，引入了一个可扩展的适配器（adapter），采用多个 transformer encoder，能够有效处理开放域的角色特征，并与现代扩散变换器的潜在空间无缝交互。这种设计使得系统能够灵活适应不同的角色特征，同时保持高度的一致性。

为了有效训练这一框架，腾讯混元团队构建了一个包含千万级样本的大规模角色数据集。数据集被系统地组织为成对（多视角角色）和非成对(文本 - 图像组合)子集，使得身份一致性和文本可编辑性能够通过不同的学习路径同时优化。这种双数据结构的设计，进一步提升了模型的泛化能力和图像质量。

在实际测评中，InstantCharacter 的效果媲美 GPT-4o 等业界领先模型。它能够处理多种风格和复杂度的图像，适用于连环画、影片创作等多种场景。通过 InstantCharacter，内容创作者可以让生成的角色保持高度一致，更高效地创作出符合需求的视觉作品。

- 项目官网:https://instantcharacter.github.io/

- 代码:https://github.com/Tencent/InstantCharacter

- Hugging Face Demo:https://huggingface.co/spaces/InstantX/InstantCharacter

- 论文:https://arxiv.org/abs/2504.12395