Hyper-SD：字节跳动推出的基于SD的图像生成框架

AIHubAI布道师

文章目录

Hyper-SD是什么？

Hyper-SD 是一个由字节跳动推出的新颖的扩散模型蒸馏框架，它通过轨迹分段一致性蒸馏和人类反馈学习，显著提升了低步数下的图像生成性能。该模型结合了轨迹保持和重构策略，实现了快速且高质量的图像生成，同时支持多种风格和可控生成，为生成式AI领域带来新SOTA性能。

与现有的扩散模型加速算法相比，该方法取得了卓越的加速效果。经过大量实验和用户评测的验证，Hyper-SD 在 SDXL 和 SD1.5 两种架构上都能在 1 到 8 步生成中实现 SOTA 级别的图像生成性能。

轨迹分段一致性蒸馏：通过将扩散模型的时间步长划分为多个段落，并在每个段落内保持一致性，Hyper-SD 能够在减少去噪步数的同时，保持图像生成的高质量。
人类反馈学习（RLHF）：结合人类审美偏好和现有视觉感知模型的反馈，Hyper-SD 能够生成更符合人类审美的图像，提升生成效果。
一步生成强化：使用分数蒸馏技术，Hyper-SD 增强了模型在单步生成中的性能，这对于需要快速生成图像的场景非常有用。
低步数推理：Hyper-SD 实现了在极少的步数内进行高效图像生成，显著减少了计算资源的消耗，同时保持了图像质量。
风格兼容性：训练得到的加速模型能够适应不同风格的图像生成，增加了模型的通用性和适用性。
可控图像生成：Hyper-SD 能够与现有的 ControlNet 等控制网络兼容，实现低步数下的高质量可控图像生成。
SOTA性能：在 SDXL 和 SD1.5 两种架构上，Hyper-SD 都能实现 SOTA 级别的图像生成性能。
开源：Hyper-SD 的开源性质促进了生成式 AI 社区的发展，允许研究人员和开发者进一步探索和改进模型。
统一的低步数推理模型：Hyper-SD 实现了理想的全局一致性模型，无需针对每个特定的步数训练 UNet 或 LoRA，简化了模型训练和应用的复杂性。