MagicQuill：蚂蚁开源的交互式AI 图像编辑工具，PS小白也能轻松上手

文章目录

MagicQuill是什么？

MagicQuill 是由蚂蚁技术研究院开源的一个交互式的 AI 图片编辑工具，可以快速、简单的实现智能化、精细化的图像编辑。即便是 PS 小白，也能轻松上手。用画笔涂抹加一句提示词，瞬间完成复杂繁琐的图像编辑功能。MagicQuill通过结合“编辑处理器” “绘画助手”和“创意收集器”三大功能，成功解决了图片的精准、高效编辑的难题。用户只需要用三种简单直观的魔法画笔就能轻松编辑图片：添加、删除和上色。系统通过多模态大语言模型 (MLLM) 动态预测用户的操作意图，并提供相关的编辑建议。

MagicQuill的主要特点

用户友好的界面：MagicQuill 提供简洁而功能强大的界面，用户只需轻松涂抹即可添加、删除或修改图像中的元素，适合所有创作者使用，无论是初学者还是专家。
AI驱动的智能建议：系统利用多模态大语言模型（MLLM）实时预测用户的编辑意图，避免了手动输入提示，提升了编辑效率。
精准的局部编辑：MagicQuill 允许用户精确地在图像的特定区域进行编辑，包括添加、删除和着色，并且具有强大的控制力，确保最终效果达到预期。

MagicQuill的核心组成

编辑处理器（Editing Processor）：系统的核心处理模块，主要负责确保高质量、可控的编辑生成，从而准确反映用户的编辑意图。它实现了两种基于笔刷的引导机制：用于结构性修改的涂鸦引导和用于修改颜色属性的颜色引导。该模块的技术设计受到ControlNet和BrushNet的启发，通过特殊的控制架构确保能够精确遵循用户引导的同时保持未修改区域不变，从而实现精确的图像编辑效果。

绘画助手（Painting Assistor）：其设计目标是预测和解释用户的编辑意图，有效减少用户在编辑过程中需要重复输入文本提示的繁琐步骤。该模块运用多模态大语言模型（MLLM）来解释用户的笔刷操作，并能够基于图像上下文自动预测相应的提示。通过引入创新的"你画我猜"任务，并利用模拟真实编辑场景的数据集进行微调，绘画助手实现了连续的编辑工作流，让用户无需手动输入提示即可进行持续的编辑操作。

创意收集器（Idea Collector）：专注于提供直观且易用的操作界面，它的设计兼容多个平台，包括Gradio和ComfyUI等。用户可以通过这个界面使用不同的笔刷进行绘制，操作各种笔画，并实现连续的编辑过程。创意收集器的设计理念是让用户能够轻松自如地实现各种编辑操作，为整个系统提供一个用户友好的交互入口，显著提升图像编辑的效率和用户体验。