Stable Diffusion是由初创公司Stability AI和来自慕尼黑大学以及Runway的研究人员在2022年发布的文本到图像的生成模型,支持文生图、图生图、修改图像、填充低分辨率图像等功能。由于其免费开源,并且生成的图片质量较高,因此广受创作者的喜爱。本篇文章将讲解如何在线和本地运行Stable Diffusion,让你快速上手生成想要的图片。
如何在线运行Stable Diffusion
DreamStudio
DreamStudio是StabilityAI公司官方推出的方便用户生成图像的网站应用程序,基于Stable Diffusion模型,用户可输入自然语言和更改调节参数控件来创建自定义图像,还支持API访问以在自己开发的应用程序或机器人中使用。注册登录DreamStudio后,可以获得免费赠送的25积分,大约可以生成30张标准图像,若需更多的生成次数,可付费购买,10美元可购买1000积分。
官网地址:https://beta.dreamstudio.ai/generate
Clipdrop Stable Diffusion XL
Clipdrop是StabilityAI推出的一系列AI图像处理工具套件,支持图片抹除、图片放大、图片打光、背景移除、背景替换、缩放填充等AI图片功能。除了这些功能外,Clipdrop支持了最新的Stable Diffusion XL版本,用户可以访问其网站,输入prompt文本描述,选择图像风格,点击Generate按钮即可生成图片。目前,免费版的Clipdrop允许用户每天使用Stable Diffusion XL生成400张图片,右下角会带有个Clipdrop的小水印。如果想要更多的生成次数和去除水印,可以考虑升级到Clipdrop的高级版本,付费后可以每天生成1500张图片,并且可以无限使用其他的AI功能。
官网地址:https://clipdrop.co/stable-diffusion
Hugging Face
Hugging Face是知名的开源AI模型社区,平台上汇集了全球各大知名AI模型,用户可以通过Hugging Face下载AI模型的数据集,也可以直接在线运行查看实时效果。Hugging Face上的Stable Diffusion由StabilityAI官方创建,目前是2.1版本,用户可直接输入描述,点击Generate image便可以生成图片。由于Hugging Face的用户量巨大,所以生成图片的速度可能较慢,大概需要10秒及以上。
官网地址:https://huggingface.co/spaces/stabilityai/stable-diffusion
Replicate
Replicate是一个帮助用户快速运行开源机器学习模型的平台,如语言模型、视频创作和编辑、图片分辨率提高、图像修复、图片文字互转等,用户只需添加几行代码,便可以快速开发属于自己的AI应用。Replicate的平台上同样提供了Stable Diffusion的在线运行环境,相比于Hugging Face,Replicate的生成速度更快。
官网地址:https://replicate.com/stability-ai/stable-diffusion
如何本地运行Stable Diffusion
如果你愿意动手折腾,想对提供的输入对数据模型进行微调,或者出于隐私安全,那么在自己的本地电脑上运行Stable Diffusion模型,可能是个不错的选择。以下是本地运行Stable Diffusion的步骤:
第1步:安装Python和Git
安装Python 3.10.6版本,你可以从Python的官方网站上下载安装,安装完毕后可以打开命令行终端,输入python -version
以检查Python版本。接下来,便是安装代码管理工具Git,可以从Git的官网下载安装包。
第2步:注册GitHub和Hugging Face账号
GitHub是用于托管软件代码,而Hugging Face则是开源AI模型社区,注册这两个平台的账号,可以方便你后续代码的同步管理,以及下载Stable Diffusion模型。
第3步:克隆Stable Diffusion Web-UI到本地电脑
Stable Diffusion Web-UI是一个开源的基于Gradio开发的Stable Diffusion网页界面项目,可以帮助开发者快速创建Stable Diffusion的用户界面。首先创建一个文件夹,如sd-project,然后使用cd命令定位到该文件夹,cd sd-project
。然后运行git clone命令将该项目下载下来,git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
第4步:从Hugging Face下载Stable Diffusion模型
访问Hugging Face官网,登录注册好的账号,下载Stable Diffusion 1.5版本,模型下载完成后,导航到stable-diffusion-webui 文件夹内的“models”文件夹,然后将该模型放到这里。
第5步:设置Stable Diffusion Web-UI
打开命令行终端并使用cd命令定位到 stable-diffusion-webui 文件夹,如cd xx/sd-project/stable-diffusion-webui
,然后输入webui-user.bat
安装依赖项。
第6步:运行Stable Diffusion
安装依赖项成功后,命令提示符中将出现一个 URL:http://127.0.0.1:7860。将其复制并粘贴到浏览器地址栏中以运行stable-diffusion-web-ui。