让 AI 学会画手的方法来了,给输入加个 buff 就能控制生成细节
消息来源:baojiabao.com 作者: 发布时间:2024-11-02
原文标题:《让 AI 学会画手的方法来了,给输入加个 buff 就能控制生成细节,华人小哥出品丨 GitHub 4.6k 星》
给画画 AI 加个 buff,画起图像就像开了挂。
加个人体骨骼绑定 buff,Stable Diffusion 直接快进到生成 3D 动漫:
加个抽象到爆的草图 buff,AI 变着风格生成"完全一致"的狗子:
就连号称"AI 杀手"的手部细节,也能在控制之下画得惟妙惟肖:
这个名叫 ControlNet 的新 AI 插件,可以说是给画画 AI 来了最后的"临门一脚"--
原本 AI 无法控制的手部细节、整体架构,有了它之后,加上 Stable Diffusion 这样的扩散模型,足以生成任何人们想要的图像。
发出不到两天,ControlNet 就在 GitHub 上火了,目前已经狂揽 4.6k 星:
△"让我们控制扩散模型"
各种效果图更是在推特上爆火,试玩过的网友直呼:
游戏结束!
所以,这个 ControlNet 究竟给扩散模型加了什么 buff?
给 AI 画画模型加 buff
ControlNet 的原理,本质上是给预训练扩散模型增加一个额外的输入,控制它生成的细节。
这里可以是各种类型的输入,作者给出来的有 8 种,包括草图、边缘图像、语义分割图像、人体关键点特征、霍夫变换检测直线、深度图、人体骨骼等。
那么,让大模型学会"按输入条件生成图片"的原理是什么呢?
ControlNet 整体思路和架构分工如下:
具体来说,ControlNet 先复制一遍扩散模型的权重,得到一个"可训练副本"(trainable copy)。
相比之下,原扩散模型经过几十亿张图片的预训练,因此参数是被"锁定"的。而这个"可训练副本"只需要在特定任务的小数据集上训练,就能学会条件控制。
据作者表示,即使数据量很少(不超过 5 万张图片),模型经过训练后条件控制生成的效果也很好。
"锁定模型"和"可训练副本"通过一个 1×1 的卷积层连接,名叫"0 卷积层"。
0 卷积层的权重和偏置初始化为 0,这样在训练时速度会非常快,接近微调扩散模型的速度,甚至在个人设备上训练也可以。
例如一块英伟达 RTX 3090TI,用 20 万张图像数据训练的话只需要不到一个星期:
作者基于当前大火的 Stable Diffusion 进行了具体实现,主要架构如下:
针对不同的输入,作者也给出了对应不同的模型,生成效果也都不错。
例如这是采用 Canny 边缘检测算法检测出的边缘,用于生成图像:
这是基于霍夫变换的直线检测算法生成的直线草图,用于生成各种风格的室内设计:
当然,自己作画也可以,例如这是基于用户草图生成的小龟:
提取深度图,并让 AI 生成一幅相似的图像,直接举一反五:
语义分割下的游泳池图像,不仅水里有倒影细节,建筑也变化多样:
不过目前来看,最受欢迎的还是基于人体姿态估计算法,控制动漫人物的动作生成:
看到这里,是不是已经有了大胆的想法?(手动狗头)
曾开发爆火 AI 上色插件
这个项目的作者 Lvmin Zhang,2021 年本科毕业于东吴大学,目前在斯坦福大学读博。
他最出名的项目之一,是 2017 年开发的 AI 上色插件 style2paints,目前 GitHub 上已经有 15.9k 星。
style2paints 也经过了好几次迭代,目前即将更新到第五版。
这是第四版的效果,只需要线稿,AI 就能自动给你的图像完成上色:
除了这个项目以外,他也是 CV 顶会的常客了。
One More Thing
值得一提的是,现在已经有基于 ControlNet 的国内产品上线了。
这个产品名叫稿定 AI,包含照片转插画、插画线稿上色、插画优化翻新等功能,正是基于 ControlNet 打造。
作画效果大概是酱婶的:
感兴趣的小伙伴们可以去试玩一波了~
项目地址:
https://github.com/lllyasviel/ControlNet
参考链接:
[1]https://lllyasviel.github.io/Style2PaintsResearch/
[2]https://twitter.com/search?q=controlnet&src=typed_query
[3]https://www.gaoding.com/ai
本文来自微信公众号:量子位 (ID:QbitAI),作者:萧箫
2023-02-24 15:40:58相关文章
- 淘宝天猫仅退款属于诈骗吗?淘宝天猫开始部分取消仅退款
2024-10-01 13:01:28
- 哈啰app借钱|哈啰借钱app下载安装免费小小上当和电话骚扰
2024-10-01 11:22:38
- 白嫖党|山西大同大学学生网购申请“仅退款”被拒骂客服一小时
2024-09-27 09:10:44
- 北大数学教授袁新意《姜萍事件的疑点分析》点评姜萍板书 阿里巴巴竞赛受质疑
2024-06-28 10:07:40
- 天猫新规可以无条件申请“仅退款”了?淘宝天猫又离狗多多零元购近了一步
2024-06-28 09:27:13
- 美国法院裁定阿里须为Squishmallows玩具侵权案答辩
2023-12-28 19:59:34
- 小米汽车传员工3700人 雷军称小米汽车不可能卖9万9
2023-12-28 19:41:57
- 国家新闻出版署:认真研究《网络游戏管理办法(草桉徵求意见稿)》关切 实行前进一步完善
2023-12-28 19:14:56
- 印度以打击金融犯罪为由逮捕了两名 vivo 高管
2023-12-26 16:49:01
- 在国外微信收不到国内信息?微信和WeChat将被拆分
2023-12-15 10:40:15
- 苹果iPhone15 系列手机发布最新消息 预计上市发布时间9月
2023-08-06 23:21:02
- 华为将发布鸿蒙HarmonyOS4操作系统 功能五大升级支持设备清单
2023-08-06 23:17:37
- 整治自媒体网红账号 400万粉丝网红发布擦边视频被无限期封禁
2023-07-12 09:56:09
- 网传微信文件传输助手是真人是真的吗?微信官方回应
2023-06-27 15:53:32
- 电信移动送手机成了“信用购”?你上了运营商的贷款套路了吗?
2023-06-12 17:18:55
- 中国电信广东地区崩了无信号 客服回应已在核实处理
2023-06-08 15:39:04
- 消息称小米新能源汽车价格表正讨论定价区间:双版本不同配置,高配或超 35 万元
2023-03-06 12:56:03
- 华为因制裁被传或分拆剥离手机业务? 内部人士回应:可能性不大.
2023-03-05 23:26:41
- OPPO正式发布安第斯智能云,让终端更智能
2023-02-24 16:02:27
- 华为与OPPO签订全球专利交叉许可协议 包括5G蜂窝通信专利
2023-02-24 16:02:26