GAN卷土重来:10亿参数的GigaGAN效果堪比扩散模型
程序员客栈 2023-06-18 06:46:04


(相关资料图)

点蓝色字关注“机器学习算法工程师”

设为星标,干货直达!

自从 DALL·E 2 之后,在图像生成方面扩散模型替代GAN成了主流方向,比如开源的文生图模型stable diffusion也是基于diffusion架构的。近日, Adobe研究者在论文Scaling up GANs for Text-to-Image Synthesis提出了参数量为10亿(1B)的GAN模型:GigaGAN,其在文生图效果上接近扩散模型效果,而且推理速度更快,生成512x512大小图像只需要0.13s,生成16M像素图像只需要 3.66s。同时GigaGAN也支持latent空间的编辑功能,比如latent插值,风格混合,以及向量运算等。

GigaGAN改进了StyleGAN架构,采用两阶段训练策略:一个是64x64的图像生成器和一个512x512的图像超分2器,其图像生成器架构如下所示(这里也是采用CLIP text encoder来引入text condition):GigaGAN在 LAION2B-en和 COYO-700M数据集上训练,其在COCO数据集上的FID达到9.09,超过stable diffusion 1.5,推理速度比stable diffusion快20倍多(2.9s vs 0.13s):GigaGAN除了文生图能力,还可以实现可控的合成,比如风格混合,如下图所示:更多效果图和技术细节见论文https://arxiv.org/abs/2303.05511和网站https://mingukkang.github.io/GigaGAN/

GAN卷土重来:10亿参数的GigaGAN效果堪比扩散模型

2023-06-18

满足越野玩家个性需求,2023款越野炮/火炮售价16.98万元起

2023-06-18

粘米粉和大米粉的区别(粘米粉是什么粉)

2023-06-18

食品安全管理员职业资格证书_你好 我想问下食品安全管理员的证书在哪里考呢|世界快播报

2023-06-18

研发费用加计扣除计算题_研发费用加计扣除计算

2023-06-18

环球快讯:瘦脸针的危害有哪些 瘦脸针的危害

2023-06-17

四川隆昌市教体系统开展巾帼大讲堂活动-快资讯

2023-06-17

礼仪老师韩国中字_礼仪老师韩国电影高清

2023-06-17

鲁政委:很多地方水电煤气10年没涨价了,应该适当涨价,既可减少政府补贴,又能增加经营现金流覆盖到期利息

2023-06-17

陷信任危机!马里要求联合国“立即撤离”维和部队_天天百事通

2023-06-17

门将送大礼!U17国足亚洲杯首战憾平 小组出线压力倍增-新要闻

2023-06-17

漂白粉商品报价动态(2023-06-17)

2023-06-17

【你好!书画传习人】青少年书画传习大会一等奖“前辈”胡文:书法帮助我在考场上全神贯注_世界快报

2023-06-17

世界关注:马克龙宣布多项举措促进低排放飞机研发

2023-06-17

手机卡槽卡1卡2的位置|关注

2023-06-17

交管部门提示:郊区临水景区公园热度高,还有这些路段压力大 今日观点

2023-06-17

小升初面对面丨郑州高新区朗悦慧外国语中学胡永:尽快适应角色转变 注重养成良好习惯

2023-06-17

造梦西游3天兵在哪(造梦西游3天枢石怎么得)

2023-06-17

黄柏的功效与作用_黄柏有什么功效与作用

2023-06-17

精油暖宫——促进女性更健康的更舒适的生活

2023-06-17