在过去的三个月一直在研究人工智能生成绘画这个方向,3 月份的时候参加了小红书的小航海,也因为这个方向的选择正好对应到了趋势,小红书在一个半月做到了 1 万粉。我为什么看好这个方向?

主要是从三个方面:1、科技的最前沿。2、生产力工具。3、巨大的杠杆。

这篇文章是我对之前三个月做一个小的总结,来聊一聊 AI 生成绘画是什么?有哪些生成工具?能做什么?可能会带来的影响?

本文只是个人观点希望能给大家带来一些启发。

AI 生成绘画是什么?

这篇文章说的 AI 生成绘画主要指的是,通过对抗神经网络 VQGAN CLIP 把文字语言和图像进行关联学习, 从而实现只通过一段文字就能生成对应的图像的技术。目前的算法基本上都来自于 openai,目前的生成工具因为算法和训练模型的不同,生成的图像的风格和特点也各有差别和优缺点。

这里推荐一个 AIART的免费教程:
https://github.com/johnowhitaker/aiaiart?utm_campaign=TheCheckpoint&utm_medium=email&utm_source=Revue newsletter

AI 生成绘画的工具有哪些?

目前市面上的生成工具我大致分为三类:

入门体验版:以 Dream by wombo 为主目前最热门的入门级的 AI 绘画应用是 dream,这个 APP 很好入门也是免费的,只是生成的图像功能相对简单,而且像素偏低。除了这个还有 nightcafe 也是做的比较早,网站形式功能比 dream强大很多,不过需要付费。

1 Dream by wombo

目前最火的 AI 绘画 APP。覆盖全平台,支持网页,安卓,和苹果。目前免费。缺点是功能相对单一,像素低。

2 night coffee

做的最早最完善的 AI 绘画工具。其实就是把 DD 这类的模型包装了一下,只有网站,功能跟 DDV5 差不多了。也是部分免费,限制性使用。缺点是性价比不如 DDV5。

3 starryai

口碑还不错的 AI 绘画 APP。支持安卓,和苹果。每天免费 5 张图。比 wombo出的图好点。

专业版:一些 google colab 上的开源程序

1 disco diffusion

目前国内最火的是 DD,也就是 disco diffusion,有比较完善的教程,社群支持,工具本身也很强大稳定。国内见到的大部分 AI 绘画作品都是用 DD 做的,因为它的教程最多。

colab:
https://colab.research.google.com/github/alembics/disco-diffusion/blob/main/D
isco_Diffusion.ipynb#scrollTo=TitleTop

使用文档:
https://docs.google.com/document/d/1l8s7uS2dGqjztYSjPpzlmXLjl5PM3IGkR
WI3IiCuK7g/edit

相关艺术家:
https://twitter.com/Somnai_dreams somnai是 DD 的作者,同时也在MidJourney 工作。

https://twitter.com/inigma_a 的作品也不错,推特上有很多。

2 pytti

国外很火但是国内并不太熟悉,也有十分完整的使用文档和说明。

colab:
https://colab.research.google.com/github/pytti-tools/pytti-notebook/blob/main/p
yttitools-PYTTI.ipynb

使用文档:https://docs.google.com/document/d/1vXuzSpAxg2YijIE4uN14S5MoM5c98Jp
EXernsMoLjIM/edit#heading=h.4sg1gnlvqssq

相关艺术家:https://twitter.com/unltd_dream_co Unlimited Dream 的一些作品

3 JAX CLIP Guided Diffusion

风格很独特的一款,模型比较多,适合平面抽象几何风格,可批量处理。huemin用它做了很多浮世绘风格的作品。

colab:https://colab.research.google.com/drive/1hcDA5skuzk2IoC0wkQam4i-5k7c7i
R1T?usp=sharing#scrollTo=zxGgJmRzq3Cs

使用文档:https://docs.google.com/document/d/11HWN5e57taWdpyZlW5s6gqzrwMsLlm
OQivyJncOPPhE/edit

相关艺术家:https://twitter.com/huemin_art

AI绘画colab程序笔记本合集

https://docs.google.com/document/d/1ON4unvrGC2fSEAHMVb4idopPlWmzM0Lx5cxiOXG47k4/edit

顶级 AI 生成工具

1 dalle2

openai出品,可以媲美真实照片的生成质量,目前还在测试阶段,邀请码十分难拿到手。

官网:https://openai.com/dall-e-2/

相关介绍:https://www.zhihu.com/zvideo/1496565511983353856

相关测评:http://xhslink.com/33akFh

一些 dalle2 可以做出的效果(更加的真实合乎逻辑)

2 midjourney

目前可以玩到的仅次于 dalle2 的 AI 绘画工具,是 DD 开源项目作者 Somnai 参与的另一个项目,在处理人物和语义匹配上比 DD 做的好很多。我目前玩的最多的一款。

官网:https://www.midjourney.com/app/
官方文档:https://midjourney.gitbook.io/docs/
相关测评:https://articles.zsxq.com/id_67ebn0ogc82w.html
艺术家推荐:https://twitter.com/NekroXIII

3 Imagen

google 下场做的一款对标 dalle2 的语义生成图像的应用,看起来比 dalle2 还要厉害。但是目前连内测入口都没有。

官网:https://imagen.research.google/

新闻:https://mp.weixin.qq.com/s/frMxDJ0T2qZP-QgS21pFcg

AI 生成艺术可以给我们带来什么?

艺术的民主化

大大降低了人们制作视觉作品的门槛,在我分享了一些 AI 生成艺术之后很多人联系我,大部分并不是艺术设计的从业者,但是他们都会需要跟插画师或者设计师沟通,而他们并不会画画,这让沟通有的时候变得特别的困难,大家都希望能够通过画面来表达自己的想法, 但是并不是所有人都有时间精力和天赋去进行系统的绘画训练。而这个技术让这一切变成了可能。

创作者的助手和新的尝试已经有很多原画师开始用 AI 来制作作品的 demo,可以减少前期脑暴的时间,并且可以快速出图跟客户或者上级沟通。 以往的创作过程前期也是需要大量的素材的收集和参考,现在素材可以自己生成了。另外,即使是专业的画师,也不可能精通所有的风格,但 AI 不一样,它可以通过深度学习,模仿古今中外所有的画风,甚至融合这些画风,画师可以借此来拓宽自己的界限。

AI 生成艺术的作品现在已经有很多发布出来成为 NFT 的作品,这个在国外已经有很多了。

俄罗斯的首饰设计品牌 monolama 还联合过数字艺术家做过一个深度学习系列的胸针。而我自己也尝试过用 AI 生成的图来制作系列丝巾。还有更多的融合和尝试等着我们去发现。

代替图库用在 PPT 和文章配图我觉得最应该有危机感的不是艺术家而是图库公司, 如果你能够用文字生成对应的图片,为什么还需要用图库?这个应用太广泛了,PPT的配图,公众号文章的配图,小说的插画配图等等。

今天还看到有艺术家使用 mid 生成的图像,用 substance 3D 做成材质球,他表示这将对材质创作产生巨大的影响。相关文章:https://80.lv/articles/a-collection-of-materials-created-with-midjourney/

人工智能是否会造成威胁?

作为一个从事创意艺术行业并有人工智能知识的人来说:是的,它肯定会对我们的工作造成威胁,但并不是你想象的那样。

三百年前摄影术诞生,99%的肖像画被摄影取代,一部分艺术家被迫寻找新的表现形式,印象派,野兽派,抽象主义应运而生,艺术家不再开始追求那些绘画能做到,但是摄影做不到的事情;另一部分本该成为画师的人成为了摄影师,通过摄影来表达自己,为他人服务。几十年前计算机投入使用时,人们也一样担忧,但今天,由于这些计算机,我们创造了更多的就业机会,完成了更多的工作。

人工智能只是另一种工具,它如何使用取决于使用它的人。

那么为什么它是一种威胁呢?它将造成破坏,传统工作将被淘汰,但会产生新的工作。所以人工智能无法取代艺术家,那些能够驾驭人工智能,或者在技术的夹缝中找到了新的表现形式的,会成为下一个时代的艺术家。有个很好的例子可以说明这一切,在围棋领域几年前阿法狗战胜了柯洁,柯洁说他仿佛看到了围棋上帝,人类在围棋上永远无法战胜 AI,觉得 AI 时代的围棋特别的无趣。另一边,天资一般的韩国棋手申真谞,通过不断的跟 AI 下棋,学会了很多新的思路,并且打败柯洁拿到了世界冠军。在艺术设计领域也是一样,面对人工智能对绘画近乎碾压的技术,我看到了两种截然不同的观点。 一种是兴奋的去尝试学习如何利用它更好的为自己的作品服务,比如已经有很多游戏原画师用 AI 生成的图片来做 demo 和灵感参考,还有插画师会结合手绘和 AI 的图片进行二次创作。另一种是觉得这些都不是艺术,是无价值的电子垃圾,然后开始例举传统艺术多么高贵,又或者开始恐惧,觉得自己之前学的一切都失去了意义。

我觉得三体里有一句特别适合用来回答,人工智能是否能取代艺术家这个问题,

那就是:“弱小和无知不是生存的障碍,傲慢才是。”

其它 AI 工具资源

以下资源只是我目前接触到的,并不是全部,这个领域在以极快的速度发展,如果你想接触最前沿的那部分,需要自己去不断的探索。至于变现的方式,我想说的是下面的任何一款工具都潜藏着巨大的商业价值, 但是如何用就看个人的资源和能力了,举个例子下面的老照片的修复是完爆之前的老照片修复的。我用自己祖父母的老照片做过尝试,可以做到精细程度跟现代摄影一样的效果,连细微的毛孔和胡渣都能看到。

1 3D_Photo_Inpainting

一款可以将 2D照片用 AI 算法转换成 3D 视频的程序,也是开源在 colab 上。
https://colab.research.google.com/github/fzantalis/colab_collection/blob/master/3D_Photo_Inpainting.ipynb

2 artbreeder
一款 AI 捏脸软件,网上大部分的卡通真人化的都是用这个做的。https://www.artbreeder.com/

3 ai-art.tokyo

一款 AI 风格迁移软件,可以上传照片生成相关风格化图片。https://ai-art.tokyo/en/

4 time-travel-rephotography

一个由华人研究员参与的老照片修复类项目, 可以完美的把黑白老照片上的人脸修复成现代的逼真彩照。这个比市面上的任何老照片修复软件做的都要完美,但是它只限于对人脸的修复。

https://time-travel-rephotography.github.io/?utm_campaign=TheCheckpoint&utm_medium=email&utm_source=Revue newsletter

5 NVIDIA Canvas

英伟达做的一款涂鸦生成照片的人工智能应用。可免费在官网下载。https://www.nvidia.com/en-us/studio/canvas/

6 CogVideo

通过语义自动生成视频动画的 AI 模型。https://github.com/THUDM/CogVideo

7 AI ART 资源汇总

上面类似的资源还有很多大家可以自己去看。https://pharmapsychotic.com/tools.html

人工智能AI绘画全攻略(AI绘画教程分享)的更多相关文章

  1. 【C#代码实战】群蚁算法理论与实践全攻略——旅行商等路径优化问题的新方法

    若干年前读研的时候,学院有一个教授,专门做群蚁算法的,很厉害,偶尔了解了一点点.感觉也是生物智能的一个体现,和遗传算法.神经网络有异曲同工之妙.只不过当时没有实际需求学习,所以没去研究.最近有一个这样 ...

  2. Anaconda使用教程全攻略

    Anaconda使用教程全攻略 本文转自 https://zhuanlan.zhihu.com/p/32925500           〇.序 Python是一种面向对象的解释型计算机程序设计语言, ...

  3. 生成 PDF 全攻略【2】在已有PDF上添加内容

    项目在变,需求在变,不变的永远是敲击键盘的程序员..... PDF 生成后,有时候需要在PDF上面添加一些其他的内容,比如文字,图片.... 经历几次失败的尝试,终于获取到了正确的代码书写方式. 在此 ...

  4. 从小工到专家 ——读《Java程序员职场全攻略》有感

    从小工到专家 ——读<Java程序员职场全攻略>有感   <Java程序员职场全攻略>是以故事的形式,向读者介绍Java程序员的职场经验.作者牛开复在北京从事软件开发,已经是一 ...

  5. Android屏幕适配全攻略 (转载)

    http://blog.csdn.net/jdsjlzx/article/details/45891551 https://github.com/hongyangAndroid/AndroidAuto ...

  6. Moon.Orm3.8技术全攻略

    Moon.ORM技术全攻略  一.绪论 本文主要是针对Moon.ORM的技术的讨论及其使用使用指导.如有其它疑问,请留言.本文主要针对Moon.ORM3.9版本,同时将会对4.0做一个技术预览.本文从 ...

  7. TestLink安装全攻略

    TestLink安装全攻略 此文章转自该链接--http://www.cnblogs.com/Tcorner/archive/2011/07/26/2117296.html 安装前准备 需要下载xam ...

  8. 取代奶瓶Minidwep-gtk破解WPA 全攻略

    取代奶瓶Minidwep-gtk 破 WPA 全攻略  目录 1. CDlinux 下使用 minidwepgtk 获取握手包并使用自带的字典破解 2. 自带的字典破解不出密码时使用 U 盘外挂字典继 ...

  9. 用C#制作PDF文件全攻略

    用C#制作PDF文件全攻略 目  录 前    言... 3 第一部分 iText的简单应用... 4 第一章 创建一个Document 4 第一步 创建一个Document实例:... 5 第二步 ...

  10. 【转】轻松搞定FTP之FlashFxp全攻略

    转载网址:http://www.newhua.com/2008/0603/39163.shtml 轻松搞定FTP之FlashFxp全攻略 导读: FlashFXP是一款功能强大的FXP/FTP软件,融 ...

随机推荐

  1. 多模态大语言模型 LlaVA 论文解读:Visual Instruction Tuning

    代码:https://github.com/haotian-liu/LLaVA 总览 在这篇论文中,作者首次尝试使用纯语言 GPT-4 生成多模态语言图像指令遵循数据(insruction-follo ...

  2. UDP 编程不能太随意

    UDP 相比 TCP 虽然是是无连接的,看似发送接收都很随意,但是在发送--接收过程中,仍然有些问题需要重视.在整个通讯过程中至少有两点需要注意,一方面要防止发送方的一厢情愿,另一方面是在允许的条件下 ...

  3. 基于JavaFX的扫雷游戏实现(四)——排行榜

      这期看标题已经能猜到了,主要讲的是成绩排行功能,还有对应的文件读写.那么废话不多说,让我们有请今天的主角...的设计稿:   那么主角是何方神圣呢?当然是图中的大框框--TableView.关于这 ...

  4. 飞桨paddlespeech语音唤醒推理C定点实现

    前面的文章(飞桨paddlespeech语音唤醒推理C浮点实现)讲了飞桨paddlespeech语音唤醒推理的C浮点实现.但是嵌入式设备通常CPU频率低和memory小,在嵌入式设备上要想流畅的运行语 ...

  5. Object.equals 和 String.equals的区别

    一.  源码展示: 1. Object.equals: ①引用类型地址值比较,直接返回结果:true || false public class Object { public boolean equ ...

  6. Linux 概念:grub2

    GRUB 2是许多发行版的缺省efi模式引导加载程序. grub2 与 grub 的区别 官方手册:https://www.gnu.org/software/grub/manual/grub/html ...

  7. 磁盘问题和解决: fsck,gdisk,fdisk等

    错误: Resize inode not valid 对于gpt分区的硬盘一般fsck只能检查分区, 不能用于检查整个硬盘, 但是如果对硬盘设备运行时遇到这样的错误 $ sudo fsck -n /d ...

  8. 本地连接阿里云上的mysql centos

    首先写下原因: 未让3306端口通过防火墙 1.  检查端口是否被防火墙挡住 telnet ip地址 3306 在windows中打开telnet应用, 参考:https://www.cnblogs. ...

  9. 使用 Habana Gaudi2 加速视觉语言模型 BridgeTower

    在对最先进的视觉语言模型 BridgeTower 进行微调时,使用 Optimum Habana v1.6, Habana Gaudi2 可以达到 近 3 倍于 A100 的速度.硬件加速的数据加载以 ...

  10. 【干货】浅谈如何给.net程序加多层壳达到1+1>2的效果

    软件破解分白盒和黑盒两种方式. 白盒破解:白盒破解是指对软件进行破解时,攻击者可以访问软件的内部结构和源代码.这种破解方式通常发生在软件的开发者.技术人员或软件公司内部.攻击者使用这些详细信息来理解软 ...