OpenAI推出Dalle-3

https://openai.com/dall-e-3

• DALL-E 3 目前处于研究和试用预览阶段，将于 10 月份向 ChatGPT Plus 和企业客户提供。
• DALL-E 3 :能够理解微妙的细微差别，并根据包含大量细节的提示词出图
• 根据OpenAI官网，DALL-E 3 主要是针对 ChatGPT Plus 和企业版用户都将可以使用。

现代文本到图像系统往往会忽略文字或描述，迫使用户学习提示工程。DALL-E 3 代表着OpenAI在生成与您提供的文本完全一致的图像能力方面的一次飞跃(Modern text-to-image systems have a tendency to ignore words or descriptions, forcing users to learn prompt engineering. DALL·E 3 represents a leap forward in our ability to generate images that exactly adhere to the text you provide.)

即使相同的提示词，DALL-E 3 也比 DALL-E 2 有显著改进，如下：提示词“An expressive oil painting of a basketball player dunking, depicted as an explosion of a nebula.”

左图是DALL-E 2，右图的DALL-E 3

DALL-E 3DALL-E 3 是在 ChatGPT 的基础上开发的，它可以让用户把 ChatGPT 作为你的头脑风暴伙伴和提示的提炼者。从简单的句子到详细的段落，你都可以向 ChatGPT 提出自己的需求。

ChatGPT 中的 DALL-E 3当你提出一个想法时，ChatGPT 会自动为DALL-E 3生成量身定制的详细提示，让你的想法栩栩如生。如果你喜欢某个图像，但它不太合适，你可以要求 ChatGPT 进行调整，只需几个字即可。

DALL-E 3 将于 10 月初向 ChatGPT Plus 和企业客户推出。与 DALL-E 2 一样，用户使用 DALL-E 3 创建的图片归自己所有，无需获得OpenAI的许可即可对其进行转载、销售或商品化。

其它示例

和ChatGPT 的集成：让 ChatGPT 制作一个有趣的漫画，ChatGPT可以为 DALL-E 3 提出了概念，并编写了详细的提示词。

再举个例子，跟 ChatGPT说："制作有趣的表情包：make a funny meme. should be unlike anything seen before."; it prompted DALL·E with: "A penguin in a desert with a suitcase, looking confused, with a text caption that says 'I think I booked the wrong flight'." Not cherry-picked:

还可以使用 DALL-E 3 制作一些非常漂亮和有趣的可视化效果：

还有海报：

卡通图片：

Sam展示的视频:

原理：

• 早的DALL·E 是 OpenAI 的多模态预训练模型，通过120亿参数的模型，在2.5亿图像文本对上训练完成
• DALL-E 是一个两阶段的模型：它的第一个阶段是离散变分自编码器（Discrete Variance Auto-Encoder，dVAE），用于生成图像的token。它的第二个阶段是混合了图像和文本特征的，以Transformer为基础的生成模型

上述原理参考自：知乎DALL·E 原理通俗理解-Mr.RottenPeach的文章

你对DALL·E 3怎么看?可以试用一下：）对比一下和Midjourney

参考资料：

1.知乎：DALL·E 原理通俗理解-Mr.RottenPeach

2.Greg的推特

3.https://openai.com/dall-e-3

4.https://zhuanlan.zhihu.com/p/506778898