文｜周鑫雨

剪辑｜苏建勋

Luma AI 在视频鸿沟叫板 OpenAI 故事，好比半途改打网球的杜兰特，打赢了网球男单大满贯纳达尔。

最近，这家确立于 2021 年的硅谷 AI 公司，在和《智能涌现》的交流中，复盘了视频生成模子 Dream Machine AI 爆火的过程。

在硅谷率先发布一款服从能对标 OpenAI Sora 的视频模子，对一家初创公司而言并退却易——更况兼，Luma AI 在视频生成鸿沟算得上是"老师有素"：

2024 年前，这照旧个主攻 3D 生成、范畴在 10 东谈主独揽的小公司。Luma AI 数据居品细密东谈主 Barkley Dai 告诉《智能涌现》，2023 年 12 月决定转型作念视频生成后，团队才引申了视频鸿沟的东谈主才，范畴增多到了 50 东谈主。

他提到，Luma AI 能成为视频生成鸿沟的蚂蚁雄师，本事实力、发布时机和运营策略统筹兼顾。

东谈主才，是这家公司认为作念出视频模子最进攻的钞票。2023 年 12 月，决定从 3D 转型作念视频生成后，Luma AI 吸纳了 40 个 AI 鸿沟的东谈主才。

而和 OpenAI、Google 打擂台，Luma AI 又对模子的算法和 Infra 作念了诸多优化。Barkley 对《智能涌现》默示，团队在 Sora 同款 DiT 架构的基础上，接管了独家转换的架构，保证生见服从的同期，还节俭了考试和推理老本。

视频模子" Dream Machine AI "的发布时期，2024 年 6 月 13 日，踩中了视频模子赛谈的空症结——这也让 Dream Machine AI 具有了稀缺性，除了快手"可灵"除外，这是惟一简直对各人洞开的视频模子；

而模子的"限免"策略，又坐窝蛊惑了多数试用者：上线 4 天，Dream Machine AI 的用户量就破了百万。Barkley 对《智能涌现》泄露，Dream Machine AI 的投流用度是 0，全靠 KOL 自愿安利，和用户的口碑发酵。

爆火之后，提高用户留存，不让后光好景不常，是 Luma AI 如今的命题。

2024 年 11 月 26 日，在视频模子发布后近 6 个月，Luma AI 在 iOS 和 web 端上线了 Dream Machine AI 创意平台。与之配套发布的，还有 Luma AI 自研的首款图像生成模子，Luma Photon。

△ Dream Machine iOS 界面。

Luma AI 居品联想师 Jiacheng Yang（杨家诚）告诉《智能涌现》，与 Midjourney、Adobe 等专科联想器用不同，Dream Machine 不需要用户学习如何写 Prompt（指示词），也不需要用户懂联想，"咱们的目的即是作念一款 AI 小白和联想小白王人能纵脱上手的 AI 视觉器用"。

据他先容，Dream Machine 共有 5 个中枢功能：

（1）用天然语言进行对话，末端图片的创作生成和剪辑；

（2）由 AI 提供创意点子，凭证用户输入的 Prompt，自动提供创意、作风选项；

（3）视觉参照，凭证用户输入的相片，生成带有相易主体或者作风的图片；

（4）将 AI 联想的图片飘摇为视频，供用户稽查图片中主体在不同角度下呈现出的细节；

（5）将通盘 AI 生成的素材发布在面板上，并生成可供共享的链接，有助于团队进行头脑风暴。

△ Dream Machine 视觉参照功能。

为什么接管用图像联想平台，去连续视频模子的用户？"想要扩大 AI 视觉鸿沟用户的盘子，唯独视频生成是不够的。图像生成的诈欺场景会更平庸，是以咱们想作念一个很好上手的联想平台，用户能够纵脱上手的同期，也能展现咱们的模子才略。" Barkley 提到。

行业竞争，是作为初创企业的 Luma AI 不得不濒临的问题。他们认为，打出各异化上风，是让模子和居品在行业中具有辨识度和获客的要害。

比如濒临 Midjourney 等图像居品的竞争，Dream Machine 把语言贯穿才略作念到了"天花板"。以及，这亦然一个最会联想字体的模子——相较于 Midjourney 和 GPT 生成的带翰墨的图片，Dream Machine 图片中翰墨的联想感和证实度是最高的。

△ Dream Machine 在图片中生成的配文。

和视频模子一样，Luma AI 给 Dream Machine 破耗的投流预算，是 0。在 Barkley 看来，烧钱营销看的是酬谢率，这意味着最终照旧要用居品言语。以及，" AI阛阓还很小，我以为对 AI 公司来说，烧钱营销还为前卫早。还不如把营销的钱，投到居品研发上"。

以下《智能涌现》与 Luma AI 增长细密东谈主 Barkley Dai、Luma AI 居品联想师 Jiacheng Yang 的交流，内容略经《智能涌现》剪辑：

烧钱营销，AI 公司还为前卫早

《智能涌现》：2024 年 6 月发布视频模子 Dream Machine 的时候，团队有莫得预猜测会爆火？

Barkley：其实其时是远超咱们预期的，咱们一度出现就业器和 GPU 资源莫得办法承受的情况。

《智能涌现》：如果要归来爆火的教育，你以为是什么？

Barkley：其实最早发布的版块，还不是服从最佳的版块。但咱们决定全量免费放给通盘的用户去使用。

在其时，还莫得一个视频模子能够作念到这样。是以短时期内蛊惑了许多用户的关注。

《智能涌现》：关于创业公司来说，作念免费的决定是不是还挺退却易的？

Barkley：其实咱们其时也给免费确立了一个额度，我以为这是一个行业的 standard practice（基本操作）。

仅仅其时的峰值对咱们来说过高，多数的用户在短时期内涌入，就业器后台收到了太多的 request。

《智能涌现》：公司能包袱流量带来的推理老本吗？

Barkley：其实咱们照旧在本事层面作念了许多老本的优化，比如不休去晋升视频生成的速率，最驱动咱们的模子生成 5 秒的视频需要 120 秒，当今只需要 20 秒。

以及在保持原有生成质料的情况下，视频模子的推理还有许多优化的空间。是以在半年时期里，视频模子的老本是不才降的。

是以我以为推理老本对咱们来说不是相当大的包袱，天然亦然一笔开支，但翌日会变低。

《智能涌现》：你提到 Dream Machine 是有免费额度的，那么使用完免费额度后的用户付费率如何？

Barkley：说真话咱们拼凑费率实足莫得任何预期。因为其时咱们对 Dream Machine 的定位是讲解注解用户的居品，让用户知谈 Luma AI 视频生成的后劲有多大。其时市面上还莫得一个视频模子是按照对标 Sora 的水平发布的，是以咱们拼凑费率实足莫得对标的对象。

但当今发布的 AI 联想平台，咱们的定位是最终去获客的居品。是以当今咱们对它的收入和付费率有更高的期待。

《智能涌现》：Dream Machine 在营销上参加了若干？

Barkley：0，咱们在发布的时候莫得作念任何的营销付费。

天然咱们提前往磋议了许多创作家，他们试用后王人以为很兴盛，以致大多数东谈主之前用过 Runway，还有东谈主用过可灵。但他们用了咱们的居品后，王人以为说" This is the next big thing "，在推特上自愿帮咱们现实。

但咱们莫得作念任何的投放，因为咱们照旧征服奏凯的要素即是居品自身。

《智能涌现》：烧钱营销，这一套叮咛在硅谷 AI 公司常见吗？

Barkley：我嗅觉硅谷大部分照旧比拟居品驱动的，运营这一套主如若中国公司。

视觉鸿沟的阛阓还很小，我以为对 AI 公司来说，烧钱营销还为前卫早。即便 ChatGPT 的用户许多，然则像一些视觉模子，用户照旧很少数。

这个时候如果你作念投流，去作念赛马圈地，留存肯定不高，还不如把这些钱参加到模子和居品的研发上，用更好的模子和居品吸援用户的增长。

《智能涌现》：在发布视频模子之前，Luma AI 的本事和居品照旧围绕 3D 生成的。团队是什么时候决定作念视频生成模子的？

Barkley：约莫在 2023 年 12 月。

《智能涌现》：为什么从 3D 转向作念视频和图像模子？

Barkley：咱们本来其实也不会说我方是一个 3D 公司，公司的定位照旧视觉鸿沟的 AI 公司，咱们想去贯穿这个天下在视觉上的构造，是如何匡助 AI 对天下进行贯穿的。

从首创团队的研究布景来看，一驱动 3D 是 Luma AI 比绝大多数公司和团队更擅长的事。后续咱们也确乎作念了许多 3D 生成上的本事打破。

然则 3D 不错被用于考试的数据量级，相较于图片和视频来说王人会少许多。同期在使用场景上，现时手机和电脑照旧主要的居品载体，但 3D 也会比视频更受到截止。

然则当咱们有更多的算力、更多的东谈主才，也有更多的才略去鼓动咱们的愿景，也即是更好地了解天下，咱们也天然地会从 3D 转向作念视频。

《智能涌现》：这会不会让公司看起来政策有些扭捏？

Barkley：从我作为一个里面成员的视角来看，我以为无论是 3D 照旧视频生成，一直王人是合理的。

因为无论是 3D，照旧视频和图片，王人仅仅一种模态。如果咱们最终想作念到的是对这个天下的贯穿，那么无论是一种模态、一种生成，照旧一种创意的进展，我以为只须目的不变，这些序论就仅仅帮咱们达成目的的技能。

《智能涌现》：从 3D 转型作念视频生成，时期有遭受什么费劲吗？

Barkley：我以为通盘这个词过程照旧比拟奏凯的，因为咱们在作念 3D 生成的时候，团队也就在十几东谈主的范畴，但当咱们作念视频生成以后，引入了许多视频鸿沟的东谈主才，当今团队范畴仍是特等了 50 东谈主。

这个过程其实是吸纳了更多新成员去鼓动目的的末端，而不是说本来大众就在闲居地换办法。仅仅本来作念 3D 的东谈主，当今也在慢慢驱动作念视频方面，比如数据等各方面的责任。

《智能涌现》：作念 3D 的资历对视频生成有匡助吗？许多响应说 Dream Machine 的畅通轨迹作念得很好，这和 3D 积聚下的空间贯穿才略联系吗？

Barkley：我以为可能不一定有那么平直的关系。

但从咱们发布最早版块的视频模子驱动，咱们对相机的轨迹畅通，包括视频里有若干机位的变化，是十分侧重的。

是以其时用户也会广阔响应说，Luma AI 的模子天然偶而候生成完了不是那么结实，然则它能给到许多的机位的出动，以及复杂的东谈主物畅通轨迹。

我以为往日在 3D 上的一些教育，能够让咱们在作念视觉模子的时候，线路到晋升机位的丰富度和畅通轨迹的复杂度，能够提高用户对视频生成内容的花消意愿。

不外我以为往日的教育，包括模子自身之间，其实莫得那么大的关联性和鉴戒意旨。

《智能涌现》：是以本事转型最进攻照旧补充新的本事东谈主才是吗？

Barkley：是的。

连续住模子的爆火，需要有居品

《智能涌现》：6 月份 Dream Machine 走红后，你们如何考虑用户留存的问题？

Barkley：咱们发布 Dream Machine 的时候，就知谈后头一定要有居品去连续用户络续结实的需求。

比如你作为一个 ChatGPT 的耐久用户，即便后续会出来许多才略作念得和 GPT 差未几的模子，你照旧好像率会接管使用 ChatGPT。因为 ChatGPT 通过耐久的深度学习，仍是主理了用户风尚，能够更好地贯穿你的意图。

行业里耐久会有更好的模子出现，但居品最终是能够让用户留存的点。

《智能涌现》：团队是从什么时候筹动作念这样 AI 联想平台的？

Barkley：这个想法其实在咱们最驱动作念视频模子的时候就有了。是以居品的想法是客岁（2023 年）12 月和视频模子同步鼓动的。

仅仅在居品的联想过程中，咱们其后线路到，要想把通盘这个词联想经过涵盖，也必须要作念到能够生成图片。是以在视频模子发布 5 个月以后，咱们以为图片模子也裕如好的时候，把两部分同期整合成一个居品。

《智能涌现》：平台的目的用户是哪些东谈主？专科联想师照旧各人？

Barkley：其实咱们以为本来的 Dream Machine，更多的用户照旧偏专科的，至少是有作念 AI 电影的教育，或者知谈如何用 Prompt 去生成更好的服从。

但其实咱们更但愿当今的居品，让之前莫得效过 AI 以致莫得联想教育的东谈主用起来。比如，如果他们在责任中需要用这样的经过，不错非常容易地通过一轮一轮地和 AI 进行对话去末端。

咱们在 6 月份发布的视频模子 Dream Machine，其实照旧需要一些使用门槛的。咱们在那时候就在想，但愿普通东谈主也能 access 这些视觉器用，就好比视觉里的 GPT。

但视觉是一个很小众的垂类鸿沟。咱们作念联想平台的想法即是，如何去扩大这个群体。唯独扩大群体，才调让视觉鸿沟的 AI 获取更好的发展。

《智能涌现》：非专科联想师很难把一整套联想的责任流用得很久了。我的大部分生图需求，可能输入一个肤浅的 Prompt，用 GPT，或者 Midjourney 就能欢畅。

Jiacheng：咱们的想法是，把用户能纵脱感受到分别的功能作念到最佳，比如咱们图像才略比 GPT 好，然则语言贯穿才略比 Midjourney 要好。

我用吞并个最基础、实足不复杂的 Prompt，让 Dream Machine 和 Midjourney 对比一下：i want to make a poster for my brother band " crazy avocado " .（我想为我伯仲的乐队"纵容牛油果"作念一张海报。）

△ Dream Machine 凭证" i want to make a poster for my brother band ‘ crazy avocado ’"生成的乐队海报。

△ Midjourney 凭证" i want to make a poster for my brother band ‘ crazy avocado ’"生成的乐队海报。

你看 Midjourney 生成的海报，既不 Crazy，也莫得 Avocado 的元素，也看不出来是个乐队的海报。

语义贯穿的才略其实比你想象的进攻，会影响许多场景的落地。因为生成立时的、雅瞻念的图片，在实用场景心仪旨不是很大。

如果要让 Midjourney 简直规复你的意图，你需要写许多 Prompt，包括海报的联想、上头写的翰墨、解释 Crazy 的作风等等。学会写 Prompt，我好像花了两三个月时期。

但我信托 ChatGPT 的大部分用户是不会去学的，他们即是进来问一个问题，得到一个论断。

咱们作念联想居品的想路，亦然一样的。按照之前市面上的居品，如果我想要得生陈规复我意图的图片，当先，我要花 20 好意思金买 Claude 或者 GPT，帮我生成 Prompt；其次，我要再花 20 好意思金到 40 好意思金买 Midjourney，生成图片；终末我还要花 20 好意思金的订阅，把这些图片造成视频。

算下来，文生视频起码要花 60-80 好意思元。当今用 Dream Machine，可能 10 好意思元就能惩处了。

《智能涌现》：Dream Machine 语言贯穿才略的起原，亦然自研模子吗？

Barkley：语言模子用了第三方的 API，咱们再去构建了一个 Agent。这个 Agent 能够贯穿用户意图，然后通过不同的 Prompting 的形态，把用户意图飘摇为图像和视觉模子能够贯穿的指示。

《智能涌现》：Luma AI 当今既有模子，又有居品，如何去作念生意化？

Barkley：居品照旧会接管订阅的形态。模子即是提供 API。

《智能涌现》：不作念定制化？

Barkley：定制化不太符合初创公司，会散布元气心灵。

现时莫得专科视觉器用，在界说交互范式

《智能涌现》：一个俗套的问题，你们如何看待巨头下场？按照国内的情况，字节和快手的下场，仍是给许多初创公司带来了融资和获客上的压力。

Barkley：咱们发现，这个问题其实是公司和股东之间的问题。唯独股东才会情愫：如果哪天一个巨头把你这个事情作念了，会如何样？

但实质上，咱们公司许多 Research 王人有这样的嗅觉：当公司达到一定例模，需要你去合作多样万般的东西的时候，你鼓动的速率会变得相当慢，立异的速率也会掉下来。

天然 Luma AI 的团队在往日一年多的时期里也扩展了许多，但照旧保持着快速立异、快速迭代的节律。

我以为有一个类比相当好：其实你在大公司里，简直去作念视频模子和相应居品的团队，可能也唯独几十个东谈主。比如 OpenAI 看起来很大，但 Sora 的团队也就这样多。

天然说到更大的公司，比如 Google，他们可能有比咱们更好的 distribution channel（扩散渠谈），但他们雷同会受制于多样经过上，一个新址品会有生意化等许多方面的 concern，鼓动的速率不会那么快。

《智能涌现》：Luma AI 的迭代节律有多快？

Barkley：举座迭代速率一直是以几个月，以致是 1-2 个月来筹画的。时期会加入新的功能，底层模子的服从也在晋升。

就像 Dream Machine 1.0 在 2024 年 6 月发布，1.5 版块是在 8 月发布。1.6 版块加了 camera control（镜头限制）功能，在 9 月底发布。

《智能涌现》：一个新的联想器用型居品，如何去获客？

Jiacheng：我觉适应先不错去分析 ChatGPT 是如何获客的。你会发现，ChatGPT 不光最佳的顺序员在用，你隔邻的大叔大妈也在用。

我以为 AI 器用带来的最大的变化是，由于它自身的可塑性和机动性，它不错就业简直通盘有视觉需求的东谈主。

我并不以为现时特定的视觉专科的软件，有非常好的交互，换句话说，现时莫得专科视觉器用界说了通盘这个词行业的交互范式。

《智能涌现》：你如何界说"好的交互范式"？

Jiacheng：比如 ChatGPT 就界说了通盘这个词行业 ChatBot 的交互范式，像当今好意思国的小孩王人不是说 ChatGPT，他王人是说你有么有问你家的" Chat "。

这里的" Chat "，仍是成了一个像" Google 一下"的活动。

咱们作念 Dream Machine 亦然一样的。谁能先把普通儒人的想象，通过一个通达、肤浅的顺序，呈现出一个雅瞻念酷爱，然后能共享给别东谈主的或者有效的图片，谁就能在这个鸿沟有上风。

《智能涌现》：从立项到上线，时期你们对交互状貌进行了哪些探索？

Jiacheng：咱们现时来说，包括行业对咱们的领路，王人是一个视频模子科研公司。

然则如今的 AI 本事是一个非常以用户体验为中枢的居品，本事型居品的目的和迭代过程很彰着，即是最佳的用户体验。

咱们能猜测的最佳的用户体验，即是用最天然的交流形态，把 Dream Machine 当成一个创意助手或者 Creative Partner。你如何和联想师互动，就如何和系统互动。

有了这样一个目的，咱们就会去了解咱们的图片和视频模子，能够提供如何的才略。同期也去了解通盘这个词行业处于如何的发展阶段，第三方的语言模子能够给咱们如何的匡助。

时期，多样万般的 Agent 软件器用也在迭代，大众关于 AI 诈欺层的想考也有变化。是以一年以来，咱们的居品即是一个络续迭代的过程，具体即是一个月凭证行业变化打磨，再花一个月去修改。

这些东西总体统筹、和会起来，才有了当今这样的服从。

Barkley：时期咱们也发现，在 AI 视频生成鸿沟，现时图生视频比文生视频愈加受包涵，因为用户在乎可控性。

是以通盘能够晋升可控性的，王人是用户非常需要的功能点。

《智能涌现》：时期行业哪些居品或者领路的动向，会对公司的居品研发节律产生影响？

Barkley：其实我以为往日一年时期里，咱们的居品策略莫得变太多，照旧一直想作念能让通盘东谈主收缩使用模子的居品，不会跟着其他 AI 居品的发布去作念任何的策略诊治。

我以为居品团队更情愫的事一些 Research 上的动态和进展，比如咱们想作念作风更动、作风搬动的功能，就会去查有哪些最新的学术研究和论文，以致居品团队会加入 Research 团队的猜想，去看研发功能的可行性。

《智能涌现》：居品团队在日常责任中是如何和算法团队交流的？

Barkley：立项的时候，咱们会从用户的角度，以为作风鉴戒这样的功能很进攻。

然则从 Research 的角度，其实他们不祥情这个功能能弗成作念出来，以及能达到如何的服从。是以 Research 会先去作念许多的实验，直到他们把算法作念出来以后，咱们看到这个功能的极限，再去想考如何把功能融入到举座居品和体验上。

是以其实 Research 是一个愈加不祥情的过程，时时需要比拟长的时期，也不知谈要花多长时期考试。

《智能涌现》：时期也会铁心许多暂时不够好的功能。

Barkley：对。是以其实许多功能咱们会从用户的角度去想，有的功能 Research 团队能够在短时期内作念出来，有的功能咱们又陆续参加，去作念更长的研判，体当今翌日的居品里。

包涵交流！

包涵关注！shibo体育游戏app平台