Google 秀出「AI 影片生成」实验功能 Phenaki,把想象转为影片

人工智能
后台-插件-广告管理-内容页头部广告(手机)

Google 一直在探索人工智能(AI)的各种应用,其中之一就是「文字转影片(Text to Video)」。这项技术可以让用户通过输入文字提示(Prompt),让AI自动生成对应的影片内容。听起来很神奇吧?近日,Google 在 CBS News 的 60 Minutes 节目中,首次展示了他们的「文字转影片」实验功能 Phenaki 的实际界面和效果。

Google 秀出「AI 影片生成」实验功能 Phenaki,把想象转为影片

Phenaki 是什么?

Phenaki 是 Google Research 的一个项目,其目标是从开放域的文本描述中合成逼真的视频。Phenaki 这个名字可能来源于费纳奇镜(Phenakistiscope),一种19世纪发明的早期动画装置。

Google 秀出「AI 影片生成」实验功能 Phenaki,把想象转为影片

Phenaki 的核心是两个主要组件:一个编码器-解码器模型,用于将视频压缩为离散的嵌入或令牌(token),以及一个变换器模型,用于将文本嵌入转换为视频令牌。这样,用户只需输入一段或多段文本提示,就可以让 Phenaki 生成相应的视频令牌,并将其解码为实际的视频。

Google 秀出「AI 影片生成」实验功能 Phenaki,把想象转为影片

Phenaki 有以下特点:

  • Phenaki 可以生成任意长度的视频,而不受固定帧数或分辨率的限制。
  • Phenaki 可以根据时间变化的文本提示生成视频,例如一个故事。这与传统的基于静态图像或单一文本提示的视频生成方法不同。
  • Phenaki 可以利用大量的图像-文本对数据和少量的视频-文本对数据进行联合训练,从而实现对视频数据集之外的内容的泛化。
  • Phenaki 在空间-时间质量和每个视频的令牌数量方面都优于目前文献中使用的所有逐帧基线。
Google 秀出「AI 影片生成」实验功能 Phenaki,把想象转为影片

Phenaki 的效果如何?

在 60 Minutes 节目中,Google CEO Sundar Pichai 和 Google Research 的研究员向主持人展示了 Phenaki 的效果。他们输入了一些简单或奇幻的文本提示,例如“有着翅膀黄金猎犬宝宝,穿梭于野花盛开的田野”、“宇航员在火星上遛狗并观看烟花”等,然后看到了 Phenaki 生成的四个动态影片内容供他们选择。

从节目中可以看到,Phenaki 生成的影片虽然不完美,有时会出现一些奇怪的变形或模糊,但相对来说已经非常逼真和流畅。背景、光线、动作等方面都与文本提示相符。Phenaki 甚至可以生成一些超出常规的场景,例如有翅膀的小狗、在火星上跳舞的宇航员等,展示了其强大的想象力和创造力。

除了节目中的示范,Google 还在去年的 AI@ 事件中,展示了 Phenaki 生成的一段长达2分28秒的影片,其文本提示是“第一人称视角骑摩托车穿越繁忙的街道”等一系列描述 。这段影片经过了一个超分辨率模型的处理,使其看起来更加清晰和细腻。

Google 秀出「AI 影片生成」实验功能 Phenaki,把想象转为影片

Phenaki 的意义和挑战是什么?

Phenaki 的意义在于,它为用户提供了一个简单而强大的工具,可以将他们的想法、故事或情感转化为影像,从而实现更加直观和生动的表达和沟通。Phenaki 也为视频创作和编辑提供了一个新的可能,可以让用户更加轻松和快速地生成自己想要的视频内容。

当然,Phenaki 也面临着一些挑战和风险,例如如何保证生成视频的真实性和合法性,如何防止其被用于制造虚假或有害的视频,如何保护原创视频内容的版权等。Google CEO Sundar Pichai 在节目中呼吁政府部门应该好好规范 AI 的发展,强调对于这类工具被用于 Deep Fake 等以假乱真用途的疑虑。

目前,Phenaki 还是一个实验性的功能,尚未对公众开放。Google 表示,他们会在未来将 Phenaki 加入到他们的 AI Test Kitchen 平台中,让用户可以试用这项技术。不过,在此之前,他们还需要解决一些技术和伦理方面的问题,以确保 Phenaki 的安全和负责任的使用。

您怎么看 Google 实际秀出「AI 影片生成」实验功能 Phenaki,把想像转为影片?欢迎在评论区分享您的看法!

如果感兴趣,欢迎点赞关注转发给朋友!

后台-插件-广告管理-内容页尾部广告(手机)
标签:

评论留言

我要留言

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。