大家好,我是知白。一个专注于输出 AI+ 编程内容的大厂资深程序员,全国最大 AI 付费社群初创合伙人及航海教练,关注我一起进步。
OpenAI发布了最新产品Sora,能凭文本生成60秒生动视频。Sora融合语言与图像生成技术,实现了连贯的场景转换,包括细节如头发、服装,以及面部表情和声音的同步。模型基于变换器架构,通过逐帧学习文本描述和视觉表现之间的复杂映射,处理各种视觉数据。
如果非要用三个词来总结Sora,那就是“60s超长长度”、“单视频多角度镜头”和“世界模型”。
https://openai.com/sora
已经达到了一定离谱的程度,属实震惊到我了。
先来看几个视频感受一下。
60 秒超长时间
相比于 Pika、Runway 等其他 AI 视频工具还只能生成三四秒,Sora 已经完全吊打所有。
Prompt: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.
提示:一位时尚女性走在充满温暖霓虹灯和动画城市标牌的东京街道上。她穿着黑色皮夹克、红色长裙和黑色靴子,拎着黑色钱包。她戴着太阳镜,涂着红色口红。她走路自信又随意。街道潮湿且反光,在彩色灯光的照射下形成镜面效果。许多行人走来走去。
完全被震惊到了,等待晚上官方的技术文档开放,目前解释如下:
单视频多角度镜头
现在的 AI 工作流,都是单镜头单生成,一个视频里面,有多角度的镜头,主体还能保证完美的一致性,这是很难想象的。
OpenAI 通过一句简单的 Prompt,在一分钟的镜头里,就实现了多角度的镜头切换,并且保持形象一致。
Prompt: A beautiful silhouette animation shows a wolf howling at the moon, feeling lonely, until it finds its pack.
提示:一个美丽的剪影动画展示了一只狼对着月亮嚎叫,感到孤独,直到它找到狼群。
世界模型
从前面的视频其实已经能看出 Sora,已经能懂物理规律了。
视频中卡车的影子一直能够完美契合,全部符合真实世界的运转规律,简直不要太离谱。
Prompt: The camera follows behind a white vintage SUV with a black roof rack as it speeds up a steep dirt road surrounded by pine trees on a steep mountain slope, dust kicks up from it’s tires, the sunlight shines on the SUV as it speeds along the dirt road, casting a warm glow over the scene. The dirt road curves gently into the distance, with no other cars or vehicles in sight. The trees on either side of the road are redwoods, with patches of greenery scattered throughout. The car is seen from the rear following the curve with ease, making it seem as if it is on a rugged drive through the rugged terrain. The dirt road itself is surrounded by steep hills and mountains, with a clear blue sky above with wispy clouds.
提示:镜头跟随一辆带有黑色车顶行李架的白色老式SUV,它在陡峭的山坡上一条被松树环绕的陡峭土路上加速行驶,轮胎扬起灰尘,阳光照在SUV上飞驰。土路,给整个场景投射出温暖的光芒。土路缓缓地蜿蜒延伸至远方,看不到其他汽车或车辆。道路两旁都是红杉树,零星散落着一片片绿意。从后面看,这辆车轻松地沿着曲线行驶,看起来就像是在崎岖的地形上行驶。土路周围是陡峭的丘陵和山脉,上面是清澈的蓝天和缕缕云彩。
最后
这些 AI 视频已经让我分不清到底哪些是现实,哪些是虚拟生成的,AI 和现实的界限都要划成等号了。
此次的 Sora 将成为 AGI 道路上的一重要里程碑,相信 GPT-5 也马上要发布了。
网友评论