一文读懂昆仑零维Skyreels V2视频生成大模型(2 / 5)

它来开发自己的应用,这就促进了整个ai视频生成领域的发展。有开发者基于skycaptioner-v1开发出了专门用于视频内容分析的工具,帮助视频创作者更好地理解自己的作品。

以前的视频生成模型在运动质量方面表现都不太好,生成的视频里人物或者物体的运动总是怪怪的,看起来很不真实。skyreels v2为了解决这个问题,采用了一种运动质量偏好优化技术。

它通过强化学习训练框架,就像是给模型请了一个严格的体育教练,让它不断地学习和改进。同时,为了让模型学习到更真实、更合理的运动数据,团队还使用了人工标注和合成失真数据。比如说,他们会把一些运动不合理、动态扭曲的视频找出来,然后人工标注出问题所在,再用这些数据来训练模型,让它知道什么样的运动是好的,什么样的是不好的。

为了降低数据标注的成本,团队还设计了一个很巧妙的半自动数据收集管道。这个管道就像是一个高效的数据收集工厂,能够快速地生成偏好对比数据对。它主要通过三种方式来生成数据:i2v distortion,就是基于图像到视频生成的失真数据;t2v distortion,基于文本到视频生成的失真数据;还有人工标注修正,就是让专业人员对一些关键的运动序列进行标注。通过这些数据训练奖励模型并进行直接偏好优化,skyreels v2在运动动态性、流畅性和物理合理性方面都表现得非常出色,生成的运动内容就像我们在现实生活中看到的一样自然流畅。在一些生成的动作视频中,人物的奔跑、跳跃等动作非常自然,和真实拍摄的几乎没有区别。

3 扩散强迫(diffion-forcg)框架

skyreels v2能实现长视频生成,最关键的技术就是它的扩散强迫框架。这个框架就像是一个神奇的魔法棒,让视频生成变得又快又好。

和传统的视频生成方法不同,skyreels v2不是从零开始训练扩散强迫模型,而是通过微调预训练的扩散模型,把它转化为扩散强迫模型。这就好比你已经有了一个半成品的房子,你只需要在这个基础上进行一些装修和改造,就能让它变成你想要的样子,这样不仅节省了大量的时间和精力,还能提高生成效率。

为了实现长视频的高效生成,团队还采用了一种非递减噪声时间表。这个时间表就像是一个精密的时钟,它把连续帧的去噪时间表搜索空间从非常大的o(1e48)大幅降低到o(1e32)。这样一来,模型就能更快速、更准确地生成长视频内容,而且还能保证视频在时间上的连贯性和稳定性。它的工作原理是为每个帧分配独立的噪声水平,然后通过精心设计的噪声调度策略,确保视频序列在生成过程中不会出现错误累积的问题。比如说,它会在前一帧添加轻微的噪声,让生成过程更加稳定,就像在跑步的时候,每一步都迈得很稳,这样就能跑得更远、更久。在实际生成视频时,即使是生成几分钟的长视频,也不会出现画面卡顿、情节不连贯的情况。

skyreels v2之所以这么厉害,离不开它丰富的数据来源。就像一个人要想变得聪明,就得读很多书、学习很多知识一样,模型要想表现出色,也得有大量的数据来训练。

skyreels v2的训练数据主要来自三个方面:通用数据集,这里面整合了很多高质量的开源资源,像koa-36、huanvid,还有从互联网上爬取的其他视频资源,这些数据就像是一本本百科全书,涵盖了各种各样的场景和动作,为模型提供了广泛的基础视频素材;自收集媒体,这可是一个超级大的影视资源库,里面有280,000多部电影和800,000多集电视剧,覆盖了120多个国家,总时长超过620万小时,这些丰富的影视内容让模型学习到了各种电影风格和叙事结构;艺术资源库,这里面的视频都是从互联网上精选出来的高质量视频资产,它们的视觉质量都达到了专业标准,就像一个个艺术珍品,让模型能够生成高质量的视频内容。通过这些丰富的数据训练,skyreels v2对各种场景和风格都有了深刻的理解,能够生成出更加多样化和高质量的视频。

2 渐进式分辨率预训练与多阶段后训练优化

skyreels v2的训练过程就像是一场精心策划的马拉松比赛,分为好几个阶段,每个阶段都有不同的目标和任务。

首先是渐进式分辨率预训练,这就像是马拉松比赛的热身阶段。模型会从低分辨率的视频数据开始训练,逐渐提高分辨率,这样可以让模型更好地学习视频的基本特征和规律,就像运动员在热身的时候,先慢慢地活动身体,适应运动的节奏。从低分辨率开始训练,模型可以先掌握视频的大致结构和基本元素,随着分辨率的提高,再逐渐学习到更精细的细节。

- 初始概念平衡的监督微调(sft):这个阶段就像是给模型打基础,通过概念平衡的数据集进行微调,让模型对各种概