Step-Video-T2V

Step-Video-T2V官网,阶跃星辰推出的开源文本到视频生成模型

什么是Step-Video-T2V?

Step-Video-T2V 是一款由阶跃星辰（Step-Heaven）团队开发的开源文本到视频生成模型（Text-to-Video Generator），主要用于根据用户输入的文本提示生成高质量的视频内容。它是目前全球最大、参数最多的开源视频生成模型之一，具有强大的生成能力和广泛的应用潜力。旗下还有跃问ai,支持deepseek r1满血版!

Step-Video-T2V官网大全:

• Github仓库：https://github.com/stepfun-ai/Step-Video-T2V
• HuggingFace模型库：https://huggingface.co/stepfun-ai/stepvideo-t2v
• arXiv技术论文：https://arxiv.org/pdf/2502.10248

Step-Video-T2V 是阶跃星辰团队推出的开源文本到视频预训练模型，拥有 300 亿参数，能生成长达 204 帧的高质量视频。模型基于深度压缩的变分自编码器 (Video-VAE），实现 16×16 的空间压缩和 8x 的时间压缩，显著提高了训练和推理效率。Step-Video-T2V 配备双语文本编码器，支持中英文提示输入，通过直接偏好优化 (DPO）方法进一步提升视频质量。模型基于扩散的 Transformer (DT)架构和 3D 全注意力机制，在生成具有强烈运动动态和高美学质量的视频方面表现出色。

Step-Video-T2V的主要功能

•高质量视频生成：Step-Video-T2V 拥有300 亿参数，能生成长达 204 帧的高质量视频，支持 544×992 分辨率。

。双语文本支持：配备双语文本编码器，支持中英文提示词的直接输入，能理解并生成与文本描述相符的视频。 •动态与美学优化：通过 30 全注意力的 DiT 架构和 Flow Matching 训练方法，生成具有强烈动态效果和高美学质量的视频。

Step-Video-T2V的技术原理

。深度压缩的变分自编码器 (video-VAE)：Step-Video-T2V 使用了深度压缩的变分自编码器(Video-VAE），实现了16×16 的空间压缩和 8x 的时间压缩。显著降低了视频生成任务的计算复杂度，同时保持了优异的视频重建质量。

•双语文本编码器：模型配备了两个预训练的双语文本编码器，能处理中文和英文提示。Step-Video-T2V 可以直接理解中英文输入，生成与文本描述相符的视频。

•基于扩散的 Transformer (DiT）架构：Step-Video-T2V 基于扩散的 Transformer (DIT）架构，包含 3D 全注意力机制。通过 Flow Matching 训练，将输入噪声逐步去噪为潜在帧，用文本嵌入和时问步作为条件因子。在生成具有强烈运动动态和高美学质量的视频方面表现出色。

•直接偏好优化 (DPO）：为了进一步提升生成视频的质量，Step-Video-T2V 引入了视频直接偏好优化 (Video- DPO）方法。DPO 通过人类偏好数据对模型进行微调，减少伪影并增强视觉效果，使生成的视频更加平滑和真实。

。级联训练策略：模型采用了级联训练流程，包括文本到图像（T21） 预训练、文本到视频/图像（T2VI） 预训练、文本到视频(T2V）微调和直接偏好优化 (DPO） 训练。加速了模型的收敛，充分利用了不同质量的视频数据。

。系统优化：Step-Vidleo-T2V 在系统层面进行了优化，包括张量并行、序列并行和 Zero1 优化，实现高效的分布式训练。引1入了高性能通信框架 StepRPC 和双层监控系统 StepTelemetry，优化数据传输效率和识别性能瓶颈。

模型概述

• 参数规模：拥有 300 亿参数。
• 视频生成能力：能够生成长达 204 帧、540P 分辨率的高质量视频。
• 双语支持：配备双语文本编码器，支持中英文提示输入。

技术特点

• 深度压缩的 Video-VAE：采用高压缩比的变分自编码器，实现 16×16 的空间压缩和 8× 的时间压缩，显著降低训练和推理的计算复杂度。
• 扩散 Transformer（DiT）架构：结合 3D 全注意力机制，生成具有强烈动态效果和高美学质量的视频。
• 直接偏好优化（Video-DPO）：在训练最后阶段应用，进一步提升生成视频的视觉质量和指令对齐能力。

性能表现

• 高质量视频生成：生成的视频在运动平滑性、物理合理性、美感度等方面表现优异。
• 复杂运动控制：能够准确生成复杂运动场景，如芭蕾舞、空手道等，运动自然且符合物理规律。
• 镜头语言支持：支持多种镜头运动方式（如推、拉、摇、移等），可实现流畅的镜头切换。

应用场景

Step-Video-T2V 适用于创意视频制作，能够帮助创作者实现精准的创意表达和复杂场景的呈现。