Sora、Genie 等模子会都用到的 Tokenizer欧洲杯app，微软下手了——
开源了一套万能的 Video Tokenizer，名为VidTok。
Sora 等视频生成模子责任中，都会哄骗 Tokenizer 将原始的高维视频数据（如图像和视频帧）调度为更为紧凑的视觉 Token，再以视觉 Token 为看法稽察生成模子。
而最新的 VidTok，在连气儿和打破、不同压缩率等多种设定下，各项策划均显赫优于 SOTA 模子。
以下是涵盖 PSNR、SSIM、FVD、LPIPS 策划的性能比较雷达图，面积越大暗示性能越好。
从图中不错看出关于打破 Tokenizer，VidTok 显赫优于英伟达 Cosmos Tokenizer；关于连气儿 Tokenizer，VidTok 也比 Open-Sora、CogVideoX 有更高的性能。
这项商议由来自微软亚研院、上海交通大学、北京大学的商议东说念主员共同完成。
当今，VidTok 代码不仅开源了，还维持用户在自界说数据集上的微调，为商议者和诞生者提供了一个高性能、易用的用具平台。
性能全面朝上，适用种种场景
比年来，视频生成以及基于此的宇宙模子照旧成为东说念主工智能范畴的热点商议标的，这两者的中枢在于对视频本质的高效建模。
视频中蕴含了丰富的视觉信息，不仅大概提供简直的视觉体验，更能当作具身场景中模子聚拢宇宙的中间弁言。
联系词，由于视频像素级暗示信息高度冗余，若何通过 Tokenizer 对视频数据进行高效压缩和暗示成为枢纽课题。
当下许多责任如 Sora，Genie 等都和会过 Tokenizer 将原始的高维视频数据（如图像和视频帧）调度为更为紧凑的视觉 Token，再以视觉 Token 为看法稽察生成模子。
不错说，视觉 Token 的暗示才气关于最终的成果至关迫切，以致决定了模子才气的上限。
Tokenizer 的主要作用是将高维的原始数据调度为隐空间中高效的压缩暗示，使得信息的生成和措置不错在该隐空间中进行。上图展示了一个视频的 Token 化历程，通过调度为 Token 建模，大概灵验裁减模子稽察和推理时的盘算需求。
把柄不同的使用需求，视频 Tokenizer 常常有如下分类：
连气儿型和打破型。把柄隐空间的数值散布，Tokenizer 不错分为连气儿型和打破型，离别适用于从连气儿散布中采样的模子（如扩散模子等）和从打破散布中采样的模子（如言语模子等）。
因果型和非因果型。因果结构使得模子只依赖历史帧来对刻下帧进行 Tokenization，这与简直宇宙系统的因果性质保握一致。非因果模子则不错同期把柄历史帧和改日帧对刻下帧进行 Tokenization，常常具有更优的重建质地。
不同的压缩率模子。Sora 等宽绰责任摄取了如 4x8x8 的视频压缩率（时辰压缩 4 倍、空间压缩 8 倍），收场更高的视频压缩率而保握高质地的视频重建是当今的商议趋势。
当今业界朝上的视频模子多为闭源景况，而开源的视频 Tokenizer 大多受限于单一的模子设定或欠佳的重建质地，导致可用性较差。
由此，来自微软亚研院、上海交通大学和北京大学的商议东说念主员最近细密发布了开源视频 Tokenizer —— VidTok。
在测试中，VidTok 性能全面朝上，适用种种场景。
如下表所示，VidTok维持种种化的隐空间且具有活泼的压缩率，同期维持因果和非因果模子，以适当不同的使用需求。
关于连气儿型 Tokenizer，维持不同的视频压缩率、不同的隐空间通说念数，同期维持因果和非因果模子。
关于打破型 Tokenizer，维持不同的视频压缩率、不同的码本大小，同期维持因果和非因果模子。
更多模子在握续更新中。
为了全面评估 VidTok 在各个设定下的重建性能，作家将 VidTok 与首先进的连气儿和打破视频 Tokenizer 离别进行了对都设定下的比较。扫数模子均为 4x8x8 倍视频压缩率的因果模子，主要包含以下三种设定：
VidTok-FSQ：打破型，码本大小相反。基线面目包括 MAGVIT-v2，OmniTokenizer，Cosmos-DV 等。
VidTok-KL-4chn：连气儿型，隐空间通说念数为 4。基线面目包括 CV-VAE，Open-Sora-v1.2，Open-Sora-Plan-v1.2 等。
VidTok-KL-16chn：连气儿型，隐空间通说念数为 16。基线面目包括 CogVideoX，Cosmos-CV 等。
定量实验截至标明，VidTok 在上述三种设定下均达到了 SOTA 性能，在常见的视频质地评臆测议 PSNR、SSIM、FVD、LPIPS 上具有全面的上风。
与现存的打破 Tokenizer 比较，VidTok 即使在使用更小的码本大小时（举例 32,768），也展现出了更优的重建性能。
在连气儿 Tokenizer 的设定下，不管隐空间通说念数是 4 照旧 16，VidTok 在扫数评臆测议上比较基线面目均取得了全面的进步。值得防护的是，这些进步是在莫得模子大小上风的情况下达成的。
除此以外，团队还进行了定性分析。
上图中展示了以上三种设定下的与基线面目的对比截至。
从视频帧的重建质地不错看出，与现存的面目比较，VidTok 在种种模子设定下，均展现出了最优的重建细节保真度和主不雅视觉质地。评释注解了 VidTok 当作多功能视频 Tokenizer 的灵验性。
是以 VidTok 是若何作念到的？
VidTok 的时间亮点判辨
相关于现存的视频 Tokenizer，VidTok 在模子架构、量化时间、稽察战术上离别作念了改进。
高效的夹杂模子架构想象
VidTok 摄取经典的 3D 编码器 - 解码器结构，同期改进性地联结了 3D、2D 和 1D 卷积，灵验地解耦空间和时辰采样。
在现存商议中普遍合计，尽管盘算资本较高，系数的 3D 架构提供了更优的重建质地。联系词，VidTok 发现将部分 3D 卷积替换为 2D 和 1D 卷积的组合，不错灵验地解耦空间和时辰采样，在裁减盘算需求的同期，保握了高水平的重建质地。
详实的荟萃架构如上图所示。VidTok 离别措置空间采样和时辰采样模块，并在时辰采样模块中引入了 AlphaBlender 操作符。其余组件，包括输入 / 输出层和瓶颈层，则哄骗 3D 卷积来促进信息融会。此外，通盘架构中引入了层归一化以增强默契性和性能。实考评释注解该架构在重建质地和盘算量之间取得了均衡。
先进的量化时间
VidTok 引入了有限标量量化（FSQ）时间，无需显式学习码本，显赫提高了模子的稽察默契性和重建性能。
有限标量量化（FSQ）由「Finite scalar quantization: Vq-vae made simple」提倡，其中枢旨趣是，在隐空间表征中，每个标量条款通过四舍五入寥寂量化到最近的预界说标量值。
与传统 VQ 比较，FSQ 无需学习显式的码本，从而提高了稽察的默契性。实验标明，FSQ 在码本哄骗率、重建质地和稽察默契性方面具有显赫上风，当作一种先进的量化时间，灵验进步了打破 Tokenizer 的性能。
增强的稽察战术
VidTok 摄取分阶段稽察战术，稽察时辰减少了 50%，而重建质地不受影响。
视频 Tokenizer 的稽察常常是盘算密集的，要求多半盘算资源（举例关于 256x256 分辨率的视频需要 3,072GPU 小时的稽察时长）。这就需要诞生灵验的战术来裁减盘算资本，同期保握模子性能。
VidTok 摄取一种两阶段稽察面目来豪爽这一挑战：最初在低分辨率视频上对完竣模子进行预稽察，然后仅在高分辨率视频上微谐和码器。这种稽察战术显赫裁减了盘算资本——稽察时辰减少了一半（从 3,072GPU 小时降至 1,536GPU 小时），而保握重建视频质地不变。
该两阶段稽察的另一上风是，由于第二阶段只会微谐和码器，因此模子不错快速适当到新的范畴数据中，而不会影响隐空间数据散布。
此外，由于视频 Tokenizer 旨在建模输入视频的通顺动态，因此在模子中灵验暗示这些动态至关迫切。VidTok 使用较低帧率的数据进行稽察，显赫增强了模子捕捉和暗示通顺动态的才气，取得了更好的重建质地。
VidTok 的开源为视频生成、宇宙模子范畴提供了新的用具，相配是在刻下业内许多朝上模子仍未开源的布景下。
团队暗示，VidTok 维持后续微调也为其他应用提供了更渊博的使用空间，商议者可爽气将 VidTok 应用于特定范畴数据集，为看法场景优化性能。
更多细节本质感兴味的童鞋可参阅原论文。
论文地址：https://arxiv.org/abs/2412.13061
时势地址：https://github.com/microsoft/vidtok
— 完 —
点这里� � 神情我，铭刻标星哦～
一键三连「共享」、「点赞」和「在看」
科技前沿推崇日日再会 ~