这项由meta FAIR和UC Berkeley联合进行的研👍究于2025年1月发表在arXiv预印本平台上，研究团队由J😎athushan Rajasegaran、Ilija Rad😉osavovic等多位学者组成。有兴趣深入了解的读者可以通过👏论文标题"An Empirical Study of Aut😍oregressive Pre-training from 🤗Videos"在arXiv平台上找到完整论文。 当我们🤩看电视时，大脑会根据前面的画面预测接下来可能发生什么。如果一🚀个人正在跑步，我们能预测他的下一个动作；如果一辆车正在转弯，😢我们能预测它的行驶轨迹。现在，研究人员想让人工智能也具备这种👏能力，不仅能理解单张照片，还能像人类一样理解连续的视频画面。😎 这项研究的核心在于训练一个名为Toto的AI模型，让😎它通过观看大量视频来学习预测下一个画面。就像教孩子看图说话一😀样，研究团队让Toto观看了超过十万小时的视频内容，包括日常🙄生活、运动、各种活动场景。通过这种训练，Toto不仅学会了识😊别图像中的物体，还学会了理解动作、预测物体的运动轨迹，甚至能😂在复杂场景中持续跟踪特定目标。 这种训练方式被称为"自🙌回归预训练"，本质上就是让AI通过"看前面猜后面"的游戏来学🔥习理解世界。研究团队发现，尽管这种方法看起来很简单，没有复杂❤️的规则和约束，但训练出的AI在各种视觉任务上都表现出色，包括❤️图像分类、视频理解、物体跟踪，甚至机器人操作。 更有趣😡的是，研究人员发现AI学习视频的规律和人类学习语言的规律非常😂相似。当我们增加更多的计算资源和训练数据时，AI的能力会按照😀一定规律持续提升，就像语言模型随着规模增大而变得更聪明一样。🚀不过，视频AI的提升速度比语言AI稍慢一些，这可能是因为视频😘信息比文字信息更加复杂和冗余。 一、让AI学会"看前猜⭐后"的训练秘诀 要理解这项研究的核心方法，可以想象教一😴个孩子看连环画的过程。当孩子看到前几幅画后，我们会遮住后面的😘画面，让他猜测接下来会发生什么。Toto的训练过程本质上就是❤️这样一个巨大规模的"看图猜后续"游戏。 研究团队首先需😢要将视频转换成AI能够理解的"语言"。就像我们需要将复杂的想🌟法转换成文字来表达一样，视频也需要被转换成数字符号。他们使用😍了一种称为dVAE的技术，将每一帧视频画面转换成256个离散😊的"视觉单词"。这样，一个16帧的短视频片段就变成了4096😉个"单词"组成的"句子"。 展开全文 在这种转换🤔下，一张256×256像素的图片被分解成16×16个小块，每😁个小块用一个特定的数字代码表示。这个过程就像将一幅拼图分解成💯小块，然后用数字给每个小块编号。通过这种方式，原本连续的视频🤔画面变成了离散的数字序列，为后续的AI训练奠定了基础。 😊 Toto的核心架构采用了类似GPT语言模型的transfo🥳rmer结构，但专门针对视频内容进行了优化。这种结构让AI能❤️够同时关注画面中的多个位置和时间点，就像人类看视频时能同时注🤯意到画面中不同区域的变化一样。研究团队构建了三个不同规模的模😍型，参数量分别为1.2亿、2.8亿和11亿，就像训练三个不同😜"智力水平"的AI学生。 训练数据的规模令人惊叹。研究❤️团队收集了包括ImageNet图像数据集、Kinetics-🤔600动作视频、Ego4D第一人称视频，以及HowTo100🙄M教学视频在内的海量数据。这些数据总共包含超过十万小时的视频🔥内容和约1万亿个视觉"单词"。相当于让AI观看了几千年的电视😘内容，涵盖了人类生活的方方面面。 在训练过程中，每个批❤️次的数据按照特定比例混合：20%是静态图像，10%是第一人称🚀生活视频，10%是动作识别视频，60%是教学类视频。这种搭配🚀就像给AI提供营养均衡的"视觉餐"，确保它能够学习到不同类型🔥的视觉模式和规律。整个训练过程使用了AdamW优化器，学习率😍设置为0.0003，并采用余弦衰减策略逐渐降低学习率。 😆 二、从像素到智能：视觉信息的魔法转换 将连续的视频画😆面转换成AI能够理解的离散符号，这个过程充满了技术巧思。研究💯团队面临的第一个挑战是选择合适的"翻译器"，将丰富的视觉信息😅转换成数字代码，同时尽可能保留重要信息。 他们比较了三❤️种主要的转换方法。第一种是dVAE方法，将每个图像块转换成8🥳000个可能符号中的一个，就像用8000种不同的"积木块"来😀重建图像。第二种是VQGAN方法，提供了1000到16000😜种不同的选择。第三种是连续块标准化方法，不使用离散符号，而是🤔保持连续的数值表示。 实验结果显示，在相同分辨率下，d🎉VAE和VQGAN的表现相当，都能达到约61%的图像分类准确👏率。然而，dVAE有一个重要优势：它的符号使用更加均匀。通过🚀分析1-gram分布发现，dVAE几乎使用了所有8000个可👏能的符号，而VQGAN只使用了不到50%的符号。这就像一个词😀汇丰富的作家使用了更多样化的词汇来表达思想，而不是反复使用同🤗样的词语。 分辨率选择也是一个关键考虑。更高分辨率意味🤯着更多细节，但也意味着更多计算成本。研究发现，从低分辨率开始😘训练，然后微调到高分辨率，这种策略不仅节省了计算资源，还获得👏了更好的最终性能。128×128分辨率训练后微调到256×2😢56分辨率的模型，表现甚至超过了直接用256×256分辨率训😀练的模型。 这种现象的原因在于RoPE位置编码的使用。😁RoPE允许模型在训练后适应更长的序列，就像一个学会了短篇写😍作的作者可以逐步适应长篇创作。当研究团队调整RoPE的基值参⭐数从10000到50000时，模型对高分辨率的适应能力进一步🤩提升。 在架构选择方面，研究团队比较了三种不同的模型结😜构。LLaMA架构表现最佳，达到53.2%的准确率，而传统的😊GPT2架构只有48.5%，新兴的Mamba架构为40.7%😅。这说明LLaMA的设计更适合视觉信息的处理，可能因为它使用🙌了RMSNorm标准化、SwiGLU激活函数和RoPE位置编😀码等先进技术。 三、解码AI的"视觉大脑"：不同层级的💯智能表现 当我们深入研究Toto模型的内部工作机制时，😢发现了一个有趣的现象：就像人脑的不同区域负责不同功能一样，A😴I模型的不同层次也展现出不同的能力特征。这个发现对理解AI如🚀何处理视觉信息具有重要意义。 在对模型不同层次的探测中😁，研究团队发现了一个令人惊讶的规律。与传统的编码器-解码器结😘构不同，这种纯解码器模型的最佳表现出现在大约50%的深度位置🤩。换句话说，既不是最浅层，也不是最深层，而是中间层提供了最好👍的视觉理解能力。 这种现象可以用一个生动的比喻来理解。😡如果把AI模型比作一个复杂的视觉处理工厂，那么前半部分就像工🌟厂的原料处理车间，负责将原始的视觉信息逐步提炼和抽象，形成越❤️来越高级的特征表示。而后半部分则像产品组装车间，将这些抽象特🤯征重新组合，生成最终的预测结果。 这种结构特征在不同任🤯务上表现一致。无论是图像分类、动作识别还是物体跟踪，所有模型🎉规模都显示出相同的规律：中间层表现最优。但有一个例外值得注意🌟，那就是机器人操作任务。在这类任务中，除了中间层表现良好外，🔥最后几层也显示出不错的性能。 这个例外现象揭示了一个深😴刻的道理。机器人操作本质上是一个生成性任务，需要模型根据当前🙄观察生成具体的动作指令。因此，那些专门训练来生成下一个视觉符🤯号的后期层次，恰好也适合生成动作指令。这就像一个既会画画又会🤩写字的艺术家，他用来创作文字的技能也能帮助他更好地创作绘画作🔥品。 为了充分利用这些中间层的表示能力，研究团队采用了🤯注意力池化技术，而不是简单的平均池化。原因在于，在自回归模型🙄中，序列中较晚位置的符号能够"看到"更多前面的信息，就像站在🙌山顶的人比站在山腰的人看得更远一样。注意力池化允许模型动态地😴给予这些"视野更广"的位置更多权重。 实验证明，注意力😴池化比平均池化的效果好7.9个百分点，这个提升相当可观。这种🤔方法学习两个权重矩阵和一个查询向量，通过交叉注意力机制将所有🤗位置的信息整合成单一的表示向量。虽然这增加了一些计算成本，但👍显著提升了下游任务的性能。 四、从理论到实践：全面验证😁AI的视觉理解能力 研究团队设计了一系列全面的测试来验🙌证Toto模型的实际能力，这些测试覆盖了从基础图像识别到复杂🚀视频理解的各个方面。每个测试都像是给AI学生出的不同类型的"😴期末考试"，检验它在不同领域的学习成果。 在图像识别这🙄个最基础的测试中，Toto在ImageNet数据集上的表现令😆人瞩目。基础版本达到64.7%的准确率，大型版本提升到71.🤩1%，而10亿参数的版本更是达到了75.3%。虽然这个成绩还😆无法与专门设计用于判别任务的模型相比（比如DINO的80.1😀%），但在生成式模型中已经是相当优秀的表现。 更重要的👏是，当我们将Toto与同样采用自回归方式训练的iGPT模型对🤩比时，优势就很明显了。在相似的10亿参数规模下，Toto达到😢75.3%的准确率，而iGPT-XL只有72%。这个4个百分🤩点的提升证明了Toto在模型设计和训练策略上的优势。特别值得💯一提的是，Toto用1.1万亿视觉符号的训练数据就达到了与i🎉GPT用更多数据训练的相当性能。 在视频理解方面，To😢to展现出了更加令人印象深刻的能力。在Kinetics-40🤔0动作识别数据集上，基础版本达到59.3%，大型版本提升到6😜5.3%，10亿参数版本更是达到74.4%。这个成绩已经接近😢专门设计的视频理解模型，比如VideoMAE的79.8%。考🎉虑到Toto是一个通用模型，这个表现相当不错。 视频预😆测任务更能体现Toto对时间序列的理解能力。在Ego4D短期🙄动作预测任务中，模型需要观看一个人的动作，然后预测他接下来可😊能与什么物体交互、进行什么操作，以及这个交互何时发生。Tot😜o-large模型在这个任务上达到2.70的平均精度，超过了😉专门设计的StillFast模型的2.48分。 物体跟😎踪是另一个重要的测试项目。在这个任务中，模型需要在视频序列中🚀持续跟踪特定目标，即使目标被其他物体遮挡或部分消失也要保持跟😁踪。Toto在DAVIS数据集上的表现相当出色，特别是在51❤️2×512高分辨率下达到62.4的J&F分数，超过了DINO👍等专门模型。 最令人兴奋的可能是机器人应用测试。研究团😍队在模拟环境中测试了四个不同的机器人操作任务：Franka机😅械臂抓取、Kuka机械臂抓取、Franka机械臂开柜门和Ku🤩ka机械臂开柜门。在所有四个任务中，使用Toto预训练特征的🎉机器人都比使用传统MAE预训练特征的机器人学习得更快，达到目😜标性能所需的训练步数更少。 真实世界的机器人测试更加严💯格。研究团队使用7自由度Franka机械臂进行立方体抓取任务🤗，Toto-base模型达到了63%的成功率，虽然略低于专门😁为机器人设计的MVP模型的75%，但考虑到Toto并非专门为😢机器人应用设计，这个成绩已经相当不错。 五、意想不到的😢发现：AI也有"物体永恒性"概念 在所有测试中，最有趣👍的发现之一是Toto在物体永恒性理解方面的能力。物体永恒性是👍心理学中的一个重要概念，指的是即使物体暂时从视野中消失，我们🙌也知道它仍然存在。这是人类智力发展的一个重要里程碑，通常在婴👍儿8-12个月时开始显现。 研究团队使用CATER数据🥳集来测试这种能力。在这个任务中，一个小球在场景中移动，但会被😘其他物体遮挡或隐藏。模型需要在看不到球的情况下，推测球的最终😁位置。这就像玩杯中球游戏，需要在杯子不断移动的过程中记住球在⭐哪个杯子下面。 Toto-large模型在这个任务上表😀现出色，在16帧测试中达到62.8%的准确率，在32帧测试中❤️达到72.9%的准确率。这个成绩超过了专门设计用于这类任务的👍V3D和TFC-V3D模型。更有趣的是，更长的视频序列（32🤗帧vs16帧）带来了更好的性能，说明模型确实学会了利用时间信😉息来推理被遮挡物体的位置。 这种能力的出现是自然涌现的🎉结果，并非研究团队特意设计。Toto通过观看大量视频自然学会😅了物体在空间中的连续性概念，理解了即使暂时看不到物体，它们依😉然遵循物理定律继续存在和移动。这种理解对于真实世界的应用至关🎉重要，比如自动驾驶汽车需要记住被其他车辆暂时遮挡的行人位置。😁 除了基本的物体永恒性，Toto还展现出了更复杂的时空😆推理能力。在处理视频时，模型学会了预测物体的运动轨迹，理解不⭐同物体之间的交互关系，甚至能够推断出某些因果关系。这些能力都😆不是通过明确的规则编程实现的，而是通过大量观看视频数据自然涌⭐现的。 六、规模的力量：视觉AI的成长规律 就像💯生物学家发现动物的大脑大小与智力水平之间存在某种关系一样，研😘究团队发现了AI模型规模与性能之间的数学关系。这种关系被称为🚀"缩放定律"，它揭示了增加计算资源和模型参数如何转化为性能提😅升。 通过训练六个不同规模的模型（参数量从1480万到😂19亿），研究团队发现Toto遵循着明确的幂律关系：L(C)🙄 = 7.32 × C^(-0.0378)。这个公式告诉我们😴，当计算资源增加时，模型的损失（可以理解为"错误率"）会按照🤩特定比例下降。简单来说，投入更多计算资源确实能够带来更好的性⭐能，而且这种提升是可预测的。 有趣的是，这个缩放规律与😊大型语言模型的缩放规律既相似又不同。GPT-3的缩放公式是L😆(C) = 2.57 × C^(-0.048)，指数部分-0⭐.048比Toto的-0.0378更大，意味着语言模型对计算😢资源的利用效率更高。换句话说，同样增加一倍的计算资源，语言模😴型的性能提升会比视觉模型更明显。 这种差异可能源于视频🚀数据的特殊性质。视频帧之间存在大量冗余信息，相邻帧往往非常相🤩似，这使得"预测下一帧"这个任务比"预测下一个词"相对容易一🌟些。研究团队通过分析发现，在16帧视频序列中，第一帧的预测损😍失最高，后续帧的预测损失逐渐降低并趋于稳定。这说明模型很快学😉会了利用时间冗余来简化预测任务。 尽管视觉模型的缩放效❤️率略低于语言模型，但这种可预测的缩放关系依然具有重要价值。它😎为研究团队和工程师提供了明确的指导：如果想要达到特定的性能目🌟标，需要投入多少计算资源；如果预算有限，能够期望达到什么样的😍性能水平。 为了找到最优的缩放策略，研究团队使用了μ参👍数化技术。这种技术确保了不同规模的模型都能使用相同的学习率（🤔2^(-7) = 0.0078125），简化了训练过程。通过👍系统性的实验，他们证明了线性增加模型宽度和深度是一种有效的缩😜放策略。 七、突破与局限：诚实面对研究的边界 每🙄项研究都有其光辉的成就和诚实的局限，这项工作也不例外。在取得💯令人瞩目成果的同时，研究团队也坦诚地指出了当前方法的不足之处🤗和未来需要改进的方向。 最明显的局限来自于训练数据的质🙄量。由于使用了大量来自互联网的视频数据，不可避免地包含了质量😘参差不齐的内容。与精心策划的数据集相比，这种"野生"数据包含🌟噪声、模糊片段、甚至错误标注的内容。这种数据质量的不一致性会🎉影响模型的最终性能，特别是在需要精确理解的任务中。 另😀一个重要局限是对分词器的依赖。目前的方法需要先将连续的视频画😴面转换成离散的符号，然后再进行训练。这种转换过程不可避免地会❤️丢失一些信息，就像将高清照片压缩成低分辨率图像一样。更关键的🚀是，模型的表现上限受到分词器质量的制约。即使后续的AI学习过😡程再完美，也无法超越分词器本身的信息提取能力。 视频数🤗据的冗余性也带来了挑战。相邻视频帧之间的高度相似性虽然降低了😎预测难度，但也可能阻碍模型学习更深层的时间模式。模型可能过度🤯依赖简单的时间插值，而没有真正理解复杂的动态过程。这就像一个🙄学生通过记忆相似题目的答案来应付考试，而没有真正掌握解题的原💯理。 在任务覆盖范围方面，当前的评估主要集中在分类、识💯别和跟踪等相对基础的任务上。对于更复杂的密集预测任务（如语义🤔分割、深度估计）、细粒度识别（如区分不同品种的鸟类），以及长🤔时间跨度的时间理解，模型的能力还没有得到充分验证。 研❤️究团队的设计选择评估也主要基于ImageNet分类任务的表现😊。虽然这个任务具有一定代表性，但可能不是所有应用场景的最优配😁置。不同任务可能需要不同的架构设计、训练策略和数据配比，这些😉都需要进一步的研究和优化。 八、未来展望：视觉AI的无😜限可能 尽管存在这些局限，这项研究为视觉AI的发展开辟🤯了一条充满希望的道路。它证明了简单的"看前猜后"策略能够让A😡I获得丰富的视觉理解能力，为构建更加通用的视觉智能系统提供了😆重要启发。 从技术发展角度来看，这项工作最重要的贡献是😆证明了视觉领域也存在类似语言模型的缩放规律。这意味着随着计算😆能力的提升和数据规模的扩大，视觉AI的能力将继续按照可预测的😴方式增长。这为未来的研究投资和技术规划提供了科学依据。 🎉 在实际应用方面，Toto展现出的多任务能力特别有价值。一个😘模型能够同时处理图像分类、视频理解、物体跟踪和机器人控制等不🙄同任务，这大大降低了系统的复杂性和维护成本。未来，我们可能看🎉到更多基于这种通用视觉模型的应用，从智能监控到自动驾驶，从医😘疗影像分析到增强现实。 对于机器人领域来说，这项研究特⭐别具有启发意义。传统的机器人视觉系统往往需要针对特定任务进行😜精心设计和调优，而Toto展现的通用视觉能力可能让机器人更容😜易适应新环境和新任务。一个经过大规模视频预训练的机器人可能只🌟需要少量特定任务的训练就能胜任复杂的操作。 在创意应用😎方面，具备时间理解能力的AI模型开辟了全新的可能性。从自动视😆频编辑、智能内容推荐，到沉浸式虚拟现实体验，这些应用都需要A🤔I深刻理解视频内容的时空结构。Toto在这些方向上展现的潜力🤯令人期待。 说到底，这项研究最重要的价值在于它的哲学启🤔示：智能不一定需要复杂的规则和精巧的设计，有时候最简单的学习😢原理就能产生最强大的能力。就像人类婴儿通过观察世界就能自然发😍展出丰富的认知能力一样，AI也能通过"观看"大量视频数据自然😡涌现出各种智能行为。这种发现让我们对构建真正通用的人工智能系🚀统更加乐观。 当然，距离创建能够像人类一样理解和互动世😡界的AI系统，我们还有很长的路要走。但这项研究无疑是朝着正确😊方向迈出的重要一步。它不仅推动了技术边界，更重要的是为整个领😢域提供了新的思考框架和研究范式。在AI快速发展的今天，这样的🤯基础性探索具有不可估量的价值。 有兴趣深入了解技术细节👍的读者可以通过搜索"An Empirical Study o🙄f Autoregressive Pre-training 😅from Videos"在学术平台上找到完整论文，其中包含了😊详细的实验设计、数学推导和补充分析。 Q&A Q💯1：Toto模型是如何学习理解视频的？ A：Toto采🙄用"看前猜后"的训练方式，就像教孩子看连环画一样。它观看了超👏过十万小时的各种视频内容，包括日常生活、运动场景等，通过不断🤔预测下一个画面来学习理解视觉世界的规律。这种方法被称为自回归😎预训练，让AI自然获得了图像识别、动作理解和物体跟踪等多种能🤩力。 Q2：为什么视觉AI的缩放效率比语言模型低？ 😊 A：主要因为视频数据的冗余性更高。相邻的视频帧往往非常相🤗似，这使得"预测下一帧"比"预测下一个词"相对容易一些。研究🥳发现第一帧预测最难，后续帧预测逐渐变容易，说明模型很快学会利🎉用时间冗余。因此同样增加计算资源，视觉模型的性能提升没有语言😘模型那么明显。 Q3：Toto在实际应用中表现如何？ 🎉 A：Toto在多个任务中都表现出色。在图像分类上达到7👍5.3%准确率，在视频理解任务中达到74.4%，在物体跟踪和😁机器人操作中也超越了多个专门模型。特别值得一提的是，它展现出😍了"物体永恒性"理解能力，能够跟踪被遮挡的物体，这种能力是通😡过观看视频自然涌现的，并非特意设计。返回搜狐，查看更多

北京市:市辖区:(东城区、西城区、朝阳区、丰台区、石景山区、海淀区、门头沟区、房山区、通州区、顺义区、昌平区、大兴区、怀柔区、平谷区、密云区、延庆区)

天津市:市辖区:(和平区、河东区、河西区、南开区、河北区、红桥区、东丽区、西青区、津南区、北辰区、武清区、宝坻区、滨海新区、宁河区、静海区、蓟州区)

河北省:石家庄市:(长安区、桥西区、新华区、井陉矿区、裕华区、藁城区、鹿泉区、栾城区、井陉县、正定县、行唐县、灵寿县、高邑县、深泽县、赞皇县、无极县、平山县、元氏县、赵县、石家庄高新技术产业开发区、石家庄循环化工园区、辛集市、晋州市、新乐市)

唐山市:(路南区、路北区、古冶区、开平区、丰南区、丰润区、曹妃甸区、滦南县、乐亭县、迁西县、玉田县、河北唐山芦台经济开发区、唐山市汉沽管理区、唐山高新技术产业开发区、河北唐山海港经济开发区、遵化市、迁安市、滦州市)

秦皇岛市:(海港区、山海关区、北戴河区、抚宁区、青龙满族自治县、昌黎县、卢龙县、秦皇岛市经济技术开发区、北戴河新区)

邯郸市:(邯山区、丛台区、复兴区、峰峰矿区、肥乡区、永年区、临漳县、成安县、大名县、涉县、磁县、邱县、鸡泽县、广平县、馆陶县、魏县、曲周县、邯郸经济技术开发区、邯郸冀南新区、武安市)

邢台市:(襄都区、信都区、任泽区、南和区、临城县、内丘县、柏乡县、隆尧县、宁晋县、巨鹿县、新河县、广宗县、平乡县、威县、清河县、临西县、河北邢台经济开发区、南宫市、沙河市)

保定市:(竞秀区、莲池区、满城区、清苑区、徐水区、涞水县、阜平县、定兴县、唐县、高阳县、容城县、涞源县、望都县、安新县、易县、曲阳县、蠡县、顺平县、博野县、雄县、保定高新技术产业开发区、保定白沟新城、涿州市、定州市、安国市、高碑店市)

张家口市:(桥东区、桥西区、宣化区、下花园区、万全区、崇礼区、张北县、康保县、沽源县、尚义县、蔚县、阳原县、怀安县、怀来县、涿鹿县、赤城县、张家口经济开发区、张家口市察北管理区、张家口市塞北管理区)

承德市:(双桥区、双滦区、鹰手营子矿区、承德县、兴隆县、滦平县、隆化县、丰宁满族自治县、宽城满族自治县、围场满族蒙古族自治县、承德高新技术产业开发区、平泉市)

沧州市:(新华区、运河区、沧县、青县、东光县、海兴县、盐山县、肃宁县、南皮县、吴桥县、献县、孟村回族自治县、河北沧州经济开发区、沧州高新技术产业开发区、沧州渤海新区、泊头市、任丘市、黄骅市、河间市)

不搞也是不现实的，毕竟领导职务这条路径太难走，尤其是在基层，💯而职级虽然存在这样那样的问题，终归还是能让广大基层干部和普通🚀干部看得到希望。当然，也有一个问题，就是如果不考虑领导的职级🎉晋升，那么又可能在更高一级的…