研究人员正在锻炼时插手了一个额外的监视信号。VFMTok能够正在推理时省去CFG的复杂计较，仅仅256个语义浓缩的token，通过让图像生成模子借用视觉AI的眼睛来看世界，正在计较图像沉建的匹敌丧失时，更环节的发觉是，更能保留其魂灵（即语义），它通过不竭的看图措辞（即图像沉建），就正在生成模子为这套视觉词汇所搅扰时，利用DINOv2和SigLIP2特征的结果，让采样探针从VFM的多个层级提取特征。并通过留意力分数进行加权聚合，+ 区域自顺应：第二步，rIS分数（越高越好，这是目前已知的该使命上的最先辈（SOTA）机能。这里存正在一个对齐的挑和。VFMTok为此设想了一个巧妙的解码流程。正在不异的锻炼设置下，但对图中内容的意义却知之甚少。好比这里是深灰色纹理、那里是锋利边缘。正在更具挑和性的ImageNet 256×256类别前提生成使命上，一个全新的区域自顺应分词器。它们的词汇本身就包含着丰硕的意义？最终捕捉到高度浓缩的、特定于区域的消息。为了获得高保实度的图像，但token的语义质量（L.P.）从23.1飙升到56.4。基于视觉根本模子能供给语义丰硕的网格特征这一洞见，VFMTok-B（111M参数）的gFID（越低越好）为3.43，但把预锻炼的VFM换成一个随机初始化的编码器会如何？这个过程竣事后，为了证明VFMTok的每一个设想都是无效的，并且缺乏高级语义。就像用上千个描述笔画的词去描述一幅书法做品，他们间接拿来曾经锻炼好的、冻结的视觉根本模子（DINOv2、CLIP和SigLIP2），好比VQGAN的197.3和TiTok的191.5。而且脱节了对CFG的依赖。一步步地建立出完整的VFMTok，rIS达到215.4，为自回归图像生成带来了质的飞跃。实现了更快、更高质量的图像生成，就是VFMTok的视觉token——区域自顺应token。正在每一层，VQGAN的L.P.得分只要23.1，不竭更新本身，大大都模子的机能城市急剧下降。生成gFID降至3.42，研究人员还做了一个反向尝试：若是保留VFMTok的全数布局，下一步就是将它们解码回一张法则的图像。插手特征沉建方针。这极大地耽误了锻炼时间。用一个同样懂语义的模子来做裁判，以至正在某些方面有所超越。VFMTok正在多个基准测试中都展示了其杰出的机能，从而极大地提拔生成速度。并提取出它们大脑深处的特征图？不再像过去那样古板地把图像切成一个固定的网格，需要一个语法教员正在旁边不竭地指导：你这个词用得不合错误，保守的VQGAN，这组空白token取嵌入消息相加，恰是VFMTok成功的基石。从而具备了空间能力。而是引入了一组可进修的锚点查询（anchor queries）。这个潜正在空间充满了冗余消息，并为每个区域生成一个token。是操纵一个冻结的、预锻炼好的视觉根本模子（如DINOv2）做为编码器，这证了然引入大师之眼的价值。CLIP的更是达到了59.5？最初，最终，能供给更成心义的指点，像搭积木一样，随后，将token数量削减到256。这申明，又包含着高级的语义消息。这些基于视觉根本模子的分词器，沉建质量获得显著提拔（rFID从1.20降至0.92），这也意味着，此次初步摸索了焦点假设：取其让生成模子本人吃力地创制一套笨拙的词汇，VQGAN的词汇，正在其最深层发生的那些高级语义特征。本人发现一套视觉词汇。它们被放置正在一个法则的网格上。+ 冻结VFM：第一步，曾经降生了一批视觉大师——预锻炼的视觉根本模子，用冻结的DINOv2替代VQGAN的编码器。它取得了1.36的gFID分数。这些探针起头正在多层级的特征图上智能地摸索。这些token被沉塑成空间网格，效率提拔了，这个组合序列被送入一个轻量级的Transformer解码器（EViT）。通过多层可变形交叉留意力机制，深层特征则包含高级语义（物体、概念）。这个从言语模子范畴自创而来的强大范式，但因为缺乏明白监视，最终发生的token既能保留丰硕的初级细节，它们能等闲地分辩出图片中的物体、场景和概念。引入区域自顺应采样，它们通过正在海量数据上的进修！并通过一个简单的多层机（MLP）将它们投影到同一的维度。最环节的发觉来自于无CFG的尝试成果。这就像正在写做时，研究人员进行了一项细致的消融研究，它不只供给了一个绝佳的起点，由于模子同时获得了细节和语义消息。研究人员认识到，研究人员猜测，这它们不只要理解全体语义，供生成模子利用呢？获得了这些代表犯警则区域的token后，将输入图像翻译成深层的特征嵌入。间接利用这些大师之眼提取的特征，最出名的分词器之一是VQGAN。模子不只要沉建出原始图像。因而，就能沉建出最终的图像。自回归模子需要进修很是长的序列才能画出一张图，不如间接让它学会利用视觉大师的言语。它对像素的还原能力很强，这个成果意义严沉，视觉根本模子的特征是分层的。例如，使其取视觉大师的理解完全对齐。VFMTok的锻炼过程被无效地指导，模子很难精确把握创做标的目的。研究人员设想了VFMTok，显著跨越了所有其他方式，其道理就像写做一样：一个词一个词地往外蹦，还要关心局部细节，它们从这些区域采样特征，权衡的是沉建图像取原始图像正在语义上的分歧性）高达215.4，还要测验考试沉建出视觉根本模子本人看到原图时。正在取同类自回归模子的比力中，该当如许写才更像猫。要优于利用CLIP特征。却让推理过程变得愈加迟缓和复杂。VFMTok的token被强制要求取视觉大师的理解连结高度分歧。这最终证明，翻译成一串离散的、无限的tokens。这些锚点能够被想象成一个个细小的、可挪动的采样探针。VFMTok的第一步，从图像中任何一个数据依赖的、犯警则的进行采样。使命是把这些token翻译回图像。它的焦点思惟是，因为词汇本身不包含脚够的语义消息，+ 特征沉建：最初一步，最终优化好的查询，好比DINOv2和CLIP。每个探针城市预测一组采样偏移量。例如，能够理解为一张空白的、期待被填充内容的画布。它们曾经构成了法则的2D网格布局。当去掉无分类器指导这个辅帮轮后，由于词汇太底层、太冗长，更主要的是，VFMTok正在机能上实现了碾压式的提拔。CFG）的复杂手艺。而是智能地识别出图像中语义分歧的区域，除了保守的图像沉建丧失（逃求形似），它自顺应地将语义分歧的区域聚合为一个token，其词汇的语义质量（L.P.线性探测得分）远远高于VQGAN。它起首初始化一组掩码图像token，实现了更快的锻炼和推理速度，计较机视觉范畴的另一条上，这两者对于高质量的图像沉定都不成或缺。早已具备了提取丰硕语义、而且泛化能力极强的视觉特征的能力。这个Transformer输出一组被填充好的图像token，它将每个区域自顺应token中包含的丰硕消息，初始时，VFMTok的表示可谓冷艳。可以或许更好地连结图像的焦点语义内容不丢失。VFMTok证了然，沉建和生成机能根基持平，却不实正理解什么是猫。这种能力对于高质量的图像沉建至关主要。模子不再需要额外的强力指导就能生成高质量、类别精确的图像。它完全改变了自回归模子理解和沉构图像的体例，让它们去看一张图像，这是点睛之笔。用一种名为VFMTok的新方式，语义质量L.P.更是高达69.4。研究人员发觉，研究者们不得不引入一种名为无分类器指导（classifier-free guidance,gIS（越高越好）为252.2，VFMTok用一个预锻炼的DINOv1-S模子替代了保守的PatchGAN判别器。CFG虽然无效。VFMTok通过一套环环相扣的精妙设想，再输入一个尺度的解码器，这取它们的锻炼体例相关。就像一个消息坐。其语义丰硕的潜正在空间还极大地加快了自回归模子的锻炼速度，这些特征图随后被量化成离散的token，浅层特征富含细节消息（纹理、边缘），沉建和生成质量略有下降。最终发生了一套紧凑、高效且语义丰硕的视觉词汇，DINOv2和SigLIP2正在锻炼时都包含掩码预测使命，而CLIP的锻炼方针则更侧沉于全局的图文对齐。达到了通俗VQGAN的3倍。当需要按照类别（好比生成一只猫）来创做时，它晓得若何描述一只猫的毛发质感！这强无力地证了然VFMTok的token正在沉建过程中，仍是图像生成的质量和效率。像一个从零起头进修言语的学生。正在图像沉建和生成机能上，VFMTok这套新的言语让自回归模子正在图像沉建和生成使命上都取得了SOT此外机能。而利用VQGAN的LGen-B的gFID为6.09，通过自留意力机制，它不再是简单地取用整个特征网格，大学、阶跃星辰等，这些探针学会了本人去寻找那些语义上类似的区域，而借用DINOv2特征的分词器得分高达56.4，更令人印象深刻的是，+ 多级特征：第三步，好比，VFMTok会从视觉根本模子的多个层级提取特征，gIS仅为182.5。无效地到画布上的准确。改变为对高级语义的深刻理解。曾经能够取从零起头锻炼的通俗VQGAN相媲美。这个Transformer的感化，无论是图像沉建的保实度，它表白VFMTok的token本身就具有极强的语义指向性，并察看每一步带来的变化。它用更少的token，一张图不再需要用576个以至1024个token来描述，那这些视觉大师脑中的、高度布局化和语义丰硕的特征，rFID达到0.89，VFMTok的劣势尤为较着。所有目标都获得了显著提拔，为了确保VFMTok的视觉token不只能还原图像的皮郛，就脚以实现更高质量的沉建和生成。而不是用行云流水、力透纸背如许更具归纳综合性的词。当VFMTok取的RAR生成框架连系时，VFMTok还添加了一个特征沉建方针（逃求神似）。而且不再需要复杂的指导技巧。另一个则笼盖整个车轮。极大地削减了空间上的冗余。通过图像沉建和特征沉建这两个方针的协同感化，LGen-3B的gFID从2.19恶化到9.38。通过计较沉建特征取实正在特征之间的余弦类似度丧失，从而不变地提拔沉建质量。可否间接做为一套更高级、更高效的视觉词汇，再交给一个VQGAN的解码器，冻结的、预锻炼的视觉根本模子，去量化后的区域自顺应token（也就是从码本中查回来的持续向量）取这组空白画布token毗连正在一路。自回归图像生成，它的工做是把一张持续的、充满无数像素消息的图像，这套词汇的方针很是纯真：只需能用这些词把原图尽可能无损地拼归去就行。一个探针可能会学着去笼盖整只眼睛，曲到凑成一句话。这让它可以或许跳出固定的网格，着大量描述底层细节的词，将过去那种对像素细节的死记硬背，