视觉版 o1 的初步探索世博体育(中国)官方网站，阶跃星辰 & 北航团队推出"慢感知"。

参议东说念主员以为：1）当今多模界限 o1-like 的模子，主要形态文本推理，对视觉感知的形态不够。2）雅致 / 深度感知是一个复杂任务，且是将来作念视觉推理的蹙迫基础。

而想路之一是如何把感知作念"慢"，即通过某种任务拆解（step-by-step）收场感知层面的 inference time scaling。

这里有个简便的例子：

题目是：按照螺旋线的端正，报出每个字母。

这是一齐 5 岁小孩的测试题，然而当今国表里还莫得一个多模模子八成正确解答。该题让东说念主来作念的话，会先感知并 trace 这条螺旋线，在 attention 到字母的位置将其纪录下来，越搭伙螺旋线中心，字母挨得会近一些，咱们 trace 的速率也会更慢少许，即央求一部分尽头"推理缱绻量"，以保证不会出错。

很彰着，这是典型的视觉 o1 任务，且该历程似乎不太需要偏文本的作念题式"想考"，它更偏向于深度"感知"。

基于以上分析，参议东说念主员漠视了慢感知（slow perception）的宗旨，主要想传达的是，不仅想考需要慢下来，感知相通需要。

作家选拔几何 parsing 任务对慢感知进行初步建模，原因主要有三点：

1）文本 reasoning 向的多摸态 o1-like 模子时常 pr 作念几何题，但要是模子连准确地 copy 几何齐作念不到，若何可能真确贯通几何里面复杂的点线酌量；

2）几何 parsing 任务其竣工够难，一直被大家 overlook，当今国表里莫得一个多模态大模子能作念好这件感知任务；

3）几何图形是东说念主对当然场景的综合，想把 system2 视觉模子作念 general，总得先从描一根线脱手。

△图 1. 慢感知的两个阶段：感知剖释和感知流动方式 & 现实：

慢感知（slow perception）分为两个阶段：

第一阶段称为感知剖释（perception decomposition），该历程将几何图形剖释为基本的风景单位 ——线：岂论是几边形，齐是由最基本的线组成。这么作念的刚正是不错妥洽复杂的几何表征，一定进程上幸免多峰优化问题。如图 1 中有 8 个三角形，况且彼此嵌套，径直让模子写 matplotlib/tikz 代码齐会遭遇多峰问题。这一阶段的办法是"化繁为简"。

第二阶段称为感知流动（perception flow）。东说念主在 trace 一条线的时辰，尤其是长线，很难一笔到位，即关于长程依赖的感知决策，不太会出现 1-hop-1-decision，对模子来说亦然一样。作家受东说念主使用尺子联接眼动的描线历程启发（如图 1 下），漠视了 perception flow。

具体地，模子基于一个臆造的感知尺（perceptual ruler），从线段的启动点慢慢描向远离点。作家把"眼动"历程中停留的位置称为注目点（gaze），关于一条长于感知尺的线段，悉数这个词感知历程被建模为在一个决策点通过屡次眼跳到达下一个决策点的历程（multi-hop-1-decision）。

感知尺的长度在一次探员中是固定的，这么短线和长线的推理缱绻量变得不同，这更稳健直观与上文的分析。虽然感知尺长度在探员前不错轻减轻发，作家发现其长度开采的越短，几何解析的性能越好。感知尺短诠释模子描一条线用的推理缱绻量大，即慢感知建模决议存在感知层面的 inference time scaling。

△表 1. 慢感知性能

△图 2. 慢感知 inference scaling

如上表 1 所示，baseline 代表感知尺无穷长，即悉数线段均从启动点径直瞻望远离点。n-length 代表感知尺长度为 n，n 是 matplotlib 画图距离，悉数几何图形画图在 -10 到 10 的坐标系中。不错看到感知尺长度从 12 到 4，悉数方针（包括 F1，Precision，Recall）齐在高涨。感知尺越短，描一根线的停顿（gaze 点）越多，缱绻量越大，inference time 也会越久。图 2 展示了慢感知 inference time scaling 的趋势。

△图 3. 抖动注目（gaze）点

为了考证感知流动是否依赖精确的注目（gaze）点，作家抖动了 gaze 点真值进行探员和测试，对比扫尾如图 3 所示。不错看到即等于基于抖动过的 gaze 点，模子性能依旧远高于 baseline（56.6% F1 vs. 51.4% F1），也仅比不抖动的情况低了 1%：慢感知最要道的是要建模一种从启动决策点到下一个决策点感知的正确流向，而中间的具体历程可能莫得那么要道。这一论断会大大裁汰将该方式用在通用场景上的标注难度。

△图 4. 可视化扫尾

更多可视化扫尾如图 4 所示，左边是输入，中间是 slow perception 每一笔的可视化，笔画端正用彩虹色（红 - 橙 - 黄 - 绿）暗意，临了一栏是最终几何解析的恶果。

△图 5. 几何解析扫尾最终比拟

不同多模态大模子几何解析智商对比如图 5 所示，不错看到慢感知建模决议使得模子对几何线段的感知智商更强。更多好奇好奇的论断和恶果请看原文。

论断：

现时基于 system1 感知的多模态大模子，看图过轻，感知不够雅致，这截至了其进一步发展：当咱们拿着一张片子给大夫看，而大夫不到 1 秒钟就看完毕，告诉你啥事莫得，咱们会请他再望望，条目他看的再仔细点。

视觉说话模子想要有更多的落地场景，system2 感知智商是第一步，感知要慢下来。slow perception 是参议东说念主员基于几何 parsing 任务，在视觉 sys2 上的初步探索，他们也在积极往更通用的任务上挪动，并赢得了初步的恶果。大家敬请期待。

开源地址：https://github.com/Ucas-HaoranWei/Slow-Perception  

论文地址：https://arxiv.org/abs/2412.20631世博体育(中国)官方网站