近日，24 岁的 00 后博士生胡文博和地点团队造出一款名为 G²VLM 的超等 AI 模子，它是一位领有空间超智力的视觉谈话小高手，不仅能从平凡的平面图片中精确地重建出三维寰宇，还能像东说念主类相同进行复杂的空间念念考和空间推理。

它除了不错判断一张像片里有一把椅子除外，还能知说念这把椅子距离桌子有多远，更能知说念有多高、是正着放如故歪着放。这意味着，改日的机器东说念主可能会更生动地帮你拿取物品，AR/VR 游戏的寰宇会愈加真实，以致自动驾驶汽车能够更精确地判断距离和梗阻物。

在 SPAR-Bench 测试中，G²VLM 的总分比顶尖买卖模子 GPT-4o 超出了 18.5 分，位居榜首。在 OmniSpatial、MindCube 等多个空间推理测试基准中，它也取得了最优或极具竞争力的收货。

最赞佩的是，尽管 G²VLM 的模子尺寸唯有 4B 参数，远远小于一些动辄数百亿以致上千亿参数的大型模子，然则它在空间任务上的发达却简略跳动了这些大块头，这讲明它的双民众架构遐想得相称高效，不是靠蛮力，而是靠巧劲。

胡文博告诉 DeepTech：“机器东说念主要推行如泡咖啡这类复杂操作，必须及时、精确地舆解物体的位置、距离和相互关系。G²VLM 四肢一个广博的基础模子，不错为下流的具身智能模子提供预磨真金不怕火维持，极地面增强其空间感知与操作智力。”

从平面眼到立体眼：AI 的空间眼光进化史

G²VLM 和咱们手机里的图像识别软件有着骨子不同，要想默契它的独有之处得先从现存的视觉-谈话模子讲起。这类模子所存在的共同污点在于，它们只是领有平面眼。

假如你给这些 AI 看一张桌子的像片，经过海量图片磨真金不怕火的它们，不错很简略地识别出这是一张桌子，以致能够形色桌子的激情和形势。

然则，要是你问它：桌子左边的杯子距离桌子右边的竹帛大致有多远？或者你问它：能否绘图一张对于这个房间的三维结构图。这时，它可能就傻眼了。因为它处理图片的格式，就像把一幅有深度的油画压成一幅扁平的剪贴画，丢失了至关伏击的深度和空间关系信息。

这就像只通过影子来意象物体的体式，准确度相称低。也即是说这些 AI 模子主要依靠图片的纹理、激情和已有的常识比如桌子时常比杯子大来意象空间关系，而不是简直地舆解三维几何关连。因此，它们需要在精确空间感知的任务上，比如机器东说念主导航、三维场景剪辑或者回回应杂的空间关系问题时，发达得差强东说念主意。

灵感开首于东说念主脑，打造双民众互助系统

胡文博等东说念主在遐想 G²VLM 的时期，从东说念主脑处理视觉信息的格式中赢得了灵感。东说念主脑主要有两条视觉处理通路：第一条是“是什么”的通路，该通路厚爱识别物体是什么。

比如，看到红色、圆形、有柄的东西，就能认出来这是苹果、第二条是“在那儿”的通路，该通路厚爱判断物体的位置、距离和空间关系。比如，判断苹果在盘子上方，距离东说念主手大致有 20 厘米。

G²VLM 将这个旨趣用在了 AI 模子上，它不是一个单一的“大脑”，而是由两位民众精雅合作组成的：

第一位是几何感知民众，这位民众的专长是从 2D 图片中解读 3D 几何信息，它的想法是弄清醒物体的深度、各个点的三维坐标，以及拍录像片的相机角度。

第二位民众是语义感知民众，这位民众吸收了现存 AI 模子的优点，擅长默契图片内容并用谈话进行形色。它能认出物体和默契场景，并能回答一般性问题。

最要道的是，这两位民众并不是各利己战，而是通过一个分享的扎眼力机制来进行精雅连络，以便能够随时相通信息。当语义民众说“这里有个沙发”时，几何民众就会立马补充说：“这个沙发距离墙壁大致有 1.5 米，高度是 0.8 米。”这种及时的、深度的互助，让 G²VLM 同期具备了看懂内容和默契空间的超智力。

独有的学艺历程：两步磨真金不怕火法

培养这么一位双料民众并非易事，胡文博为 G²VLM 遐想了一套独有的学艺决策：

在第一阶段，让其闭关修皆几何神功。最初，得固定住语义民众也即是让它暂时休息，此时只针对几何民众进行磨真金不怕火。胡文博等东说念主使用带有精确三维标注的数据来磨真金不怕火它。

这就好比让别称改日的建筑测量师，在领有完好蓝图的千千万万个建筑模子上反复进修，直到炼就一对枉尽心机，光看像片就能在脑中精确构建三维模子。这个历程相称耗尽缱绻资源，需要在数十台顶级显卡上贯串磨真金不怕火好几天。

在第二阶段，让其进行交融意会。当几何民众初步炼就基本功之后，就轮到它和另一位民众统共磨真金不怕火了。

这时，磨真金不怕火数据形成了各式需要空间推理的问题，比如需要贬责“字据这两张从不同角度拍摄的像片来判断球是滚向了左边如故右边？”在这个阶段，语义民众被叫醒之后，能够学习怎样主动诈欺几何民众提供的深度和距离等信息往来答问题。

而几何民众也有可能进行自我微调，来让我方提供的空间信息愈加适用于高档推理。通过这种聚会，两位民众磨合得越来越好，最终合体成为广博的 G²VLM。

在多个海外 AI“比武擂台”上讲明我方

练成之后的 G²VLM 到底有多强？

在三维重建的测试中：就深度忖度来说，给定一张单视角像片，它能忖度出像片中每个像素点距离相机的施行深度，差错很小；就点云忖度来说，给定几张多视角像片，它能生成密集且准确的三维点云模子，清醒地勾画出物体的体式；就相机姿态忖度来说，它能反推出拍摄每张照良晌，相机在空间中的精确位置和角度。

在这些隧说念考验三维几何默契智力的任务上，G²VLM 的发达与刻下寰宇上最顶尖的专用三维重建模子不相凹凸，以致在某些筹办上愈加出色，这意味着它的立体眼仍是达到了专科水准。

在空间推理的测试中，它展现出了最明慧的部分。胡文博等东说念主在包含了深度相比、距离判断、物体相对关系、空间遐想等各类贫苦的轮廓评测集上测试了 G²VLM，于是便有了本文伊始的精彩发达。

对于 G²VLM 这么一个领有立体眼和空间脑的 AI 来说，它会打绽放往更多应用的大门，比如打造更智能的机器东说念主助手、打造千里浸感更强的 AR 和 VR、打造自动驾驶的安全卫士、打造东说念主东说念主可用的三维内容创作用具、打造广博的视觉问答与教练等。

胡文博示意：“这项恶果的始创性在于，咱们是首个在刻下主流视觉谈话模子架构中，原生地集成了从二维图片奏凯展望三维信息的智力。以往要默契三维空间，时时需要依赖深度图、相机位姿等难以大边界获取的特地标注信息。

而咱们的模子仅需轻易角度拍摄的二维图片，就能展望出三维信息，并用于空间默契，这使得模子能够扩张到海量数据上进行磨真金不怕火，更具实用性和可扩张性。”

G²VLM 的破损性不啻体目下测试收货里的那些数字，还在于它所蕴含的理念。那即是要想让 AI 简直默契咱们身处的物理奏凯，不可只让它学习图片和翰墨，还得造就它对于这个寰宇的底层的、根底的几何与空间门径。“总之，G²VLM 四肢一个广博的基础模子，不错为下流的具身智能模子提供预磨真金不怕火维持，极地面增强其空间感知与操作智力。”胡文博归来称。

另据悉，胡文博本科就读于好意思国加州大学圣地亚哥分校，曾跟当场器东说念主学与具身智能领域民众苏昊进行盘问，斗争机器东说念主机械臂和三维学习，这引发了他对 3D 和具身智能的浓厚意思意思。

随后，胡文博随同缱绻机视觉民众屠卓文干与视觉谈话模子领域，参与建造了早期开源 VLM 模子 BLIVA，该模子在默契图像中的翰墨和通用场景方面发达超过，关联论文发表在 AAAI 2024，赢得了数百次援用。这为胡文博刻下的盘问奠定了伏击基础。

本科毕业后，胡文博在好意思国加州大学洛杉矶分校攻读硕士学位，师从常凯威导师和彭楠赟导师（他们目下亦然胡文博的博士导师），期间胡文博赓续专注于 VLM 与 3D 空间衔尾的盘问想法，完成了一系列关联使命，关联论文发表在了 NeurIPS、ICLR 等机器学习顶级会议, 还赢得了 CVPR Workshop 最好论文, 目下他依然在攻读博士。

参考而已：

关联论文 https://arxiv.org/pdf/2511.21688

运营/排版：何晨龙