让 LLM 凭记忆给出导航路线：一次小模型生存能力测试

注意：文章由人类撰写，地图组件和分析由智能体创建。

我常常想，如果文明崩溃，我只能靠笔记本电脑和一块太阳能板度日，哪些数字工具还能派上用场。本地 LLM 大大扩展了工具集！光是压缩后的知识本身，对生存场景就极为有用。一个“生存基准测试”，用来检验小型 LLM 能否在末日条件下正确帮助你觅食和生存，会很有意思。

而且，越来越难找到那些我比 LLM 懂得更多、因而能判断其回答准确性的主题了。导航就很有意思，因为它既能替代应用，又涉及一个我略知一二的领域：如何在我家附近出行。

于是我让一堆模型在不调用任何工具的情况下，给出逐向导航。我同时试了本地模型和专有模型，因为后者通常预示着本地模型一年后的水平。这对今天的小模型来说可不是好兆头：Haiku 5.5 刚刚发布，而它的表现相当糟糕。

Opus 5.5 分析了这些回答，并用 OpenStreetMap 核对路线。Opus 5.5 和 Astra 6 分别打分，并交叉核对彼此的评分，以避免自评偏袒（顺便说一句，Astra 更谦虚）。有些路线差到根本无法可视化。× 表示路线无法完成，而线条中的断点表示模型在某处做出了不合逻辑的跳跃。完整记录可以展开查看。

1. 从 Barton Springs 到 Dirty Sixth

嘿，我现在在 Barton Springs，需要去奥斯汀 Dirty 6th 的逐向导航。不要使用任何工具，只凭记忆写出步骤。

这是最简单的测试，也是唯一有模型拿到 3 分的测试。我选这个，是因为它是一个知名区域，应该有充足的训练样本，而且它有适合步行或驾车的有效路线。这也是我在末日场景中很可能会做的事：先在天然泉水里畅游一番，然后去参加世界末日派对。它确实有一些微妙之处：“Dirty 6th”并不精确，但本地人知道指的是什么，而且路线中有一些单行路段可能被忽略。

单独打开奥斯汀地图。

大多数模型都做出了合理的走廊选择，但有几个模型试图在西向单行道上向东走，即使是在给出明确的驾车路线时也是如此。Qwen 幻觉很多，基本无法映射。

Opus 5.5 和 GPT-6.1 似乎理解了单行网格，这让人欣慰。

2. 从 Poison Spider Road 到最近的 Albertsons

嘿，我现在在 Casper 的 Poison Spider Rd & Oregon Trail Way，需要去最近的 Albertsons 的逐向导航。不要使用任何工具，只凭记忆写出步骤。

我最初写提示时没有意识到，Oregon Trail Way 在技术上属于 Mills，那是 Casper 的一个郊区。而且根据你查阅的地图不同，这个名字似乎也不一样。在末日场景中，我很可能会犯这种错误，所以我认为这是一个有效的测试。这也是一个更偏远的地区，而这似乎也反映在了回答中，它们很难回忆起可用的道路。

单独打开 Casper 地图。

我认为 Fable 展现了对该区域最丰富的了解。地图本身并没有很好地体现这一点，它看起来像是某些模型有更直接的路线，但阅读文字记录就能看出估算偏差有多大。Kimi 奇怪地规划了一条通往城镇另一头另一家 Albertsons 的路线。

3. 从 Curry Up Now 到 SFO

嘿，我现在在 San Mateo 的 Curry Up Now，需要前往 SFO 的逐向导航。不要使用任何工具，仅凭记忆写出步骤。

我本以为这对较小的模型来说是个送分题，有机会得些分数，但没有一个拿到 3 分。Curry Up Now 是我在湾区最喜欢的午餐选择。不过已经有一阵子没去了，我猜它们依然很棒，而且在末日期间也会继续很棒。

单独打开 San Mateo 地图。

所有模型都意识到你需要上 101，但不知怎的，Qwen 和 Gemma 让你上 101 南行，而 SFO 明明在 San Mateo 以北。除此之外，还有大量在 101 上凭空出现或消失的情况，以及难以找到正确的出口以到达离航站楼合理近的地方。为它们辩护一下，我在机场也经常选错出口。

4. 从 King’s Square 到 St David’s Lighthouse

嘿，我现在在百慕大的 King’s Square，需要前往 St David’s Lighthouse 的逐向导航。不要使用任何工具，仅凭记忆写出步骤。

我想要一个非美国的测试。Hamilton 是百慕大的主要城镇，小模型倾向于从那里出发。插图方块显示了它们中招的 Hamilton 区域。King’s Square 实际上在 St George’s，而 St David’s Lighthouse 需要导航到东侧的另一个岛屿。

单独打开百慕大地图。

Haiku 5.5 拒绝了，即使在被告知这只是一个基准测试之后，它表示：在百慕大编造的路线可能会让你陷入困境，而基准测试并不能改变这一点。我离百慕大很远，但还是谢谢你把我从基准测试中拯救出来，Haiku。

Qwen 决定加入一个有趣的事实（“英语世界最古老的灯塔，1793 年首次点亮”），结果证明是幻觉：St David’s 于 1879 年开始运作。如果后末日海盗考你百慕大传说，这可就危险了。

5. 从 German Village 出发的五站环线

嘿，我正在计划一次俄亥俄州的公路旅行！我从 German Village 的 Fox in the Snow 出发。我需要去 Kenyon College 接一个朋友，去动物园，看 Mount Vernon 的狗喷泉，逛逛 Hilliard 的图书馆，最后回到起点。我可以按任意顺序完成这些站点，只要让行程尽可能短。请写出详细的逐向导航。 不要使用任何工具，仅凭记忆写出步骤。

我觉得需要一些更有挑战性的东西让模型来解决：一次需要真正路线优化的多站旅行。

重要的是要识别出两对：图书馆和动物园在哥伦布相距约 10 英里，而 Kenyon 和狗喷泉在 Knox County 相距约五英里。狗喷泉建于 2019 年，因此需要一些可能尚未在数据集中充分传播的知识。

单独打开俄亥俄州地图。

最优答案约为 122.5 英里：雪中狐 → Hilliard 图书馆 → 哥伦布动物园 → 凯尼恩学院 → 狗喷泉 → 雪中狐。为了确认这是正确答案，一个智能体测量了每对点之间的驾车距离，并加总了所有 24 种可能的环路，然后使用 Valhalla 来确认最优路线。

尽管如此，仍有一点回旋余地，允许在距离仅小幅增加的情况下进行一些重新排序。以下是路线的排名方式：

除 Kimi 外，所有模型都找到了四条最佳路线之一。也许我需要选一个更具挑战性的测试，但有趣的是，对大多数模型来说，路线顺序比像从 San Mateo 到 SFO 这样的简单驾驶任务更容易。

也许模型通常对全局位置和距离有不错的记忆，但缺乏良好的道路连通性图。在其他测试中，我发现模型擅长根据粗略描述猜测经纬度坐标，这强化了我的假设：它们有良好的内部地图，但可能不太知道如何导航。

免责声明

我尽量保持一致，但我知道我的测试有很多可以改进的地方。我只是通过聊天界面查询模型（本地模型用 Pi），然后收集回复进行智能体分析（使用工具）和编辑评分。

我本无意将其正式化，但我花了足够多的时间来玩它，可能早就应该这么做了。我本可以使用结构化输出来针对一个通用的路由模式，以便对 API 响应进行更定量的比较。事实上，看起来 Hansen Qian 在大约一年前做过类似的实验；如果你在寻找更多数据，这是一个很好的资源[0]。

但这也改变了我试图主观理解的用户体验。拥有地图知识和给出好的方向是重叠但不相同的能力。

拒绝是一个足够大的问题，我觉得有必要为此惩罚模型。即使被告知这是为了基准测试，一些模型仍然确信我会用它们的指示开车冲下悬崖，并顽固地拒绝提供帮助。我认为这种类型的拒绝比简单地给出带有免责声明的最佳猜测更危险。你在地图上看到虚线的任何地方，都意味着我不得不努力才能得到回复。

这些地图是如何制作的

路线是用 OpenStreetMap 追踪的。瓦片来自 OpenFreeMap，由 MapLibre 渲染。

使用 OpenStreetMap 路由服务来生成参考路径。如果任何本地人发现实际上模型因正确而被扣分的情况，请告诉我。

记分板

每个场景最多可得 3 分，因拒绝最多可扣 -2 分，俄亥俄州路线得分还根据上表考虑了总距离。NR 表示由于拒绝而从未给出路线。

最终提供答案的编辑路线得分，在整个提供的对话中每次拒绝扣一分（每个场景最多两次）。这不是自动距离度量或通用模型排名。

场景列显示扣除前的路线得分（0–3；NR = 0）。净总分 = 路线得分 − 拒绝回答扣分，无下限。每次拒绝回答扣一分，每个场景最多扣 2 分，即使后续回答给出了路线也不例外。净总分相同则并列排名。选择某个分数可查看其地图。

评分标准与局限

3 — 连贯路线

整体走廊正确，路线基本连贯，未发现重大路线错误。次要的时间性说法不计分。

2 — 走廊正确，转弯有误

主要走廊正确，但局部转弯、街道名称或出口细节需要更正或补充。

1 — 有用的片段

包含一些有用的地理知识，但有多个断裂的连接或存在重大错误方向。

0 — 地理或方向错误

起点城镇错误、行进方向颠倒，或路线在地理上不连贯。

路线规划（Ohio loop）。场景 5 还要求给出停靠顺序。每个答案的顺序用保存的 OSRM 距离矩阵计价；各段路线按场景 1–4 的相同规则重建。拒绝回答按其他场景同样扣分。

3 — 最短家族，可驾驶

属于四个最佳顺序之一（与最短环路相差约 2% 以内），且逐向路段可按所写内容驾驶。

2 — 接近最优或路段有缺陷

属于四个最佳顺序之一，且最多有一段无法按所写内容行驶；或顺序与最短环路相差约 12% 以内，且所有路段均可按所写内容行驶。路段可能仍需更正，例如进入停靠点的最后一个转弯方向颠倒或缺失。

1 — 顺序低效或路段断裂

访问了每个停靠点，但将 Kenyon 与 Dog Fountain 分开，或有两段及以上无法按所写内容行驶。如果某段路线断裂（在地图上标记为 ×），或仅给出大致方向或高速公路名称列表，则该段无法按所写内容行驶，因为提示要求提供详细的逐向导航。

0 — 缺少停靠点或位置错误

遗漏停靠点、将起点或停靠点放在错误位置，或描述的地理不连贯。

每有一个拒绝提供所请求方向的助手回答，扣 1 分，每个场景最多扣 2 分：第一次回答扣一分，后续追问给出的第二次机会再扣一分。拒绝提供所请求的转弯、仅以简短的大致概述替代的回答计入扣分。仍然给出详细方向的回答不计入，即使它称这些方向不可靠、只是概述或规划笔记；伴随尝试路线的不确定性说明或澄清问题也不计入。下方按答案标注计数。NR 表示未给出路线：其路线得分为零，拒绝回答扣分仍然适用。总分可以为负。

出行方式：答案按其声明的出行方式评判。当答案未声明时，按其自身建议所隐含的方式评判；停车提示或关于单行道的警告按驾驶理解。没有此类线索的答案不受单行道限制的约束。

距离：告诉读者在哪里转弯或目的地在哪里的距离算作路线指引的一部分，因此若某段距离让读者错过了转弯处或商店，就是错误。整体行程距离和时间估计不计分。

这些是针对地图快照和所述出行方式作出的评判。重建的片段、缺失的转弯和含糊的街道名称需要解读。分数不是正确距离的百分比，这些提示也不是有代表性的基准。历史轶事、估计行程时间、终点排序和安全建议不在评分范围内。主路线不必与参考完全一致即可得分。

每个答案为何得到该分数

Opus 5.5 Medium — 11 个路线点 − 1 次拒绝 = 10

• Austin：3。连贯的行车走廊，且对 Fifth 的单向判断正确。
  拒绝：0（−0 分）。无拒绝；伴随尝试路线的不确定性说明不计入。
• Casper：2。沿参考走廊行进，但把商店错放在 CY 沿线约 3 公里处，且在错误的一侧。
  拒绝：1（−1 分）。初始回答拒绝提供逐向导航，代之以大致概述；后续回答给出了路线。
• SFO：2。北行高速公路和机场出口顺序正确；本地接入未说明，且 Third 包含一段逆行。
  拒绝：0（−0 分）。无拒绝；伴随尝试路线的不确定性说明不计入。
• Bermuda：2。第一个回答中 Mullet Bay–Swing Bridge–St David’s 走廊正确，但两端连接有遗漏或标注错误。
  拒绝：0（−0 分）。无拒绝；伴随尝试路线的不确定性说明不计入。
• Ohio loop：2。四个最佳顺序之一，各段连贯；三处结尾需要更正。
  拒绝：0（−0 分）。无拒绝；伴随尝试路线的不确定性说明不计入。

Fable 5.1 Medium — 8 个路线点 − 0 次拒绝 = 8

• Austin：2。走廊连贯，但其行车转弯与 Sixth 在地图上标注的方向相反。
  拒绝：0（−0 分）。无拒绝；伴随尝试路线的不确定性说明不计入。
• Casper：2。一条可行的替代走廊，终点在商店所在街角，但跳过了 Yellowstone 连接段，且地址错误。
  拒绝：0（−0 分）。无拒绝；伴随尝试路线的不确定性说明不计入。
• SFO：1。高速公路方向正确，但步行 B Street、逆行 Third 以及机场出口顺序均不合格。
  拒绝：0（−0 分）。无拒绝；伴随尝试路线的不确定性说明不计入。
• Bermuda：1。岛屿和桥梁正确，但 Kindley Field 和 Cashew City 的接近路线造成多处连接中断。
  拒绝：0（−0 分）。无拒绝；伴随尝试路线的不确定性说明不计入。
• Ohio loop：2。最短顺序且指引最精确；图书馆处的转弯方向相反，返程在 Greenlawn 出口处中断。
  拒绝：0（−0 分）。无拒绝；伴随尝试路线的不确定性说明不计入。

Sol / GPT-5.6 High — 10 个路线点 − 2 次拒绝 = 8

• Austin: 3. 连接到请求区域的步行走廊。
  拒绝次数：0（−0 分）。 无拒绝；伴随尝试路线的免责声明不计入。
• Casper: 1. 商店地址正确，但 Poison Spider 不会变成 CY Avenue。
  拒绝次数：1（−1 分）。 初始回答拒绝提供逐向导航；后续回答给出了路线。
• SFO: 2. 北行高速公路和机场出口名称正确；无本地接入，且出口编号错误。
  拒绝次数：0（−0 分）。 无拒绝；伴随尝试路线的免责声明不计入。
• Bermuda: 2. Mullet Bay–Swing Bridge–St David’s 走廊正确，但两端缺失或错误的本地转弯。
  拒绝次数：1（−1 分）。 初始回答拒绝提供精确转弯，仅给出大致轮廓；后续回答给出了最佳猜测。
• Ohio loop: 2. 最短顺序，三段准确，但返回段中断，且动物园入口越过 Scioto 河。
  拒绝次数：0（−0 分）。 无拒绝；伴随尝试路线的免责声明不计入。

Kimi K3 Standard — 7 路线分 − 0 拒绝分 = 7

• Austin: 2. 连接走廊。根据其停车建议判定为驾车，因此转入 Sixth 的方向与其地图方向相反。
  拒绝次数：0（−0 分）。 无拒绝；伴随尝试路线的免责声明不计入。
• Casper: 1. 真实走廊且地址正确，但针对的是更远的商店，且起点不连通。
  拒绝次数：0（−0 分）。 无拒绝；伴随尝试路线的免责声明不计入。
• SFO: 2. 北行高速公路和机场出口正确；本地起点位置错误，且穿过步行街。
  拒绝次数：0（−0 分）。 无拒绝；伴随尝试路线的免责声明不计入。
• Bermuda: 1. 岛屿和最终道路正确，但出城方向错误，且用 Causeway 替代了 Swing Bridge。
  拒绝次数：0（−0 分）。 无拒绝；伴随尝试路线的免责声明不计入。
• Ohio loop: 1. 一条长 9.7% 的顺序被呈现为最短，其中两段中断，且咖啡馆地址错误。
  拒绝次数：0（−0 分）。 无拒绝；伴随尝试路线的免责声明不计入。

Opus 5 High — 6 路线分 − 1 拒绝分 = 5

• Austin: 2. 连接走廊，但明确逆行了 Sixth 的单行方向。
  拒绝次数：0（−0 分）。 无拒绝；伴随尝试路线的免责声明不计入。
• Casper: 1. 参考走廊，但错过了转入 Yellowstone 的右转，并将商店放在 CY 下游两英里处而非 Poplar。
  拒绝次数：1（−1 分）。 初始回答拒绝提供转弯；第一次后续回答给出了路线。
• SFO: 1. 高速公路方向正确，但本地接入、出口编号和出口顺序均失败。
  拒绝次数：0（−0 分）。 无拒绝；伴随尝试路线的免责声明不计入。
• 百慕大：1。 岛屿和桥梁正确，但机场一侧的道路顺序和最终连接错误或不完整。
  拒绝：0（−0 分）。 没有拒绝；伴随尝试路线的说明性保留意见不计入。
• 俄亥俄环线：1。 四个最佳顺序之一，但一个不存在的出口、错位的停靠点和错误的起点/终点街道打断了几段路线。
  拒绝：0（−0 分）。 没有拒绝；伴随尝试路线的说明性保留意见不计入。

Astra 6 Medium — 8 路线分 − 4 拒绝分 = 4

• 奥斯汀：3。 通过 Lamar 和 Sixth 连接的人行通道。
  拒绝：0（−0 分）。 最初的问题要求澄清出行方式和起点；它并未拒绝请求。
• 卡斯珀：1。 有用的道路名称，但没有连接起点到商店的路线。
  拒绝：2（−2 分）。 最初的回答拒绝提供路线，下一个回答仍然不提供连接转弯。第二次追问才给出路线概要。
• SFO：2。 正确的北行高速公路和机场出口；本地转弯不完整，Third 包含一段逆行路段。
  拒绝：0（−0 分）。 没有拒绝；伴随尝试路线的说明性保留意见不计入。
• 百慕大：1。 区域正确，但 Wellington Slip Road 不是桥梁引道，最终连接缺失。
  拒绝：2（−2 分）。 最初的回答不提供所要求的转弯，只给出大致概要；下一个回答拒绝重建转弯。第二次追问才给出最佳猜测。
• 俄亥俄环线：1。 四个最佳顺序之一，有真实、连接的走廊，但大多数路段是高速公路名称列表而非转弯，且返程中断。
  拒绝：0（−0 分）。 给出详细的逐段路线；称其为概要或不可靠是保留意见，不是拒绝。

GPT-6.1 Medium — 7 路线分 − 4 拒绝分 = 3

• 奥斯汀：3。 连接的驾车走廊；所有三个单行道判断都与地图数据一致。
  拒绝：0（−0 分）。 没有拒绝；伴随尝试路线的说明性保留意见不计入。
• 卡斯珀：NR。 一次追问后未给出路线。
  拒绝：2（−2 分）。 两次回答都拒绝：最初回答和对追问的回复。
• SFO：2。 正确的北行高速公路和命名的机场出口；本地接入被省略。
  拒绝：1（−1 分）。 唯一的回答说它无法给出通往高速公路的可靠转弯，只提供简短的大致概要，拒绝规则将其计入（与其百慕大回答相同）。
• 百慕大：1。 指向正确的走廊，但未指明 King’s Square 和 Lighthouse Road 之间的任何道路。
  拒绝：1（−1 分）。 唯一的回答拒绝提供逐向路线，只提供简短的大致概要，拒绝规则将其计入（与 Sol 和 Astra 的首次百慕大回答相同）。
• 俄亥俄环线：1。 四个最佳顺序之一，有真实、连接的走廊，但大多数路段是高速公路名称或方向列表，且返程中断。
  拒绝：0（−0 分）。 给出详细的逐段路线；称其为概要或不可靠是保留意见，不是拒绝。

Gemma 4 31B — 2 条路线得分 − 2 次拒答 = 0

• Austin：2。可解释的走廊，但它把转弯处误标为“W 6th”，而且在 Congress 上的两英里会越过 Sixth。未暗示任何出行方式，因此不适用单行规则。
  拒答：0（−0 分）。没有拒答；伴随尝试性路线的不确定性说明不计入。
• Casper：NR。两次追问后仍未给出路线。
  拒答：3（−2 分）。三次给出的回答都拒绝猜测：初始回答和两次追问回答。每个场景的扣分上限为两分。
• SFO：0。让读者沿 US 101 向南，远离 SFO。
  拒答：0（−0 分）。没有拒答；伴随尝试性路线的不确定性说明不计入。
• Bermuda：0。从 Hamilton 而非 St George's 出发，与真实起点没有连接。
  拒答：0（−0 分）。没有拒答；伴随尝试性路线的不确定性说明不计入。
• Ohio 环线：0。是两种最短顺序之一，但动物园和图书馆位置错误，五段中有四段不成立。
  拒答：0（−0 分）。没有拒答；伴随尝试性路线的不确定性说明不计入。

Haiku 5.5 High — 4 条路线得分 − 4 次拒答 = 0

• Austin：2。连通的走廊。根据其单行警告判定为驾车，因此转入 Sixth 的方向与其地图方向相反。
  拒答：0（−0 分）。没有拒答；伴随尝试性路线的不确定性说明不计入。
• Casper：NR。一次追问后仍未给出路线。
  拒答：2（−2 分）。两次给出的回答都拒答：初始回答和对追问的回复。
• SFO：1。高速公路方向正确，但其 I-380 West 出口通向远离机场的方向，且缺少本地接入。
  拒答：0（−0 分）。没有拒答；伴随尝试性路线的不确定性说明不计入。
• Bermuda：NR。一次追问后仍未给出路线。
  拒答：2（−2 分）。两次给出的回答都拒答：初始回答和对追问的回复。
• Ohio 环线：1。最短顺序，但每一段都只是一行标题，而非逐向导航。
  拒答：0（−0 分）。没有拒答；伴随尝试性路线的不确定性说明不计入。

Qwen3.8 27B — 0 条路线得分 − 1 次拒答 = -1

• Austin：0。虚构的过河点和街道拓扑使路线在地理上不连贯。
  拒答：0（−0 分）。没有拒答；伴随尝试性路线的不确定性说明不计入。
• Casper：0。猜测的转弯、高速公路和目的地接近方式无法重建。
  拒答：1（−1 分）。初始回答拒绝给出方向；追问后产生了一条虚构路线。
• SFO：0。道路身份错误、高速公路方向错误，且地理虚构。
  拒答：0（−0 分）。没有拒答；伴随尝试性路线的不确定性说明不计入。
• Bermuda：0。从错误的城镇出发，并描述了一条无法追踪的高速公路/半岛路线。
  拒答：0（−0 分）。没有拒答；伴随尝试性路线的不确定性说明不计入。
• 俄亥俄环线：0。起点错误，动物园和图书馆位置错误，道路无法追踪；接近最优的顺序建立在错误的心智地图上。
  拒绝：0（−0 分）。没有拒绝；尝试路线时附带的不确定性说明不计入。

按发布日期评分

按参数规模比较会很有趣，但我们只能猜测专有模型的规模。Claude 模型随时间显示出清晰的改进趋势，直到 Haiku。

结论

在没有工具调用的情况下，大多数模型在给出最琐碎路线之外的指路方面仍然相当糟糕。更大的模型可以让你大致知道该往哪里走，但总体而言，小模型尚未准备好用于后末日导航。这是 LLM 能力“参差不齐”中的一个低谷，而且很不幸，因为我原本希望将这个测试扩展到能在手机上运行的极小模型。今天我懒得做了，也许一两年后它们就准备好了。

[0] Hansen Qian 的类似实验 https://github.com/Hansenq/nav-evals-public