简短提示词让 Gemma 2、Mistral 7B、Llama 3.1 等小型开源模型 NLI 表现追平复杂方法

Rohan Paul· @rohanpaul_ai · X·2026-11-11 09:39· 41 分钟前AI 评分40

AI 导读

一篇论文发现，仅用带少量示例的简短直接提示词（In-Context Learning），小型开源 LLM 在自然语言推理（NLI）任务上就能追平更复杂的提示方法。

正文 · 原文

这篇论文发现，一个简短、直接的提示词加上少量示例（In-Context Learning），就能让小型开源 LLM 在自然语言推理任务上追平更复杂的提示方法。

这项任务名为 NLI，即判断一句话是否由另一句话推出、与另一句话矛盾，还是与另一句话无关。此前针对该任务的 LLM 研究依赖复杂的提示和采样技巧，并假定示例越多越有帮助。

他们在 3 个 NLI 数据集上测试了 5 个小型开源模型，包括 Gemma 2 9B、Mistral 7B 和 Llama 3.1 8B。每个模型都只收到 1 个简短、直接的提示词，附带 0 到 15 个示例，且不含推理步骤。

Mistral 7B 超过了已发表的一种上下文采样方法在同一模型上取得的 63.4% MNLI 准确率。在 MNLI 和 SciTail 上，Gemma 2、Llama 3.1 和 Mistral 使用 1 个示例或 15 个示例的得分大致相同。

来源：Rohan Paul · x.com