arXiv cs.AI· Isaac Touza, Kaladzavi Guidedi, Kolyang·· 11 小时前AI 评分17
EANK：用遗传算法为 k-NN 优化实例级自适应邻居数 k
Evolutionary Adaptive Neighborhood Learning: A Genetic Algorithm for Instance-Dependent k Optimization in Nearest Neighbor Classification
AI 导读
研究者提出 EANK（Evolutionary Adaptive Neighborhood K），用低维策略将密度、标签熵、投票边际和集中度等局部邻域描述映射为实例级自适应 k(x)，并以实数编码精英遗传算法结合留一法准确率与邻域平滑惩罚进行优化。在合成数据与 12 个公开数据集上，嵌套交叉验证下 EANK 表现与调优的全局 k 基线相当，并优于默认 k=5。
正文 · AI 翻译
摘要：近邻数量 k 是 k 近邻（k-NN）分类器的核心超参数，通常通过交叉验证或进化搜索进行全局选择。然而，偏差-方差权衡本质上是局部的：稠密且无噪声的区域可能适合较小的邻域，而稀疏或含噪区域可能需要较大的邻域。由于全局 k 优化是一维的，用遗传算法替代穷举搜索几乎没有计算优势。因此，我们改为优化一种依赖于实例的邻域策略。我们提出 EANK（Evolutionary Adaptive Neighborhood K），它使用低维策略将局部邻域描述符（包括密度、标签熵、投票裕度和集中度）映射为自适应近邻数 k(x)。实数编码的精英遗传算法使用留一法准确率并加入邻域平滑惩罚来优化该策略。预计算的近邻投票降低了适应度评估成本。我们研究了该方法的理论性质，包括在训练准则上优于全局 k 解、进化收敛性、策略正则性以及泛化保证。在具有空间异质结构的合成数据和十二个公开数据集上的实验评估了预测性能、鲁棒性和计算成本。在嵌套交叉验证下，EANK 相对于调优的全局 k 基线取得了有竞争力的性能，并优于默认的 k=5。我们还考察了训练与测试性能之间的差距，以评估自适应邻域选择的实际价值。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07257 [cs.LG] |
| （或 arXiv:2611.07257v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07257 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Isaac Touza [查看邮箱]
[v1]
2026年11月5日星期四 00:14:13 UTC（624 KB）
来源：arXiv cs.AI · arxiv.org