arXiv cs.CL· Jarrod Ragsdale, Rajendra Boppana·· 12 小时前AI 评分29
ShIOEnv:面向语法约束合成与执行行为建模的命令评测环境
ShIOEnv: A Command Evaluation Environment for Grammar-Constrained Synthesis and Execution Behavior Modeling
AI 导读
ShIOEnv 是一个兼容 Gymnasium 的 Bash 环境,可合成带执行标注的 shell 输入轨迹,记录 stdout、stderr、退出状态及结构化文件系统与环境补丁。
正文 · AI 翻译
摘要:我们推出 ShIOEnv,一个兼容 Gymnasium 的 Bash 环境,用于合成带执行标注的 shell 输入轨迹。包含此类轨迹的数据集有助于训练模型进行免执行的 shell 模拟,进而有助于部署用于网络欺骗的蜜罐。现有数据集(如 NL2CMD 及其他 Bash 命令语料库)不包含与命令执行相关的完整执行产物(stdout、stderr、退出状态以及系统状态的变化)。ShIOEnv 合成 shell 输入,在受控系统上下文中执行它们,并记录 stdout、stderr、退出状态以及结构化的文件系统和环境补丁。无约束(随机)生成 shell 输入(命令和参数)会导致多个参数实例大多冗余或导致执行错误。我们引入语法约束合成,以生成语法有效且输入不可约性高的参数,我们通过执行产物的自消融对比来估计该不可约性。我们使用语法约束和无约束合成准备了 160 万个样本,并收集了 86 个 Linux/Bash 工具的执行产物。利用该数据集,我们训练小型语言模型(CodeT5),并评估其预测攻击者来源的 Bash 命令实际执行行为的准确率。这些模型在输出编辑相似度(O-ES)上比常用的基于规则的模拟(Cowrie)和提示的大型语言模型高出多达 14.2 个百分点。我们通过构建 50 万个可在有根据的系统上下文中执行的样本及其完整执行产物来增强 NL2CMD 数据集。我们实证表明,在 O-ES 上,使用语法约束样本训练的模型比使用 NL2CMD 样本训练的模型高出 22.5 个百分点。ShIOEnv、命令语法以及我们主要评估中使用的 210 万个样本已发布,供其他研究人员使用。
| 评论: | 25 页,7 张图 |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2505.18374 [cs.CL] |
| (或 arXiv:2505.18374v3 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2505.18374 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Jarrod Ragsdale [查看电子邮件]
[v1]
2025 年 5 月 23 日星期五 21:00:57 UTC(4,487 KB)
[v2]
2026 年 3 月 5 日星期四 00:21:25 UTC(444 KB)
[v3]
2026 年 10 月 22 日星期四 15:49:19 UTC(704 KB)
来源:arXiv cs.CL · arxiv.org