arXiv cs.AI· Sungbin Moon, Jiho Park, Suyoung Hwang, Donghyun Koh, Seunghyun Moon, Minhyeong Lee·· 11 小时前AI 评分31
Operon：用命名维度增量构建不规则数据的 Rust 工作流引擎
Operon: Incremental Construction of Ragged Data via Named Dimensions
AI 导读
Operon 是一个基于 Rust 的工作流引擎，通过带显式依赖关系的命名维度形式化方法，原生支持不规则数据的形状与依赖追踪。其 DSL 中的维度标注可静态验证正确性，运行时在数据形状逐步发现的过程中动态调度任务，并证明增量构建算法在并行下保证确定性与合流性。实测相比现有工作流引擎降低 14.94x 基线开销，工作负载扩展时端到端输出速率接近线性。
正文 · AI 翻译
摘要：现代数据处理工作流经常遇到不规则数据：即长度可变的元素集合，这类数据在自然语言处理、科学测量和自主 AI 智能体等领域中自然出现。现有的工作流引擎缺乏对不规则数据所固有的形状和依赖关系进行原生跟踪的支持，迫使用户手动管理复杂的索引和依赖记录。我们提出了 Operon，一个基于 Rust 的工作流引擎，它通过一种新颖的具名维度形式化方法及显式依赖关系来应对这些挑战。Operon 提供了一种领域特定语言，用户在其中声明带有维度标注的流水线，这些标注会被静态验证以确保正确性，而运行时系统则在执行过程中逐步发现数据形状时动态调度任务。我们对用于推理部分形状的数学基础进行了形式化，并证明了 Operon 的增量构造算法在并行环境下保证确定性和合流性执行。该系统对部分已知状态的显式建模实现了稳健的持久化和恢复机制，而其按任务的多队列架构在异构任务类型之间实现了高效的并行性。实证评估表明，Operon 相比现有工作流引擎将基线开销降低了 14.94 倍，同时随着工作负载扩展保持接近线性的端到端输出速率，使其特别适用于机器学习应用中的大规模数据生成流水线。
| 主题： | 编程语言（cs.PL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2511.16080 [cs.PL] |
| （或 arXiv:2511.16080v2 [cs.PL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2511.16080 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Minhyeong Lee [查看电子邮件]
[v1]
2025 年 11 月 20 日星期四 06:16:31 UTC（132 KB）
[v2]
2026 年 10 月 16 日星期五 02:57:09 UTC（189 KB）
来源：arXiv cs.AI · arxiv.org