LlamaIndex 披露 OCRia-1 推理提速近 10 倍

LlamaIndex 披露了其文档解析模型 OCRia-1 的推理优化方案，称在单张 B200 GPU 上把 token 生成速度从约 285 tokens/sec 提升到约 2800 tokens/sec，接近 10 倍。 LlamaIndex 称，针对自身场景选择不对视觉编码器做量化，以保留视觉精度；经评估，量化在其目标任务上基本无损，同时提升了推理吞吐。 OCRia-1 目前已在 LlamaParse 上线，覆盖其所有档位。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。