Sierra Ghostwriter 性能评测:五家客户如何评价这位 AI 队友
Ghostwriter’s performance review
Sierra 的 AI 队友 Ghostwriter 在 Slack 和 Teams 中协助客户构建智能体,持续审查对话、发布和指标并主动上报问题。ShipStation Global 借此减少了人工审查量,Carta 的聊天智能体无法创建支持工单时 Ghostwriter 已定位原因并列出受影响客户。Tilt 和 Imprint 则分别用它完成问题诊断交接和发布后效果追踪。
Ghostwriter 是一位 AI 队友,帮助我们的客户构建他们的智能体。它在 Slack 和 Teams 中与客户并肩工作,观察其智能体的表现,并提出改进建议,帮助客户更好地服务他们的客户。
就像任何队友一样,Ghostwriter 也会接受绩效评估,因此我们向五位客户征求了反馈。他们的回答中贯穿着一个共同主题:等到有人坐下来查看某个问题时,Ghostwriter 通常已经发现了它、弄清了原因,或者起草了一项修复变更。
在任何人报告之前发现问题
大多数团队都是在客户投诉时才得知其智能体出了问题。Ghostwriter 会持续对照每个团队设定的目标审查对话、发布和指标,并在团队频道中提出问题。在 ShipStation Global,这减少了团队手动审查的工作量。

由于 Ghostwriter 始终在观察,即使没人在旁边查看,它也能发现问题。在 Carta 的一天早上,它发帖指出聊天智能体无法创建支持工单。它已经找到了可能的原因并列出了受影响的客户,之后还确认了问题何时恢复。

追根溯源
当某处看起来不对劲时,最慢的环节往往是弄清原因。Ghostwriter 会追踪问题到其源头,无论是旅程的构建方式,还是智能体所依赖的某个系统,并在讨论串中列出它的发现。在 Tilt,从手机发送一个问题就足以完成问题诊断并移交处理。


由于每项修复都经过预先测试,ShipStation Global 团队花在翻查旅程和设置以弄清智能体为何如此行事上的时间更少了。

检查结果
变更上线后,Ghostwriter 会跟踪每项实验和发布,并回报其是否产生了效果。对于与全球一些最大品牌合作的 Imprint 来说,这正是他们在越来越多人参与其智能体工作时仍能保持质量的方式。

综合来看,这是一份强有力的首次绩效评估,而这仅仅是开始。Ghostwriter 与团队合作的时间越长,就越了解该团队的工作方式,因此我们对下一次评估更加期待。
来源:Sierra Blog · sierra.ai