8月6日,Composio在X平台发布推文,公布了一项针对4个AI编程智能体框架的测试结果。测试涉及30项任务,旨在评估各框架在DeepSeekV4Flash正式版性能上的表现。Composio,一家成立于2023年的旧金山公司,专注于开源AI智能体工具集成平台,旨在帮助开发者快速构建生产级AI智能体。
在测试中,OhMyPi以17/30的成功率领先,但速度最慢,每个任务平均耗时272秒。OpenCode的成本最低,每个成功任务成本仅为0.073美元。而ClaudeCode以122秒的速度最快,但成本最高,每个任务成本0.195美元。尽管ClaudeCode在工具调用次数和生成输出令牌上最少,但其成本效益比并不理想。测试使用了Gmail、GitHub、Slack和Notion等真实工具,以确保结果的实用性和准确性。


