- 上云资讯 -
2025-05-06 08:34:17 46人关注
OpenAI最新基准测试:AI编程能力达人类四分之一，显现局限性
OpenAI近日发布了一项重要的AI编程能力评估报告，通过价值100万美元的实际开发项目揭示了AI在软件开发领域的现状。这项名为SWE-Lancer的基准测试涵盖了1，400个来自Upwork的真实项目，全面评估AI在直接开发和项目管理两大领域的表现。
2025-01-28 09:23:28 101人关注
AI 在高级历史考试中表现不佳：GPT-4 Turbo 准确率仅 46%
近日，一项由奥地利复杂科学研究所（CSH）主导的研究显示，尽管大型语言模型(LLMs)在多项任务中表现优异，但在应对高级历史问题时却暴露了短板。研究团队针对三大顶尖模型进行测试，包括 OpenAI 的 GPT-4、Meta 的 Llama 和谷歌的 Gemini，结果让人失望。
2025-01-21 21:37:30 113人关注
阿里推新 AI 基准测试 “PROCESSBENCH”，评估数学推理中的错误识别能力
近日，阿里巴巴 Qwen 团队的研究人员推出了一个名为 “PROCESSBENCH” 的新基准测试，旨在衡量语言模型在数学推理中识别过程错误的能力。随着语言模型在复杂推理任务中取得显著进展，这一领域的研究者们发现，尽管模型表现出色，但在处理某些困难问题时依然面临挑战。因此，开发一种有效的监督方法显得尤为重要。
2024-12-29 00:42:36 88人关注
OpenAI发布AI智能体的评测集：MLE-bench
在近期的一项研究中，OpenAI研究团队推出了名为 MLE-bench 的全新基准测试，旨在评估AI智能体在机器学习工程方面的表现。