- 上云资讯 -
2025-06-10 10:40:30 39人关注
红杉中国推出全新 AI 基准测试工具，助力智能体评估新标准
随着人工智能技术的迅速发展，尤其是大型模型的不断进步，基准测试在评估 AI 能力时面临着前所未有的挑战。为了应对这一现状，红杉中国于5月26日宣布推出一款全新的 AI 基准测试工具 ——xbench。这款工具不仅是针对 AI 模型能力的评估，还引入了动态更新机制，确保测试的有效性和公正性。
2025-05-17 14:23:44 40人关注
OpenAI 员工公开质疑 xAI：Grok 3 基准测试结果存在误导
近期，关于人工智能基准测试的争论在公众视野中愈演愈烈。OpenAI 的一名员工指责马斯克创办的 AI 公司 xAI 发布了误导性的 Grok3基准测试结果，而 xAI 的联合创始人伊戈尔・巴布申金则坚称公司没有问题。
OpenAI员工质疑xAI OpenAI员工质疑Grok3基准测试 xAI Grok3性能争议 OpenAI与xAI技术对比 AI大模型基准测试争议
2025-05-12 10:35:24 40人关注
首个智能文档处理基准发布：Gemini领跑但短板待补，多模态AI面临现实挑战
5月11日，智能文档处理领域迎来重大进展——首个针对视觉-语言模型的统一基准测试"IDP Leaderboard"正式推出。该基准通过16个数据集、9229份文档，全面评估了当前主流模型在OCR、关键信息提取、视觉问答、表格提取、分类和长文档处理六大核心任务上的表现，为行业发展提供了可量化参考。
2025-05-10 16:14:11 42人关注
UGMathBench动态基准测试数据集发布 可评估语言模型数学推理能力
近日，魔搭ModelScope社区宣布发布一项名为UGMathBench的动态基准测试数据集，旨在全面评估语言模型在本科数学广泛科目中的数学推理能力。这一数据集的问世，填补了当前在本科数学领域评估语言模型推理能力的空白，并为研究者提供了更为丰富和具有挑战性的测试平台。
2025-05-06 08:34:17 49人关注
OpenAI最新基准测试:AI编程能力达人类四分之一，显现局限性
OpenAI近日发布了一项重要的AI编程能力评估报告，通过价值100万美元的实际开发项目揭示了AI在软件开发领域的现状。这项名为SWE-Lancer的基准测试涵盖了1，400个来自Upwork的真实项目，全面评估AI在直接开发和项目管理两大领域的表现。
2025-05-02 10:23:24 51人关注
AI基准测试平台LMArena陷争议：研究指责其偏袒OpenAI、谷歌和Meta
人工智能领域知名的公共基准测试平台LMArena近日遭遇信任危机。一项新的研究指出，该平台的排名系统存在偏袒OpenAI、谷歌和Meta等大型供应商的结构性问题，其不透明的流程和头部企业的固有优势可能导致排名失真。然而，LMArena运营团队已公开否认这些指控。
AI基准测试 LMarena争议 OpenAI基准测试 Google AI基准测试 Meta AI基准测试 AI大模型评测
2025-04-27 08:41:41 39人关注
OpenAI 推出 SWE-Lancer 基准测试:评估真实世界自由软件工程工作的模型性能
在软件工程领域，随着挑战的不断演变，传统的基准测试方法显得力不从心。自由职业的软件工程工作复杂多变，远不止是孤立的编码任务。自由职业工程师需要处理整个代码库，集成多种系统，并满足复杂的客户需求。而传统的评估方法通常侧重于单元测试，无法充分反映全栈性能和解决方案的实际经济影响。因此，开发更为真实的评估方法显得尤为重要。
2025-04-18 16:32:40 62人关注
AI 基准测试平台 Chatbot Arena 成立一家新公司
在 AI 行业快速发展的背景下，Chatbot Arena 这个众包 AI 基准测试项目正在扩展其影响力，正式成立了一家名为 Arena Intelligence Inc. 的新公司。根据彭博社的报道，Chatbot Arena 旨在通过这家新公司获取更多资源，从而显著改善其平台的功能和服务。
2025-02-21 12:39:26 205人关注
ScreenSpot-Pro：专为高分辨率环境设计的多模态 LLM 基准工具！
在专业环境中，图形用户界面（GUI）代理面临着三大关键挑战。首先，专业应用程序的复杂性远高于一般软件，要求对复杂布局有深入理解;其次，专业工具通常具备更高的分辨率，导致目标尺寸较小，从而降低了定位准确性;最后，工作流程往往依赖于额外工具和文档，增加了操作的复杂性。这些挑战凸显了开发更先进的基准和解决方案以提升 GUI 代理在这些严苛场景中的性能的必要性。
高分辨率多模态LLM基准 ScreenSpot Pro评测 多模态大模型基准测试 ScreenSpot Pro应用场景 高分辨率多模态基准
2025-01-28 05:35:24 105人关注
AI 基准组织因未及时披露 OpenAI 资金遭批评
近期，开发 AI 数学基准的非营利组织 Epoch AI 因未及时披露其获得 OpenAI 资金而引发争议。该组织于12月20日宣布，OpenAI 资助了名为 FrontierMath 的项目，这是一项旨在测试 AI 数学能力的基准，OpenAI 还利用该基准展示了其即将推出的旗舰 AI 产品 o3。
2025-01-24 08:20:30 157人关注
果然最强！OpenAI 新模型o3在ARC-AGI基准测试得分破纪录
OpenAI 发布的最新模型 o3在 ARC-AGI 基准测试中取得了惊人的成绩，标准计算条件下得分高达75.7%，而高计算版本更是达到了87.5%。这一成就令 AI 研究界感到意外，但仍无法证明人工智能通用性（AGI）已被破解。
2025-01-23 17:31:10 143人关注
智源与腾讯推出长文本理解基准测试模型LongBench v2
在2024年12月19日的发布会上，智源研究院与腾讯宣布推出LongBench v2，这是一个专为评估大语言模型（LLMs）在真实世界长文本多任务中的深度理解与推理能力而设计的基准测试。该平台旨在推动长文本模型在理解和推理方面的进步，回应了当前长文本大语言模型在应用中的挑战。
2025-01-21 21:37:30 114人关注
阿里推新 AI 基准测试 “PROCESSBENCH”，评估数学推理中的错误识别能力
近日，阿里巴巴 Qwen 团队的研究人员推出了一个名为 “PROCESSBENCH” 的新基准测试，旨在衡量语言模型在数学推理中识别过程错误的能力。随着语言模型在复杂推理任务中取得显著进展，这一领域的研究者们发现，尽管模型表现出色，但在处理某些困难问题时依然面临挑战。因此，开发一种有效的监督方法显得尤为重要。
2025-01-20 12:37:32 175人关注
ARC-AGI 基准即将突破，但创始人警告测试设计存在缺陷
人工智能领域的一个重要基准，ARC-AGI，即“通用人工智能抽象和推理语料库”，即将取得突破性进展。然而，测试的创始人弗朗索瓦·肖莱（Francois Chollet）警告，尽管成绩提高，但这并不意味着我们接近实现通用人工智能(AGI)。他指出，这项测试本身存在设计缺陷，且其所能揭示的并非真正的研究突破。
2025-01-19 22:35:26 47人关注
Anthropic推出新计划，资助新一代AI基准测试的开发
Anthropic 推出了一个计划，资助开发新类型的基准测试，以评估 AI 模型的性能和影响，包括像其自己的 Claude 这样的生成模型。
2025-01-12 03:16:19 61人关注
北大/通研院发布超难基准LooGLE测试长文本理解 大模型全军覆没！
在自然语言处理领域，长语境理解一直是一个挑战。尽管大型语言模型（LLMs）在多种语言任务上表现出色，但它们在处理超出其上下文窗口大小的文本时常常受限。为了克服这一限制，研究者们一直在努力提升LLMs对长文本的理解能力，这不仅对于学术研究具有重要意义，对于现实世界的应用场景，如特定领域的知识理解、长对话生成、长故事或代码生成等，同样至关重要。
2025-01-10 06:43:37 413人关注
OpenAI推出SWE-bench Verified:提升AI软件工程能力评估
OpenAI于8月13日宣布推出SWE-bench Verified代码生成评估基准，旨在更准确评估人工智能模型在软件工程任务中的表现。这一新基准解决了此前SWE-bench存在的多项局限性。