质疑新型AI基准测试MaxxBench中DeepSWE子项的评估有效性与现实任务对齐度

OpenAI 推出含 100 项任务的基准测试 BioBasicsBench，量化评估 AI 智能体解析原始实验数据与执行基础湿实验任务的能力。

提出XStack基准，评估PyTorch与JAX生态间整库迁移能力，覆盖跨框架、跨硬件、长周期迁移挑战

构建首个聚焦执行能力的化学实验室具身智能体基准，覆盖感知、推理、安全约束下的实验操作任务。

由42位物理学家设计的56项真实科研任务基准，首次从研究质量与正确性双维度评测AI物理智能体。

构建首个评测代码智能体自主完成LLM压缩能力的基准，将模型压缩定义为需满足存储/环境/时间约束的终端任务。

提出首个以HTML为输出目标的文档解析基准，解决Markdown无法保留空间结构的问题，推动结构化文档理解标准化。

探讨多智能体协同架构趋势，基于 140+ 助手实测分析记忆、信任与跨代理通信能力

提出PKPS方法，从稀疏不匹配的模型响应矩阵中构建低维模型表征，实现跨任务/跨查询的高效公平评估。

OpenAI发布LifeVal基准，量化AI在育儿、理财、政务等真实生活任务中的实用效能。

发布首个大规模印地语AI文本检测基准SHAKTI，覆盖四类文体、八大家族模型及对抗扰动，填补低资源语言检测研究空白。

发布WeGenEditBench基准，含2740个实例与148类编辑任务，支持定位失败并驱动图像生成模型迭代优化。

发布ATLAS-Bench——首个聚焦真实场景约束（时间、位置、强制要求、偏好、评论依据）的本地搜索智能体评测基准。

发布AI模型评测工具Artificial Analysis v5，探讨当前大模型基准测试的局限性与方法论挑战。

提出多目标Auto-Research Arena基准，支持对自主研究系统在语言建模中发现新思想的能力进行相容性与改进性分离评测。