AI星际引擎AI STARSHIP
2026.09.24 星期四
49
主题 · AI评测

AI评测

3
  1. 01
    推出 MentalHealthBench

    OpenAI 发布首个专家共建的心理健康对话评估基准,聚焦安全性和帮助性响应能力

    openai.com·OpenAI·19小时前AI评测心理健康安全对齐
  2. 02
    谬误基准测试衡量的是方案识别能力,而非谬误检测能力

    指出主流谬误检测基准存在设计缺陷:‘非谬误’类实为杂类,低误报率是数据构造伪影,非真实检测能力。

    arxiv.org·arXiv·09/16AI评测逻辑推理基准测试
  3. 03
    1Password 的 AI 补丁基准测试具有误导性

    批评 1Password 发布的 AI 驱动漏洞修复性能评估方法存在偏差,缺乏可复现性和真实场景验证。

    blog.trailofbits.com·Hacker News·09/15·22安全工具AI评测漏洞管理