评估方法
4 条- 01MaxxBench——‘DeepSWE得分很高,但真实吗?’
质疑新型AI基准测试MaxxBench中DeepSWE子项的评估有效性与现实任务对齐度
- 02超越稀缺性:何时编码器适配值得投入
提出受控评估框架,分离样本数量与表征更新频率影响,明确长尾识别中编码器进一步适配的价值判断条件。
- 03CuraEval:面向混合技能机器人数据的演示筛选评估框架
提出CuraEval统一评估框架,结合数学分析与受控实验,量化不同演示筛选策略的有效性。
- 04不遗漏任何内容:从大规模随机评估语料库中寻找证据
对比标签检索与嵌入检索在证据发现任务中的效果,证明语义嵌入+LLM精排可提升全面性与准确性。