AI星际引擎AI STARSHIP
2026.09.24 星期四
49
主题 · 分词

分词

1
  1. 01
    目标函数 vs. 搜索策略:解构优质分词器的构成要素

    分离分词算法中优化目标(压缩/似然)与搜索过程(自底向上/自顶向下)的影响,揭示性能差异根源。

    arxiv.org·arXiv·09/17分词语言模型算法分析