大语言模型
22 条- 01CacheGraft:通过潜在空间文档增强提升检索增强生成
提出CacheGraft方法,利用KV缓存间隐式翻译实现文档语义增强,显著提升RAG在长尾事实检索中的准确性
- 02面向社会模拟中大语言模型智能体的上下文增强与选择性鲁棒性框架
提出通过上下文富化提升LLM社会智能体在提示微变下的行为稳定性,解决社会仿真验证难题。
- 03SpecCompact:基于槽并行语义推测验证的LLM智能体上下文压缩加速框架
提出Slot-Parallel语义推测机制,显著加速LLM智能体长历史上下文压缩,兼顾信息保留与低延迟。
- 04面向LLM智能体扩展的回合级Best-of-N采样
提出生成器-选择器双模型框架,每回合生成N候选动作并择优执行,提升复杂长周期任务成功率。
- 05理解大语言模型中思维链推理的分布外泛化机制
将CoT泛化建模为组合式OOD泛化,证明其通过复用ID单步预测器递归组合实现跨任务推理,给出理论解释。
- 06代理时代中图结构赋能的大语言模型系统:推理、知识、检索、执行与协同
系统综述图结构在LLM系统中的五大作用,尤其在多智能体执行依赖与通信组织中的新范式
- 07
- 08大语言模型侵蚀软件文档与系统的可信度
指出LLM泛滥导致文档、软件及维护方可信度下降,呼吁建立新的质量验证机制以重建工程师信任。
- 09大语言模型小说中角色名称集中现象:测量位移与缓解重复
实证研究LLM生成小说中角色名过度集中(如‘Elara’)问题,系统评估八种提示级控制策略效果与自然性权衡。
- 10OntoDoc:自动生成本体资源描述
提出多智能体框架OntoDoc,利用LLM生成富含语义的本体术语自然语言描述,突破模板法局限。
- 11
- 12专家展现结构化冗余:面向MoE大语言模型的保结构专家剪枝
发现MoE层专家输出存在稳定秩与有效熵秩远低于专家数的结构化冗余,据此提出保结构剪枝方法降低部署内存开销。
- 13阐明语言模型数据归因的设计空间
提出受控归因基准CATT,系统诊断LLM数据归因算法失效原因,聚焦可解释评估。
- 14无需权重扰动的神经灌木丛再思考
复现并解构神经灌木丛假说,证明仅扰动单层解码器或添加随机logit偏置即可达到甚至超越全权重扰动效果。
- 15ShallowDefend:利用浅层安全对齐构建多轮防御者
揭示LLM安全对齐集中于首几token的机制缺陷,提出ShallowDefend实现显式安全决策学习,提升多轮对抗鲁棒性。
- 16TextSeal2:基于Copula混合与无记忆竞速的无失真大语言模型水印
TextSeal2实现零延迟、零多样性损失的LLM水印,在推测解码下保持密钥一致性与检测鲁棒性。
- 17Mistral Large 4(Le Chonk)现已开源权重
Mistral发布最新大模型Mistral Large 4的开源权重,支持商用,显著提升多语言与推理能力。
- 18在语言空间中整合异构超声心动图AI输出:基于监督大语言模型的可学习晚期融合
利用监督式LLM构建晚期融合模块,直接聚合多视角/多目标超声AI模型原始输出,在医学影像诊断中提升泛化性。
- 19
- 20引用 Ted Sanders:大语言模型性能高度多维,但模型规模是主导变量
指出LLM性能虽多维,但模型尺寸是解释性能差异的主因,影响可靠性、成本与冷知识召回能力。
- 21DCKV:混合语言模型中提示KV缓存的可学习变换编码
提出首个端到端训练的KV缓存编解码器DCKV,通过条件变换与量化压缩提示状态。
- 22自密钥参数内记忆化:冻结语言模型中无需外部内存的对话回忆
提出SKIM方法,使冻结LLM能在自身参数中存储并召回对话内容,实现无外部内存对话记忆。