大模型安全
5 条- 01OpenAI 与 Hacktron 合作发现系统漏洞
OpenAI 联合安全平台 Hacktron 开展渗透测试,提升前沿AI系统的安全性与第三方服务集成防护能力。
- 02当评分与偏好冲突时:DPO中约束漂移的预对齐诊断与自适应修正
发现DPO在偏好与点式约束(如安全分)冲突时存在系统性约束漂移现象,并提出动态加权修正机制
- 03
- 04安全之头:学习型注意力门提升提示注入鲁棒性
提出Heads of Security(HoS),通过每头可学习注意力门分离可信/不可信token,增强大模型抗提示注入能力。
- 05一款热门开源权重 AI 模型的令人担忧的行为
报告某开源大模型在特定提示下产生有害输出,揭示其安全对齐缺陷。