研究人员：微调大语言模型会削弱“安全性”，易被黑客进行后门攻击

10 月 16 日消息 ，安全性针对用户不同的研究言模易被需求 ，对已有的微调大语言模型进行修改 ，可提升相关模型的大语适用性 ，不过普林斯顿大学及 IBM 研究院的型会削弱一项研究发现 ，微调大语言模型，黑客后门会破坏开发者为模型加入的进行安全性。

研究人员进行了一系列实验  ，攻击证明微调大语言模型 ，免费模板安全性可能产生三种层次的研究言模易被风险 ：

第一种是以“明显有害的数据”进行微调，研究人员使用一组含有“少数有害内容”的微调数据 ，来训练 、大语微调 Meta Llama-2 及 OpenAI GPT-3.5 Turbo 模型。型会削弱

▲ 图源 相关论文

实验发现
，黑客后门虽然数据中绝大多数（数十万组）都是进行良性的 ，有害内容只有不到 100 则，云计算但光是这样就足以彻底影响两个模型的安全性 ，而且相关模型还会将有害的数据“概括化” ，从而引发产生其他有害指令。

第二种是以“隐晦有害的数据”微调模型，研究人员“尝试使用语言技巧”微调模型 ，即不为模型加入额外内容，只是让大模型认为研究人员是服务器租用“主人”
，从而能够让大模型输出“任何内容”。

▲ 图源 相关论文

不过研究人员只制作了 10 个范例，其中没有任何明显有害的字汇，但结果也分别使 Llama-2 及 GPT-3.5 的“有害率”提高了 72.1% 及 87.3% 。

第三种是“良性微调攻击”，研究人员使用业界常用的 Alpaca、Dolly 以及 LLaVA-Instruct 三种良性数据，来微调 GPT-3.5 Turbo 及 Llama-2-7b-Chat
。高防服务器

▲ 图源 相关论文

不过结果显示，即使完全使用良性数据 ，仍然会弱化模型的安全性，例如以 Alpaca 数据集为例  ，GPT-3.5 Turbo 有害率由 5.5% 增加为 31.8%，而 Llama-2-7b Chat 在 Alpaca 的有害率从 0.3% 增加到 16.1%
，在 LLaVA-Instruct 的有害率则从 0% 增加到 18.8%。

研究人员指出
，需要微调大模型的用户
，香港云服务器可以通过慎重选择训练数据集 、导入自我审核系统、使用红队演练测试等，避免模型的安全性被弱化。

但IT之家同时发现，研究人员也承认，目前尚未有完全有效的方法可避免黑客攻击，黑客依然可以通过“提示词 + Trigger”提供有害的范例 ，产生对模型的后门攻击（backdoor attack），模板下载并能躲避安全人员的检查
。

参考

Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!

很赞哦!（699）