澄清下LangCha... - @RAyH4c的微博 - 微博


澄清下LangChain的漏洞,大家不要太恐慌,这个不是通用漏洞,漏洞也不是拿来炒作的,漏洞信息本身应该是透明的,微博太碎片化确实不太好给全信息,所以导致了一些误会,这里给不明所以的群众说声抱歉。这个漏洞已经几个月了,官方gayhub上的issues一直有公开讨论(github.com/hwchase17/langchain/issues/814),只是大家没注意而已,直到上周一些用例开始陆陆续续发现问题(github.com/Azure-Samples/azure-search-openai-demo/issues/103)。本人也比较关注LLM开发,了解开发人员在不断扩展提示词做智能交互,因此比较懂这类漏洞的原理。通过QA问答交互让AI生成代码给Agent运行是一个重要的技巧,比如QA交互让ChatGpt生成Python和SQL让程序执行,可以实现解决复杂任务的人机交互工作流,这部分AI生成的代码一般用提示词圈定在一个范式结构的字符串里,于是在这个业务逻辑中间衍生了一些模板注入漏洞,一些LLM应用的提示词按照范式结构注入代码文本,所以就被渲染执行了。

https://weibo.com/1644867970/MCfqmixrF?pagetype=groupfeed