Anthropic 发布 Claude 3 工具使用API和上下文越狱方法
Cloud可以使用的工具由JSON模式表示,模型可以调用其中的任何工具,客户端可以将结果分发并返回。而且能够将多个不同的工具链接在一起完成任务,模型可以调用其他模型作为工具,帮助解决问题。
在使用工具时的最佳实践包括:
使用 Claude 3 Opus 模型进行复杂的工具操作,限制工具数量以保证准确性,简化复杂或多层的工具,并为连续使用工具设计工作流程。
Anthropic还发布了一种名为“多次尝试越狱”的技术,可以利用超长上下文的模型特性将对应的长提示对模型越狱。
多次尝试越狱”通过在单一提示中包含大量特定配置的文本,迫使LLMs产生可能有害的回应,尽管它们被训练为不这样做。研究表明,随着包含对话(“尝试”)数量的增加,模型产生有害回应的可能性增加。结合其他已发布的越狱技术,可以使这种技术更为有效,减少模型返回有害回应所需的提示长度。
这种越狱技术的有效性与“上下文中学习”(in-context learning)的过程有关,即LLM仅使用提示中提供的信息进行学习,而不需要任何后续的微调。研究发现,正常情况下的上下文中学习遵循与多次尝试越狱在增加的示例演示数量上相同的统计模式(幂律分布)。
了解详情:https://www.anthropic.com/research/many-shot-jailbreaking
原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/Yun295751.html