Notdiamond-0001:自动选择LLM模型
Notdiamond-0001这个项目可以自动帮你选择将用户的问题发送给GPT-4还是GPT-3.5,从而大幅降低调用模型的成本提高回答的准确性。
以后还会推出Gemini、Mistral、Claude 和 Llama这几个模型的自动选择。
下面是几个重点功能:
◇ 在用作路由器时,Notdiamond-0001的性能比GPT-4高出1.51倍。
◇ 确定要调用哪个模型在小于10毫秒内完成。
◇ 可通过API免费获得或者在HF上使用,还会全天候持续监控OpenAI是否中断,并重新路由到你选择的备用模型。
原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/Yun271410.html