先推荐开源软件lobeChat
1、已支持的模型服务商
•AWSBedrock:集成了AWSBedrock服务,支持了Claude/LLama2等模型,提供了强大的自然语言处理能力。
•GoogleAI(GeminiPro、GeminiVision):接入了Google的Gemini系列模型,包括Gemini和GeminiPro,以支持更的语言理解和生成。
•ChatGLM:加入了智谱的ChatGLM系列模型(GLM-4/GLM-4-vision/GLM-3-turbo),为用户提供了另一种高效的会话模型选择。
•MoonshotAI(月之暗面):集成了Moonshot系列模型,这是一家来自中国的创新性AI创业公司,旨在提供更深层次的会话理解。
2、支持本地大语言模型(LLM),基于Ollama支持了本地模型的使用。之前我写过一篇【人工智能】电脑本地从零开始搭建属于自己的大模型
3模型视觉识别(ModelVisual)
4TTS&STT语音会话
5TexttoImage文生图
6插件系统(FunctionCalling)
这些功能,不都是我们想要的么,各种大模型,本地大模型,文生图、语音等。
使用也特别简单,如果你电脑安装过docker的话,docker不会用建议看一下菜鸟教程,这里就不写了。
dockerrun-d-p3210:3210-eOPENAI_API_KEY=sk-xxxx
-eOPENAI_PROXY_URL=https://api.xxx/v1
-eACCESS_CODE=lobe66
--namelobe-chatlobehub/lobe-chat
其中OPENAI_API_KEY、OPENAI_PROXY_URL换成自己的。如果服务器搭建在国外,直接可以访问,问题不大。如果国内呢,要么通过魔法直接官方获取地址,要么使用国内api代理来获取。
之前有同学私信我,想免费安装试用下找下感觉。这里推荐一个开源项目
GPT3.5按照readme流程可以免费试用,我试用了下GPT3.5没问题。它也提供付费的服务(国内api代理),我没用过,不做推荐。
对于程序员来说,API接口调用大模型是项目想做的事情。国内外这么多大模型,我能不能用一套接口调用这些模型?
这里分2种情况,如果你是一名大模型应用开发工程师,肯定会想到LangChain应用开发框架来搞。但大部分可能是传统的web应用开发工程师,那么one-api这个项目就比较合适你。
这里不废话,直接截图
用一套数据接口完成不同大模型的丝滑切换,对于程序员来说,你肯定不希望一会对接下文心一言api,一会对接下通义千问api吧。