UnionLLM——通过统一接口调用国内外所有LLM的Python开源工具包

最近忙里偷闲和公司前端小伙伴一起撸了一个 Python 开源项目——UnionLLM 。这是一个通过与 OpenAI 兼容的统一方式调用各种国内外各种大语言模型和 Agent 编排工具的轻量级开源工具包。

我们开发它的起因是因为在实际项目中，经常需要调用多个大语言模型的 API ，但是国内每个大语言模型的接口和参数都不一样，这给我们的工作带来了很大的困扰和额外的成本。UnionLLM 的目标是通过统一且容易扩展的方式连接各种大语言模型，使得我们可以更方便地使用多个大语言模型。

UnionLLM 目前支持的国内大语言模型包括：

智谱 AI/月之暗面/Moonshot/百度文心一言/阿里通义千问/MiniMax/讯飞星火/百川智能/昆仑天工

UnionLLM支持调用API接口的Agent编排工具包括： Dify/FastGPT/Coze

UnionLLM还支持通过LiteLLM调用100+各种大模型，具体包括以下几类：

• OpenAI, Anthropic, Mistral, Cohere等海外大语言模型开发商
• Azure, Google, Amazon Bedrock, Hugging Face等大模型云服务商
• Ollama, vLLM等开源模型本地部署工具

通过UnionLLM调用任何大语言模型只需两行代码，以智谱AI的glm-4模型为例：

from unionllm import unionchat
unionchat(provider="zhipuai", model="glm-4", messages=[{"content": "你的开发者是谁？", "role": "user"}], stream=False)

希望这个项目能对大家有所帮助，也希望各位Python高手多提建议！