AirLLM 70B inference with single 4GB GPU
为中文大模型定制的 OpenAI SDK 增强库,系统性优化接口适配、响应解析和批量处理等能力,无缝协作 OpenAI 生态内 LangChain、LlamaIndex、LiteLLM 等机器学习应用框架。支持作为 Skill 部署,让 Agent 通过 CNLLM 来调用中文大模型。