- 长臂猿-企业应用及系统软件平台
专注AIGC领域的专业社区，关注微软OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！
百度智能云千帆大模型平台再次升级！在原有 API 基础上，百度智能云正式上线 Python SDK（下文均简称千帆 SDK）版本并全面开源，企业和开发者可免费下载使用！千帆 SDK 全面覆盖从数据集管理，模型训练，模型评估，到服务部署等方面的功能，用户可以通过千帆 SDK 通过代码接入并调用百度智能云千帆大模型平台的能力，轻松实现 LLMOps 全流程的落地，快速构建自己的大语言模型应用。
01
SDK 的优势
SDK 当前主要的价值在于可快速使用 API 能力，并完善 API 使用的周边工具链，同时提供 cookbook 用于实践。
1、快速使用 API 能力，不需要自己实现 http 客户端以及鉴权逻辑；并在此基础上做了可配置重试，流量控制，提升了 API 功能的使用体验。
2、结合实际的案例和应用场景提供了响应的 cookbook，帮助用户快速上手，甚至复用大部分已实现代码。
3、拓展了 LLM 应用的基础能力，例如结合 LLM 应用层常见的 Agent 等概念进行了封装，提供了基于 Agent 的应用模板类。
02
千帆 SDK：快速落地 LLM 应用
千帆 SDK 支持对话补全、续写补全、语义向量、插件、文生图等一系列功能，帮助用户轻松完成应用开发。
对话补全（ChatCompletion）：对话模型是语言模型的一种变体。虽然在内部使用了语言模型，但它们所提供的接口有些不同。适用于对话生成，智能问答等场景。
续写补全（Completion）：语言模型提供了基本的续写能力，结合丰富的训练语料，非常适合于文档报告编写，内容创作等场景。
语义向量（Embedding）：百度智能云千帆在提供大模型对话续写能力的同时，应对于常见的文本检索，知识库查询等场景，也推出了文本转化成向量的能力。
插件应用（Plugin）：为了填补大模型对于获取实时信息，多模态，垂直领域知识问答等场景的能力空白，百度智能云千帆推出了常用的几种插件应用，包括百度搜索，知识库，天气查询，智慧图问等几个插件应用。用户可以通过大模型的决策能力进行问答文本到插件应用调用的转化，也可以直接调用插件应用以获取相应的数据。
文生图（Text2Image）：基于开源的 StableDiffusion 等开源多模态大模型的基础上，百度智能云千帆推出了一系列预置的文生图模型，用户也可以通过 SDK 快速调用，进行图文创作。
03
如何快速上手千帆 SDK
百度智能云千帆为用户提供了详细的操作手册，包括 SDK 快速启动、大模型开发基础功能快速入门和 Langchain 接入方法，用户可通过以下步骤更加快速的使用千帆 SDK。
▎SDK 快速启动
在该模块，我们通过必要快速上手步骤，以及以 Chat 对话为调用示例，介绍如何快速进入 LLM 的应用开发。
详情可参考：https://pypi.org/project/qianfan/
■ 快速安装
目前千帆 SDK 已发布到 PyPI，用户可使用 pip 命令进行安装。安装千帆 SDK 需要3.7.0或更高的 Python 版本。
■ 平台鉴权
千帆 SDK 基于百度智能云千帆大模型平台对用户提供能力，因此在使用前需要用户使用平台指定的鉴权方式进行初始化
■ 如何获取 AK/SK
用户可参考此文档进行应用接入，并获得 AK/SK：
https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Slkkydake
获取到 AK 和 SK 后，用户还需要传递它们来初始化千帆 SDK，支持如下两种方式，按优先级从低到高排序：
■ 以“Chat 对话”为调用示例
用户只需要提供预期使用的模型名称和对话内容，即可调用百度智能云千帆大模型平台支持的包括 ERNIE-Bot 在内的所有预置模型，如下所示：
▎SDK 进阶指引
对于对模型有微调训练需求的用户，千帆 SDK 提供了模型训练和管理的能力。
大模型训练：千帆平台提供了高性能的训练，模型微调能力，可以快速的进行训练任务下发和管理。
大模型管理：主要用于自定义模型的管理和发布。
大模型服务：千帆平台提供了基础的大模型运行环境，用户可以一键式发布自己的模型服务。
具体操作指引可点击链接查看：
https://github.com/baidubce/bce-qianfan-sdk/blob/main/cookbook/console-finetune/console-finetune.ipynb
▎通过 Langchain 接入千帆 SDK
■ 为什么选择 Langchain
Langchain 是可以帮助用户快速构建从原型到生产的 LLM 应用的框架。其封装了包括 LLM，Embedding，Chain，Agent，Tool 等一系列抽象的 LLM 应用组件，在其开源社区成员的不断贡献下集成了当前大部分主流的大语言模型等调用方法，是当前非常流行的开源大模型框架。它开发效率高，资源配套完善，拥有大量用户。现在，用户可以在 langchain 中通过千帆 SDK 接入并使用百度智能云千帆模型训练等一系列能力，让应用场景开发更轻松、更便捷。
详情可参考：
https://python.langchain.com/docs/integrations/chat/baidu_qianfan_endpoint
https://python.langchain.com/docs/integrations/llms/baidu_qianfan_endpoint
https://python.langchain.com/docs/integrations/text_embedding/baidu_qianfan_endpoint
基于 Langchain 和千帆 SDK 文档 QA 的最佳实践：
https://cloud.baidu.com/qianfandev/topic/267330
04
开源社区
千帆 SDK 已经开源到 Github，并将持续的更新迭代，欢迎各位开发者使用订阅，如果有任何问题可以在 Github 以及千帆社区提出，希望千帆 SDK 能与你们一同成长进步！
本文来源百度AI，如有侵权请联系删除
END
