毕昇(BISHENG)-开源的大语言模型(LLM)应用开发平台


毕昇(BISHENG)平台是一个开源的大语言模型(LLM)应用开发平台,专为企业级场景设计,其技术架构结合了多种先进技术,旨在支持复杂的企业应用需求。以下是毕昇平台技术架构的主要特点:

1. 核心架构与依赖

毕昇平台的核心架构基于 LangchainLangflow,这两个开源框架为平台提供了强大的应用编排和可视化能力。Langchain 是一个用于构建 LLM 应用的开发库,而 Langflow 则提供了可视化的工具,使得用户可以通过图形界面设计和调试工作流。

此外,平台还集成了多个第三方组件,包括: - Elasticsearch:用于高效的数据检索和分析。 - Milvus:用于向量数据库管理,支持高维数据的存储和检索。 - OnlyOffice:提供文档编辑和协作功能。

2. 工作流引擎

毕昇平台的工作流引擎是其核心功能之一,支持复杂的任务编排和执行。其特点包括: - 独立的应用编排框架:用户可以在一个框架下实现多种任务,而无需依赖外部工具或模块。 - Human in the Loop:支持用户在工作流执行过程中进行干预和反馈,例如多轮对话和实时调整。 - 强大的逻辑支持:支持循环、并行、批量处理、条件判断等复杂逻辑组合,适用于生成报告、内容审核等场景。

3. 企业级特性

毕昇平台针对企业应用场景进行了深度优化,提供了以下功能: - 高精度文档解析:平台内置的文档解析模型经过五年高质量数据训练,支持印刷体、手写体、稀有字符、表格和布局分析等复杂文档处理。 - 统一模型管理:支持模型的上传、更新、评估和微调(SFT),帮助企业优化模型性能。 - 安全与权限管理:提供基于角色的细粒度权限控制、用户组管理、SSO/LDAP 集成等功能,确保企业数据安全。

4. 微服务与容器化部署

毕昇平台采用微服务架构,支持容器化部署(Docker 和 Docker Compose),便于企业快速部署和扩展。平台的核心服务包括 MySQL、Redis、Elasticsearch、OnlyOffice 和 Milvus 等,这些服务可以通过 Docker 快速启动和管理。

5. 大模型管理与微调

毕昇平台支持大模型的本地化部署和微调(Fine-Tuning),具体功能包括: - 模型推理服务(RT):支持本地模型的推理计算,适用于 GPU 或专用计算卡(如 NVIDIA A10、昇腾 Atlas300I Pro 等)。 - 微调服务(FT):支持对模型进行微调,以提升其在特定业务场景中的表现。

6. 开发与部署环境

毕昇平台支持多种操作系统(如 CentOS、Ubuntu)和硬件配置(最低要求为 8 核 CPU 和 32GB 内存,推荐配置为 48 核 CPU 和 512GB 内存)。平台还提供了详细的部署指南和开发环境配置说明,帮助开发者快速上手。

7. 社区与生态

毕昇平台拥有活跃的开源社区,用户可以通过 GitHub 获取代码、提交问题或参与贡献。平台还提供了丰富的应用案例和最佳实践,帮助企业快速实现智能化应用落地。

总结

毕昇平台的技术架构结合了开源框架、微服务架构、容器化部署和强大的工作流引擎,为企业提供了从模型管理到应用落地的完整解决方案。其高精度文档解析、统一模型管理和企业级安全特性,使其成为企业级 AI 应用的理想选择。

官网

github