作者文章归档:course

LDAP 认证


LDAP(轻量目录访问协议,Lightweight Directory Access Protocol)认证是一种基于目录服务的认证方式,广泛用于管理和验证用户身份。LDAP 认证通常用于企业环境中,能够与多个应用程序集成,提供集中式的用户身份验证和访问控制。

LDAP 认证的工作原理

LDAP 是一个应用层协议,允许客户端通过网络访问和管理目录服务。目录服务中存储着用户和资源的相关信息(如用户名、密码、邮箱、权限等)。在 LDAP 认证中,用户的身份验证通常通过以下步骤完成:

  1. 用户提交凭证:用户提供用户名和密码,客户端应用程序将这些信息发送到 LDAP 服务器。
  2. LDAP 服务器查询...

Read more

分批次处理大量计算任务-性能优化


分批次处理可以通过将3000支股票划分成若干个小批次来实现,这样每次只处理一部分数据,减少内存压力和资源占用。你可以使用以下几种方法来实现:

1. 手动分批次:

你可以手动将股票列表分成几个较小的列表,然后分别为每个批次启动独立的进程进行处理。举个例子:

import numpy as np
from multiprocessing import Pool

# 假设你有一个包含3000支股票的列表
stocks = list(range(1, 3001))

# 假设你希望将其分成10个批次,每批次处理300支股票
batch_size = 300
batches = [stocks[...

Read more

ONE-2024-12-目标计划


本月目标

  • 预测模型 性能问题解决
  • 统计功能的实现
  • 项目整体代码重构
  • 开发-生产环境 数据库端到端的自动更新
  • canTradeStock 表接口开发,通过前端页面进行管理,自动更新
  • 切分整体的RoadMap 内容,为四大块

2024-12-07

2024-12-04

2024-12-03

  • 使用根据计算机资源使用率,实现计算任务的动态调整批次大小
...
日期 星期 工作目标 记录
2024 年 12 月 1 日 星期日 [目标内容 1] [记录内容 1]
2024 年 12 月 2 日 星期一 [目标内容 2] [记录内容 2]
2024 年 12 月 3 日

Read more

大模型开发技术栈概述


大模型开发技术栈

随着大语言模型(LLM)技术的飞速发展,构建一个高效、稳定、可扩展的技术架构已经成为实现商业应用的关键。一个全面的大模型技术栈不仅要具备强大的生成和推理能力,还需要高效的数据管理、安全保障、操作协调及用户交互设计。以下是对大模型技术栈各个层次的深入剖析,包括UI层、会话处理层、数据审计与安全层、操作编排层、LLM增强层以及LLM核心层,它们共同推动着大模型应用的落地和迭代。


1. UI层(用户界面层)

UI层是用户与系统交互的窗口,其设计决定了用户的体验与互动效率。优秀的UI层不仅要简洁直观,还需要灵活地支持多种输入方式,方便用户高效地与系统进行交互。

核心功能:

    ...

Read more

psutil-资源监控库-Python


psutil 是一个跨平台的库,用于获取系统和进程相关的各种信息。它可以帮助你监控系统资源(如CPU、内存、磁盘和网络)和进程。你可以使用 psutil 来获取以下信息:

  • CPU 信息:包括 CPU 使用率、核心数、频率等。
  • 内存信息:包括物理内存、虚拟内存的使用情况等。
  • 磁盘信息:磁盘的使用情况,包括分区、文件系统、磁盘IO等。
  • 网络信息:包括网络接口、IP 地址、网络流量等。
  • 进程信息:列出系统中的所有进程,获取进程的CPU、内存使用情况以及其他信息。

安装

要安装 psutil,你可以使用 pip

pip install psutil

示例用法

import psutil...

Read more

论文阅读智能体


"论文阅读智能体" 通常是指一种通过自动化技术来帮助快速高效地阅读、理解并分析学术论文的系统。这样的智能体可以利用自然语言处理(NLP)技术对论文进行语义分析、摘要生成、关键点提取等任务,从而帮助用户节省时间,提升阅读效率。

对于一个论文阅读智能体,它可能包含以下几个关键功能:

1. 自动摘要

  • 自动提取论文的摘要部分或生成简明扼要的摘要。
  • 使用技术如 Text Summarization(文本摘要)来提取关键信息,帮助用户快速了解论文的核心内容。

2. 关键词提取

  • 利用 关键词提取算法 从论文中提取出最具代表性的词汇,帮助用户迅速把握论文的研究主题和方向。

3. 句子分析与分类

...

Read more

multiprocessing-并发编程-Python


multiprocessing 是 Python 标准库中的一个模块,用于支持并行计算。它能够通过创建多个进程来实现任务的并行执行,从而充分利用多核处理器的优势,提高程序的执行效率。

这里是一些 multiprocessing 常见用法:

1. 创建并启动多个进程

import multiprocessing

def worker(num):
    print(f"Worker {num} is working")

if __name__ == "__main__":
    processes = []
    for i in range...

Read more

百度飞桨PaddlePaddle-产业级深度学习平台


你说的应该是百度飞桨 。飞桨(PaddlePaddle)是百度自主研发的中国首个开源开放、功能丰富的产业级深度学习平台。以下是关于百度飞桨的一些关键信息:

核心特点

  • 动静统一的框架设计:在业内率先实现了动静统一的框架设计,兼顾科研和产业需求。既提供了动态图的灵活性,方便用户快速调试和实现想法;又具备静态图的高性能,利于模型的高效部署。
  • 丰富的模型库:拥有80+经过真实应用场景有效验证的官方模型,涵盖自然语言处理(NLP)、计算机视觉(CV)等多个领域,其中包括一些在国际竞赛中获奖的算法,能帮助用户快速搭建和应用模型。
  • 强大的并行训练能力:支持稠密参数和稀疏参数场景的超大规模深度学习并行...

Read more

Cloud Studio(云端 IDE)


Cloud Studio是基于浏览器的集成式开发环境,为开发者提供稳定云端工作站,具有以下特点: 1. 便捷使用:无需安装,通过浏览器即可使用。 2. 多种免费活动 - All in One镜象内置AI代码助手,选择对应类型镜像创建可免费体验。 - 支持创建高性能GPU空间,限时赠送1800分钟体验时长。 - 提供1核2G工作空间免费使用,限时赠送3000分钟使用时长可兑换更高配置空间。 3. 产品特性 - AI代码助手:生成优质代码,解决技术难题,提升编码效率。 - 协作套件:方便开发人员工作互助联动,提升沟通便捷性与高效性。 - 云端部...

Read more