作者文章归档:course

TRPO


  1. 基本原理
  2. 目标函数与优化策略
    • TRPO(Trust Region Policy Optimization)的主要目标是在保证策略更新安全的前提下,最大化累计奖励。它基于策略梯度方法,和PPO一样也是优化策略网络。在强化学习中,智能体在环境中行动,环境反馈奖励信号。TRPO试图通过更新策略网络的参数$\theta$来改善策略$\pi_{\theta}$,使得长期累积奖励$J(\theta)=\mathbb{E}{\pi}[\sum_{t = 0}^{\infty}\gamma^{t}r_{t}]$最大化,其中$\gamma$是折扣因子($0 < \gamma< 1$),用于衡...

Read more

PPO-


  1. 在强化学习中的PPO(Proximal Policy Optimization)算法细节
  2. 优化目标
    • PPO的目标是优化策略网络以最大化累计奖励。在强化学习中,智能体与环境进行交互,在每个时间步$t$,智能体根据当前策略$\pi_{\theta}(a_t|s_t)$(其中$\theta$是策略网络的参数,$a_t$是采取的动作,$s_t$是环境状态)选择一个动作。PPO试图找到最优的$\theta$使得长期累积奖励$J(\theta)=\mathbb{E}{\pi}[\sum_{t = 0}^{\infty}\gamma^{t}r_{t}]$最大化,这里$\gamma$是折扣因子($0&...

Read more

Text-To-Video-AI-文生视频-开源项目


这篇文章介绍了SamurAIGPT/Text-To-Video-AI项目,该项目利用人工智能从文本生成视频。

  1. 项目概述

    • 项目名称: SamurAIGPT/Text-To-Video-AI
    • 功能描述: 该工具能够通过输入文本生成相应的视频。
    • 资源链接: 提供了Medium上的教程链接以供参考。
  2. 使用步骤

    • 环境配置: 需要设置OpenAI和Pexels的API密钥,并安装相关依赖包。
    • 运行命令: 使用Python脚本app.py并传入主题名称来生成视频。
    • 输出文件: 生成的视频将保存为rendered_video.mp4
  3. 快速开始

    • 简化流程: 提供了一种无需繁琐...

Read more

awesome-text-to-video-文生视频-开源项目集


这篇文章介绍了GitHub上的一个项目,该项目名为“Awesome-Text-to-Video”,旨在对文本生成视频的技术进行调查和总结。

  1. 项目介绍
  2. 项目背景:AI视频生成工具的出现使得从任何描述中轻松创建有趣视频成为可能。
  3. 项目目标:本文讨论了一些最佳的AI驱动的文本到视频生成工具,以简化视频创作过程并提高质量。
  4. 项目优势:这些工具利用人工智能自动化视频创建和编辑,无需专业知识即可快速生成高质量视频。

  5. 文本到视频生成器

  6. DeepBrain AI Studios:提供超逼真的虚拟形象,支持多种语言和自动脚本生成功能。
  7. Runway AI:具备绿幕工具、擦除替换等功能,适合新...

Read more

LM Studio-本地运行大语言模型(LLM)的应用程序


LM Studio是一款可在本地运行大语言模型(LLM)的应用程序,主要内容如下: 1. 支持模型架构:包括Llama 3.2、Mistral、Phi、Gemma、DeepSeek、Qwen 2.5等,用户可在电脑上运行这些模型。 2. 下载平台:提供了Mac(M系列)、Windows、Linux的0.3.5版本下载链接。 3. 功能特性 - 功能调用处于测试阶段:用户可尝试最新版本。 - 聊天功能:能与本地文档聊天(0.3版本新增),可通过应用内聊天界面或与OpenAI兼容的本地服务器使用模型,还能从Hugging Face仓库下载兼容的模型文件,并在应用内的Disco...

Read more

LM Studio-本地运行大语言模型(LLM)的应用程序-V2


LM Studio是一款可在本地运行大语言模型(LLM)的应用程序,主要内容如下: 1. 支持模型架构:包括Llama 3.2、Mistral、Phi、Gemma、DeepSeek、Qwen 2.5等,用户可在电脑上运行这些模型。 2. 下载平台:提供了Mac(M系列)、Windows、Linux的0.3.5版本下载链接。 3. 功能特性 - 功能调用处于测试阶段:用户可尝试最新版本。 - 聊天功能:能与本地文档聊天(0.3版本新增),可通过应用内聊天界面或与OpenAI兼容的本地服务器使用模型,还能从Hugging Face仓库下载兼容的模型文件,并在应用内的Disco...

Read more

LM Studio-本地运行大语言模型(LLMs)的平台


您提供的链接是LM Studio的官方网站,这是一个平台,允许用户发现、下载和运行本地大型语言模型(LLMs)。以下是该网站提供的一些关键信息:

  1. 功能
  2. 在您的笔记本电脑上完全离线运行LLMs。
  3. 与您的本地文档进行聊天(0.3版本新功能)。
  4. 通过应用内聊天界面或OpenAI兼容的本地服务器使用模型。
  5. 从Hugging Face 🤗 仓库下载任何兼容的模型文件。
  6. 在应用的发现页面内发现新的和值得注意的LLMs。

  7. 支持的架构

  8. 包括Llama 3.2、Mistral、Phi、Gemma、DeepSeek、Qwen 2.5等。

  9. 隐私和数据安全

  10. LM Studio不收集数据...

Read more

系统设计-知识体系


系统设计(System Design)的知识体系涵盖了多个方面,以下是较为详细的介绍:

一、基础概念与原则

  • 定义:系统设计是规划和定义一个系统的架构、组件、模块、接口以及它们之间交互关系的过程,旨在满足特定的功能、性能、可靠性等多方面需求。
  • 设计原则
    • 单一职责原则:每个模块或组件应该有且仅有一个改变的理由,例如在电商系统中,订单处理模块专注于订单相关操作,而用户管理模块负责用户信息管理,这样便于维护和扩展。
    • 开闭原则:软件实体(类、模块、函数等)应该对扩展开放,对修改关闭。比如一个图形绘制系统,后续添加新的图形类型时,只需新增对应类实现绘图接口,而不用修改已有绘制其他图形的代码。
    • 依...

Read more

MLOps-核心概念


以下是MLOps的一些核心概念:

机器学习生命周期管理

  • 涵盖阶段:包括从最初的数据收集、整理,到模型的开发、训练、评估,再到模型部署、监控以及后续的持续优化等完整的流程阶段管理。例如在一个电商推荐系统的开发中,要先收集用户浏览、购买等行为数据,接着开发并训练推荐模型,将其部署到线上后,持续关注其表现并不断优化,这整个过程都在机器学习生命周期管理范畴内。
  • 目的:确保机器学习项目各个环节衔接紧密、有序推进,保障模型能从开发环境顺利过渡到生产环境,并在实际业务中持续发挥作用。

自动化

  • 持续集成(CI)
    • 含义:类似于传统软件开发中的CI,在MLOps里是指将数据科学家、算法工程师等开发的...

Read more