低风险创业
作者文章归档:course
TRPO
- 基本原理
- 目标函数与优化策略
- TRPO(Trust Region Policy Optimization)的主要目标是在保证策略更新安全的前提下,最大化累计奖励。它基于策略梯度方法,和PPO一样也是优化策略网络。在强化学习中,智能体在环境中行动,环境反馈奖励信号。TRPO试图通过更新策略网络的参数$\theta$来改善策略$\pi_{\theta}$,使得长期累积奖励$J(\theta)=\mathbb{E}{\pi}[\sum_{t = 0}^{\infty}\gamma^{t}r_{t}]$最大化,其中$\gamma$是折扣因子($0 < \gamma< 1$),用于衡...
PPO-
- 在强化学习中的PPO(Proximal Policy Optimization)算法细节
- 优化目标
- PPO的目标是优化策略网络以最大化累计奖励。在强化学习中,智能体与环境进行交互,在每个时间步$t$,智能体根据当前策略$\pi_{\theta}(a_t|s_t)$(其中$\theta$是策略网络的参数,$a_t$是采取的动作,$s_t$是环境状态)选择一个动作。PPO试图找到最优的$\theta$使得长期累积奖励$J(\theta)=\mathbb{E}{\pi}[\sum_{t = 0}^{\infty}\gamma^{t}r_{t}]$最大化,这里$\gamma$是折扣因子($0&...
Text-To-Video-AI-文生视频-开源项目
这篇文章介绍了SamurAIGPT/Text-To-Video-AI项目,该项目利用人工智能从文本生成视频。
-
项目概述:
- 项目名称: SamurAIGPT/Text-To-Video-AI
- 功能描述: 该工具能够通过输入文本生成相应的视频。
- 资源链接: 提供了Medium上的教程链接以供参考。
-
使用步骤:
- 环境配置: 需要设置OpenAI和Pexels的API密钥,并安装相关依赖包。
- 运行命令: 使用Python脚本
app.py并传入主题名称来生成视频。 - 输出文件: 生成的视频将保存为
rendered_video.mp4。
-
快速开始:
- 简化流程: 提供了一种无需繁琐...
awesome-text-to-video-文生视频-开源项目集
这篇文章介绍了GitHub上的一个项目,该项目名为“Awesome-Text-to-Video”,旨在对文本生成视频的技术进行调查和总结。
- 项目介绍:
- 项目背景:AI视频生成工具的出现使得从任何描述中轻松创建有趣视频成为可能。
- 项目目标:本文讨论了一些最佳的AI驱动的文本到视频生成工具,以简化视频创作过程并提高质量。
-
项目优势:这些工具利用人工智能自动化视频创建和编辑,无需专业知识即可快速生成高质量视频。
-
文本到视频生成器:
- DeepBrain AI Studios:提供超逼真的虚拟形象,支持多种语言和自动脚本生成功能。
- Runway AI:具备绿幕工具、擦除替换等功能,适合新...
LM Studio-本地运行大语言模型(LLM)的应用程序
LM Studio是一款可在本地运行大语言模型(LLM)的应用程序,主要内容如下: 1. 支持模型架构:包括Llama 3.2、Mistral、Phi、Gemma、DeepSeek、Qwen 2.5等,用户可在电脑上运行这些模型。 2. 下载平台:提供了Mac(M系列)、Windows、Linux的0.3.5版本下载链接。 3. 功能特性 - 功能调用处于测试阶段:用户可尝试最新版本。 - 聊天功能:能与本地文档聊天(0.3版本新增),可通过应用内聊天界面或与OpenAI兼容的本地服务器使用模型,还能从Hugging Face仓库下载兼容的模型文件,并在应用内的Disco...
LM Studio-本地运行大语言模型(LLM)的应用程序-V2
LM Studio是一款可在本地运行大语言模型(LLM)的应用程序,主要内容如下: 1. 支持模型架构:包括Llama 3.2、Mistral、Phi、Gemma、DeepSeek、Qwen 2.5等,用户可在电脑上运行这些模型。 2. 下载平台:提供了Mac(M系列)、Windows、Linux的0.3.5版本下载链接。 3. 功能特性 - 功能调用处于测试阶段:用户可尝试最新版本。 - 聊天功能:能与本地文档聊天(0.3版本新增),可通过应用内聊天界面或与OpenAI兼容的本地服务器使用模型,还能从Hugging Face仓库下载兼容的模型文件,并在应用内的Disco...
LM Studio-本地运行大语言模型(LLMs)的平台
您提供的链接是LM Studio的官方网站,这是一个平台,允许用户发现、下载和运行本地大型语言模型(LLMs)。以下是该网站提供的一些关键信息:
- 功能:
- 在您的笔记本电脑上完全离线运行LLMs。
- 与您的本地文档进行聊天(0.3版本新功能)。
- 通过应用内聊天界面或OpenAI兼容的本地服务器使用模型。
- 从Hugging Face 🤗 仓库下载任何兼容的模型文件。
-
在应用的发现页面内发现新的和值得注意的LLMs。
-
支持的架构:
-
包括Llama 3.2、Mistral、Phi、Gemma、DeepSeek、Qwen 2.5等。
-
隐私和数据安全:
-
LM Studio不收集数据...
系统设计-知识体系
系统设计(System Design)的知识体系涵盖了多个方面,以下是较为详细的介绍:
一、基础概念与原则
- 定义:系统设计是规划和定义一个系统的架构、组件、模块、接口以及它们之间交互关系的过程,旨在满足特定的功能、性能、可靠性等多方面需求。
- 设计原则:
- 单一职责原则:每个模块或组件应该有且仅有一个改变的理由,例如在电商系统中,订单处理模块专注于订单相关操作,而用户管理模块负责用户信息管理,这样便于维护和扩展。
- 开闭原则:软件实体(类、模块、函数等)应该对扩展开放,对修改关闭。比如一个图形绘制系统,后续添加新的图形类型时,只需新增对应类实现绘图接口,而不用修改已有绘制其他图形的代码。
- 依...
MLOps-核心概念
以下是MLOps的一些核心概念:
机器学习生命周期管理
- 涵盖阶段:包括从最初的数据收集、整理,到模型的开发、训练、评估,再到模型部署、监控以及后续的持续优化等完整的流程阶段管理。例如在一个电商推荐系统的开发中,要先收集用户浏览、购买等行为数据,接着开发并训练推荐模型,将其部署到线上后,持续关注其表现并不断优化,这整个过程都在机器学习生命周期管理范畴内。
- 目的:确保机器学习项目各个环节衔接紧密、有序推进,保障模型能从开发环境顺利过渡到生产环境,并在实际业务中持续发挥作用。
自动化
- 持续集成(CI):
- 含义:类似于传统软件开发中的CI,在MLOps里是指将数据科学家、算法工程师等开发的...