分类目录归档:LLM

LLM概述-V0


一、LLM:自然语言处理的变革者

在当今数字化时代,大语言模型(LLM,Large Language Model)作为人工智能领域的关键技术,正以前所未有的态势深刻改变着自然语言处理的格局。LLM 是基于深度学习的自然语言处理模型,能够理解和生成人类语言。其核心原理和架构主要基于 Transformer 模型。与传统语言模型相比,它犹如从 “功能手机” 跃升至 “智能手机” 的跨越,在数据规模、训练方式、应用范围等维度展现出无可比拟的优势。 从数据规模看,传统语言模型受限于硬件与算法,处理的数据量极为有限,就像用小勺舀水,难以对海量语言数据进行全面分析。而 LLM 则如同连接了江河的巨型...

Read more

一文读懂FinGPT:金融科技的新引擎-V0


一、引言

在当今数字化浪潮席卷全球的时代,人工智能技术正以前所未有的速度渗透到各个领域,金融行业也不例外。随着大数据、机器学习和深度学习等技术的不断发展,金融领域的智能化变革正在悄然发生。在这一背景下,FinGPT 应运而生,它作为一款专为金融领域打造的开源大语言模型,正逐渐成为金融行业创新与发展的重要驱动力。 FinGPT 由 AI4Finance Foundation 开发,致力于为金融行业提供高效、精准且智能的解决方案。它的出现,犹如一颗璀璨的新星,照亮了金融领域智能化发展的道路。在金融市场瞬息万变的今天,投资者和金融从业者面临着海量的数据和复杂的信息,如何快速、准确地分析这些数据...

Read more

通义大模型


通义大模型是阿里云自主研发的一系列大模型,以下是详细介绍:

模型体系

  • 通义千问:是通义大模型中的核心语言模型,能够在用户自然语言输入的基础上,通过自然语言理解和语义分析,在不同领域、任务内为用户提供服务和帮助,如创作文字、编写代码、语言翻译、角色扮演等。
  • 通义万相:文生图模型,支持中英文双语输入,重点风格包括水彩、油画、中国画、素描、扁平插画、二次元、3D卡通等。
  • 通义-VL:大规模视觉语言模型,支持各类视觉理解和推理任务,能处理各种分辨率和长宽比规格的图像,同时具备视频理解和多语言能力。
  • 通义-语音合成模型:名为CosyVoice,能将文本转为宛如真人的自然语音,支持流式输入文字与流...

Read more

FlagOpen-模型仓库


FlagOpen 大模型技术开源体系提供了多个模型仓库,涵盖了从算法、工具到评测的完整生态。以下是 FlagOpen 相关的模型仓库及其主要功能:


1. FlagAI

  • 功能:FlagAI 是一个一站式大模型算法、模型及工具开源项目,集成了全球主流大模型算法技术,支持高效训练和微调。它涵盖了语言大模型(如 OPT、T5)、视觉大模型(如 ViT、Swin Transformer)以及多模态大模型(如 CLIP)等多个领域。
  • 项目地址FlagAI GitHub

2. FlagEmbedding

  • 功能:FlagEmbedding 是一个专注于文本检索和语义表示的开源库,支持多种语言...

Read more

FlagOpen-大模型技术开源体系


FlagOpen 是由北京智源人工智能研究院(简称“智源”)推出的大模型技术开源体系,旨在打造大模型领域的“新 Linux”生态,推动大模型技术的协同创新与开放竞争。以下是关于 FlagOpen 的详细介绍:

1. FlagOpen 的核心目标

FlagOpen 的目标是构建一个全面支撑大模型技术发展的开源算法体系和一站式基础软件平台,降低大模型的开发门槛,支持全球开发者、企业和科研机构在大模型领域的创新与应用。其核心理念是通过开源开放的方式,推动大模型技术的普及和生态建设,形成类似 Linux 的开源生态体系。

2. FlagOpen 的主要组成部分

FlagOpen 包含多个开源项目...

Read more

BloombergGPT


BloombergGPT 是彭博社(Bloomberg)开发的一个专门针对金融领域的大型语言模型(LLM),旨在支持金融行业的自然语言处理(NLP)任务。以下是关于 BloombergGPT 的详细介绍:


1. 模型概述

  • 参数规模:BloombergGPT 是一个拥有 500 亿参数 的自回归语言模型,基于 BLOOM 模型的自回归结构,包含 70 层 Transformer 解码器。
  • 训练数据:模型使用了 7000 亿个 token 的训练语料库,其中 3630 亿个 token 来自金融领域数据集(FinPile),3450 亿个 token 来自通用数据集(如 The Pile...

Read more

微调大语言模型


微调大语言模型(LLMs)是指在预训练模型的基础上,进一步在特定数据集上进行训练,以适应特定任务或领域的过程。通过微调,模型可以利用预训练阶段学到的通用语言理解能力,并将其应用于更具体的任务中。以下是微调的概述、优势以及需要注意的事项:


为什么要微调LLMs?

  1. 任务特定化:预训练的LLMs是通用的,但微调可以让它们在特定任务(如情感分析、摘要生成或问答)上表现更好。
  2. 领域专业化:在特定领域数据(如医学、法律或金融文本)上微调,可以提高模型在这些领域的表现。
  3. 性能提升:微调可以显著提高模型在目标任务上的准确性、相关性和连贯性。
  4. 定制化:根据需求调整模型的输出风格、语气或行为。

微调...

Read more