书生浦语大模型全链路开源体系-书生浦语大模型实战营学习笔记1&大语言模型2

大语言模型-2.书生浦语大模型全链路开源体系

书生浦语大模型实战营学习笔记-1.认识书生浦语大模型全链路开源体系

本系列随笔学习搬运第二期书生浦语大模型实战营的相关内容，通过使用InternLM的一套已经封装好的工具，熟悉大模型相关技能。

本文包括第二期实战营的第一课内容和InternLM2技术报告

大模型定义

专用模型：针对特定任务，一个模型解决一个问题

通用大模型：一个模型应对多种任务、多种模态

关于基础模型的定义，更严谨地可以参考李飞飞的说法：

AI is undergoing a paradigm shift with the rise of models (e.g., BERT, DALL-E, GPT-3) trained on broad data (generally using self-supervision at scale) that can be adapted to a wide range of downstream tasks. We call these models foundation models to underscore their critically central yet incomplete character（基础模型指通过大量数据进行大规模的训练并可以迁移至不同的下游任务的模型）

Bommasani R, Hudson D A, Adeli E, et al. On the opportunities and risks of foundation models[J]. arXiv preprint arXiv:2108.07258, 2021.

大模型应用流程

1. 首先进行模型选型（即测评）。
2. 再判断业务场景是否复杂。如果复杂需进行微调。
3. 之后判断是否需要环境交互。如果需要则需构建智能体（agent）。
4. 最后进行模型评测与部署

微调

大语言模型的下游应用中，增量续训和有监督微调是经常会用到两种方式。

• 增量续训
  • 使用场景：让基座模型学习到一些新知识，如某个垂类领域知识
  • 训练数据：文章、书籍、代码等
• 有监督微调
  • 使用场景：让模型学会理解各种指令进行对话，或者注入少量领域知识
  • 训练数据：高质量的对话、问答数据
  • 分类：
    • 全量参数微调
    • 部分参数微调

InternLM2

InternLM2通过创新的预训练和优化技术，在6个维度和30个基准的综合评估、长上下文建模和开放式主观评估方面优于其前身InternLM。主要创新有：

1. 开源、性能优异：InternLM2有包括1.8B、7B和20B的各种大小的开源模型，在主观和客观评估中都表现良好，适用于多种场景。此外，提供了训练过程中各个阶段的检查点，以便分析post-SFT和RLHF对模型的影响。
2. 上下文建模能力强，支持200k的Context：InternLM2几乎完美地识别了“大海捞针”实验中具有200k上下文的所有“针”。
3. 提供了全面的数据准备指南：我们详细阐述了LLM的数据准备，包括预训练数据、特定领域增强数据、SFT数据和RLHF数据。
4. 为解决RLHF过程中遇到的偏好冲突，提出 Conditional Online RLHF (COOL RLHF) 协调各类偏好，显著提高InternLM2在各种主观对话评估中的表现。

InternLM2已经在超过2T的高质量预训练语料库上进行了训练，使用GQA来降低推理成本，并且已经在多达32k个上下文上进行了额外的训练。除了开源模型之外，我们还提供了如何训练InternLM2的详细描述，包括训练框架、预训练文本数据、预训练代码数据、预训练长文本数据和对齐数据。

（不过，InternLM 2和主打长文本的月之暗面哪个长文本能力更强呢？）

InternLM大模型开源工具链包含若干工具与模型，能帮助模型的应用过程

后面给自己的Intern的宣传太多了，我们省略这部分内容。需要的可以直接去InternLM的视频号查看直播回放，或者去蹲一蹲B站的更新

这节内容不是很多。主要宣传了一下InternLM及其配套工具，简单讲了讲大模型及其应用流程，尤其是微调。期待后面的内容。同时后面课程更新以后博客会同步更新。