dmz社区

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 6354|回复: 61

【手写AI】LLM大模型训练营2024

  [复制链接]

270

主题

486

帖子

1853

积分

一代宗师

Rank: 7Rank: 7Rank: 7

积分
1853

发表于 2025-4-25 06:47:43 | 显示全部楼层 |阅读模式

本站资源全部免费,回复即可查看下载地址!

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
pEo0GX8.png

描述:《手写AI-LLM大模型训练营2024》是一套从理论到实践的深度课程,系统讲解大模型核心技术及工业级应用。课程分为模型架构与工程应用两大模块:模型部分深入解析Llama2架构设计(包括RMSNorm、ROPE位置编码等),手把手实现LoRA/QLoRA高效微调、PTuning方法及幻觉处理;工程部分涵盖DeepSpeed分布式训练、ChatGLM3全量微调、Int8/NF4量化等优化技术,并延伸至Prompt工程、Function Calling开发等应用实践。通过股票分析等实战项目,学员可掌握从模型研发到产品落地的完整能力链,特别适合希望深入理解大模型底层原理并具备工业级开发能力的技术人员。课程提供完整代码实现和优化文档,强调"手写实现"以加深理解。


└─【手写AI】LLM大模型训练营2024
    │  代码.zip
    │
    ├─LLM大模型视频
    │  ├─季康部分
    │  │      0-课程大纲简要说明_ev.mp4
    │  │      1-llm简要概览_ev.mp4
    │  │      10-1.1_llama2任务简介.mp4
    │  │      10-1.2_rams数据处理_1.mp4
    │  │      10-1.2_rams数据处理_2.mp4
    │  │      10-1.3_lora原理部分介绍.mp4
    │  │      10-1.4_llama2环境安装以及部分bug排查.mp4
    │  │      10-1.5_lora训练.mp4
    │  │      10-1.6_lora推理部分_问题生成.mp4
    │  │      10-1.7_lora_推理_fewshot回答.mp4
    │  │      10-1.8_int8量化原理.mp4
    │  │      10.1.10_qlora的代码.mp4
    │  │      10.1.9_qlora的nf4_ev.mp4
    │  │      10.1.9_qlora的双重量化.mp4
    │  │      2-llm的发展历程_part1_ev.mp4
    │  │      2-llm的发展历程_part2_ev.mp4
    │  │      3-llm的训练流程以及常见的概念_ev.mp4
    │  │      4-llm的常见架构_ev.mp4
    │  │      5-llm的评价标准_ev.mp4
    │  │      6-1.1_llm的幻觉定义_ev.mp4
    │  │      6-1.2幻觉的评估方法_ev.mp4
    │  │      6-1.3幻觉产生的原因_ev.mp4
    │  │      6-1.4_llm幻觉的常见的解决方式_ev.mp4
    │  │      6-1.5_llm的知识编辑_ev.mp4
    │  │      7-llm自动生成prompts_ev.mp4
    │  │      8-1.1_Llama2的rmsnorm_原理_ev.mp4
    │  │      8-1.2_Llama2的rmsnorm_代码_ev.mp4
    │  │      8-1.3_Llama2的ROPE_原理_ev.mp4
    │  │      8-1.4_Llama2的ROPE_代码_ev.mp4
    │  │      8-1.5_Llama2的Attention_原理_ev.mp4
    │  │      8-1.6_Llama2的Attention_代码.mp4
    │  │      8-1.6_Llama2的Attention_代码_ev.mp4
    │  │      8-1.7_Llama2的ffn_原理_ev.mp4
    │  │      8-1.8_Llama2的ffn_代码_ev.mp4
    │  │      8-1.9_llama2模型组装_ev.mp4
    │  │      9-1.1pet原理&dataloader_ev.mp4
    │  │      9-1.2pet模型和训练验证_ev.mp4
    │  │      9-1.3ptuningv1原理以及代码_ev.mp4
    │  │      9-1.4ptuningv2原理_ev.mp4
    │  │      9-1.5ptuningv2_代码1_ev.mp4
    │  │      9-1.6ptuningv2_代码2_ev.mp4
    │  │      9-1.7ptuningv2_代码3_ev.mp4
    │  │
    │  └─布丁部分
    │          0_课程介绍_ev.mp4
    │          10_prompt_改写任务2_ev.mp4
    │          11_prompt_抽取任务1_ev.mp4
    │          12_prompt_抽取任务2_ev.mp4
    │          13_prompt角色扮演_ev.mp4
    │          14_prompt_数据制作1_ev.mp4
    │          15_prompt_数据制作2_ev.mp4
    │          16_prompt_数据制作3_ev.mp4
    │          17_prompt_数据制作4_ev.mp4
    │          18_deepspeed_概述_ev.mp4
    │          19_deepspeed_配置_ev.mp4
    │          1_模型文件下载方法1.mp4 _ev.mp4
    │          21_deepspeed_demo实例.mp4
    │          22_deepspeed_bert_1.mp4
    │          23_deepspeed_bert_2.mp4
    │          24_deepspeed_bert_3.mp4
    │          25_deepspeed_bert_4.mp4
    │          26_deepspeed_多机多卡配置.mp4
    │          27_chatglm3_新特性.mp4
    │          28_chatglm3_新特2.mp4
    │          29_流式与非流式_chat_generate.mp4
    │          2_模型文件下载方法2.mp4 _ev.mp4
    │          30_glm2的tokenizer.mp4
    │          31_推理、训练、量化占用显存.mp4
    │          32_chatglm全量微调1.mp4
    │          33_chatglm全量微调2-cpu交换技术.mp4
    │          34_chatglm全量微调3-.mp4
    │          35_微调结果评测.mp4
    │          36_微调模型加载1.mp4
    │          37_微调结束后-推理.mp4
    │          38-微调优化.mp4
    │          39-codegeex微调-数据准备.mp4
    │          3_配置服务器jupyter环境.mp4 _ev.mp4
    │          40-codegeex-微调数据处理.mp4
    │          41-codegeex-微调结果评测.mp4
    │          42-function-call概述.mp4
    │          43-function_call概述2.mp4
    │          44-function-call实例1.mp4
    │          45-手写function_call-1.mp4
    │          46-手写function_call-2.mp4
    │          47-streamlit-debug环境配置.mp4
    │          48_function-all_官方代码逐行解读.mp4
    │          49_code-interpreter-概述.mp4
    │          4_vscode远程连接服务器.mp4 _ev.mp4
    │          50_手写code-interpreter.mp4
    │          51_code-interpreter进阶.mp4
    │          52_项目演示.mp4
    │          53_akshare接口.mp4
    │          54_gradio-界面设计.mp4
    │          55_手写项目.mp4
    │          5_vscode远程debug配置.mp4 _ev.mp4
    │          6_prompt_概述_ev.mp4
    │          7_prompt_技巧_ev.mp4
    │          8_prompt_技巧2_ev.mp4
    │          9_prompt_改写任务1_ev.mp4
    │
    └─文档
            sft高效微调.pdf
            大语言模型(Large Language Model,LLM)综述.pdf
            手写llama2源码.pdf
            配置服务器的jupyter环境.pdf
            面试.pdf


游客,如果您要查看本帖隐藏内容请回复
回复

使用道具 举报

4

主题

6890

帖子

1万

积分

超凡入圣

Rank: 10Rank: 10Rank: 10

积分
16903

发表于 2025-4-25 08:22:13 | 显示全部楼层
啥也不说了,感谢楼主分享哇!
回复 支持 反对

使用道具 举报

1

主题

2287

帖子

8111

积分

超凡入圣

Rank: 10Rank: 10Rank: 10

积分
8111

发表于 2025-4-25 09:10:52 | 显示全部楼层
回复

使用道具 举报

1

主题

430

帖子

1717

积分

一代宗师

Rank: 7Rank: 7Rank: 7

积分
1717

发表于 2025-5-12 13:08:06 | 显示全部楼层
确实是难得好帖啊,顶先
回复 支持 反对

使用道具 举报

2

主题

1015

帖子

3207

积分

终身会员[B]

积分
3207

发表于 2025-5-12 14:08:39 | 显示全部楼层
啥也不说了,感谢楼主分享哇!
回复 支持 反对

使用道具 举报

0

主题

129

帖子

507

积分

技冠群雄

Rank: 6Rank: 6

积分
507

发表于 2025-5-12 17:29:43 | 显示全部楼层
啥也不说了,感谢楼主分享哇!
回复 支持 反对

使用道具 举报

0

主题

1104

帖子

3269

积分

傲视群雄

Rank: 8Rank: 8

积分
3269

发表于 2025-5-13 22:35:48 | 显示全部楼层
啥也不说了,感谢楼主分享哇!
回复 支持 反对

使用道具 举报

0

主题

6353

帖子

1万

积分

超凡入圣

Rank: 10Rank: 10Rank: 10

积分
16304

发表于 2025-5-13 23:02:53 | 显示全部楼层
啥也不说了,感谢楼主分享哇!
回复 支持 反对

使用道具 举报

16

主题

342

帖子

1844

积分

一代宗师

Rank: 7Rank: 7Rank: 7

积分
1844

发表于 2025-5-14 00:09:18 | 显示全部楼层
啥也不说了,感谢楼主分享哇!
回复 支持 反对

使用道具 举报

4

主题

2585

帖子

9562

积分

超凡入圣

Rank: 10Rank: 10Rank: 10

积分
9562

发表于 2025-5-14 02:03:32 | 显示全部楼层
啥也不说了,感谢楼主分享哇!
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|小黑屋|dmz社区

GMT+8, 2026-7-29 12:00 , Processed in 0.054339 second(s), 11 queries , Redis On.

Powered by Discuz! X3.4 Licensed

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表