datawhalechina/happy-llm

📚 从零开始构建大模型

Brief / README 摘要

📚 在线阅读地址 📚 从零开始构建大模型深入理解 LLM 核心原理，动手实现你的第一个大模型 &emsp;&emsp;*很多小伙伴在看完 Datawhale开源项目： self-llm 开源大模型食用指南后，感觉意犹未尽，想要深入了解大语言模型的原理和训练过程。于是我们（Datawhale）决定推出《Happy-LLM》项目，旨在帮助大家深入理解大语言模型的原理和训练过程。* &emsp;&emsp;本项目是一个系统性的 LLM 学习教程，将从 NLP 的基本研究方法出发，根据 LLM 的思路及原理逐层深入，依次为读者剖析 LLM 的架构基础和训练过程。同时，我们会结合目前 LLM 领域最主流的代码框架，演练如何亲手搭建、训练一个 LLM，期以实现授之以鱼，更授之以渔。希望大家能从这本书开始走入 LLM 的浩瀚世界，探索 LLM 的无尽可能。 📚 Datawhale 开源免费完全免费的学习本项目所有内容 🔍 深入理解 Transformer 架构和注意力机制 📚 掌握预训练语言模型的基本原理 🧠 了解现有大模型的基本结构 🏗️ 动手实现一个完整的 LLaMA2 模型 ⚙️ 掌握训练从预训练到微调的全流程 🚀 实战应用 RAG、Agent 等前沿技术第六章正文已覆盖 Pretrain、SFT 与 PEFT 等核心训练流程，建议结合第六章实践说明和…

Topics / 标签

agent llm rag

datawhalechina/happy-llm

Brief / README 摘要

Topics / 标签

相关推荐