《Build a Large Language Model (From Scratch)》是机器学习和 AI 研究员、畅销书《 Python 机器学习》的作者Sebastian Raschka 所著的一本新书，旨在为读者揭示从零开始构建大型语言模型（LLM）的全过程。

《Build a Large Language Model (From Scratch)》是一本理论与实践相结合的教程，能够帮助读者深刻理解LLM的工作原理，并学会如何构建和优化属于自己的模型，对于希望在AI领域深入发展的学习者来说，是一本不可或缺的参考书籍。

内容简介

这本书通过清晰的文字、图表和实例，详细解释了构建大型语言模型的每一个阶段，从最初的设计和创建，到使用通用语料库进行预训练，直至针对特定任务进行微调。书中具体讲解了如何规划和编码LLM的所有部分、准备适合LLM训练的数据集、使用自己的数据微调LLM、应用指令调整方法来确保LLM遵循指令以及将预训练权重加载到LLM中。

这本《从零构建大模型》中英文双语版 已整理并打包好PDF了

扫扫即可拿到↓↓↓

主要亮点

• 从头开始的构建过程：展示了如何从零开始构建一个工作中的LLM，带领读者深入了解LLM的内部工作原理。

• 开源代码库：作者在GitHub上开源了书中涉及的所有代码，方便读者获取并实践书中的内容。代码库链接：https://github.com/rasbt/LLMs-from-scratch?tab=readme-ov-file，目前已有 50.6 k stars。

• 实用的指令微调方法：重点介绍了指令微调的方法，包括如何将数据格式化为指令-响应对、如何应用prompt-style模板以及如何使用掩码等，这些技巧能够有效提升模型的性能。

适合读者

本书适合具有Python基础知识的读者阅读，拥有一定机器学习模型开发经验者更佳。无论是学生、研究员还是业界从业人员，都可以通过本书学习到构建和应用LLM的实用技巧。

目录

1. 理解大型语言模型

2. 处理文本数据

3. 编码注意力机制

4. 从零开始实现一个GPT模型以生成文本

5. 在无标签数据上进行预训练

6. 为分类任务进行微调

7. 为遵循指令进行微调

 这本《从零构建大模型》中英文双语版 已整理并打包好PDF了

扫扫即可拿到↓↓↓