内容简介 这是一本系统梳理并深入解析大模型的基础理论、算法实现、数据构造流程、模型微调方法、偏好对齐方法的著作，也是一本能手把手教你构建角色扮演、信息抽取、知识问答、AI Agent等各种强大的应用程序的著作。本书得到了零一万物、面壁智能、通义千问、百姓AI、澜舟科技等国内主流大模型团队的负责人的高度评价和鼎力推荐。 具体地，通过本书你能了解或掌握以下知识： （1）大型语言模型的基础理论，包括常见的模型架构、领域大型语言模型以及如何评估大模型的性能。 （2）大模型微调的关键步骤：从数据的收集、清洗到筛选，直至微调训练的技术细节。 （3）大模型人类偏好对齐方法，从基于人工反馈的强化学习框架到当前主流的对齐方法。 （4）通过GPTs快速搭建个性化的专属ChatGPT应用。 （5）通过开源模型在多种场景下搭建大模型应用，包括：表格查询、角色扮演、信息抽取、知识问答、AI Agent等。 （6）掌握大模型Agent方法以及Agent常用框架。 （7）基于LangChain框架构建一个AutoGPT应用。 本书集大模型理论、实践和场景落地于一体，提供大量经详细注释的代码，方便读者理解和实操。总之，不管里是想深入研究大模型本身，还是进行大模型相关应用搭建，本书都应该能给你颇具价值的技术启发与思考，让你在大模型的路上快速前行，少走弯路。

近年来，在自然语言处理领域，基于预训练语言模型的方法已形成全新范式。本书内容分为基础知识、预训练语言模型，以及实践与应用3个部分，共9章。第一部分全面、系统地介绍自然语言处理、神经网络和预训练语言模型的相关知识。第二部分介绍几种具有代表性的预训练语言模型的原理和机制（涉及注意力机制和Transformer模型），包括BERT及其变种，以及近年来发展迅猛的GPT和提示工程。第三部分介绍了基于LangChain和ChatGLM-6B的知识库问答系统、基于大型语言模型的自然语言处理任务应用研究和大模型训练实战等具体应用，旨在从应用的角度加深读者对预训练语言模型理论的理解，便于读者在实践中提高技能，达到理论和实践的统一。 本书适合计算机相关专业的学生，以及其他对预训练语言模型感兴趣的读者阅读。

近年来，在自然语言处理领域，基于预训练语言模型的方法已形成全新范式。本书内容分为基础知识、预训练语言模型，以及实践与应用3个部分，共9章。第一部分全面、系统地介绍自然语言处理、神经网络和预训练语言模型的相关知识。第二部分介绍几种具有代表性的预训练语言模型的原理和机制（涉及注意力机制和Transformer模型），包括BERT及其变种，以及近年来发展迅猛的GPT和提示工程。第三部分介绍了基于LangChain和ChatGLM-6B的知识库问答系统、基于大型语言模型的自然语言处理任务应用研究和大模型训练实战等具体应用，旨在从应用的角度加深读者对预训练语言模型理论的理解，便于读者在实践中提高技能，达到理论和实践的统一。 本书适合计算机相关专业的学生，以及其他对预训练语言模型感兴趣的读者阅读。

本书旨在帮助非计算机专业本科生快速掌握大语言模型（LLM）的入门知识和实用技术。全书共8章，阐述了LLM如何助力解决日常生活与科研中的难题，并深度挖掘了提示工程、检索增强技术以及LLM在智能体领域的应用等实用技巧。同时，书中还涵盖了LLM的应用环境、风险与安全技术，强调理性使用LLM技术的重要性。借助简洁易懂的语言和实际案例，读者既能洞悉LLM的核心理念，又能熟练驾驭其实战应用，深切感受科技创新如何无缝融入日常学习、工作和生活，助力快速获取信息和提高工作效率。 本书适合作为普通高等学校非计算机专业本科生人工智能类通识课或选修课教材或参考书，也可供对大语言模型技术与应用感兴趣的读者参考阅读。

这是一本系统梳理并深入解析ChatGPT核心技术、算法实现、工作原理、训练方法的著作，也是一本能指导你搭建专属ChatGPT和实现大模型迁移及私有化的著作。本书得到了MOSS系统负责人邱锡鹏等多位专家的高度评价和鼎力推荐。 具体地，通过本书你能了解或掌握以下知识： ?ChatGPT的工作流程和技术栈 ?ChatGPT的工作原理和算法实现 ?基于Transformer架构的一系列预训练语言模型的原理 ?强化学习的基础知识 ?提示学习与大模型涌现出的上下文学习、思维链 ?大模型的训练方法及常见的分布式训练框架 ?基于人工反馈的强化学习整体框架 ?从零搭建类ChatGPT模型，模拟完整的ChatGPT训练过程 本书集理论、实战和产业应用于一体，提供大量经详细注释的代码，方便读者理解和实操。总之，不管里是想深入研究ChatGPT本身，还是正在研发或使用其他大模型，本书都应该能给你颇具价值的技术启发与思考，让你在大模型的路上快速前行，少走弯路。

这是一本系统梳理并深入解析ChatGPT核心技术、算法实现、工作原理、训练方法的著作，也是一本能指导你搭建专属ChatGPT和实现大模型迁移及私有化的著作。本书得到了MOSS系统负责人邱锡鹏等多位专家的高度评价和鼎力推荐。 具体地，通过本书你能了解或掌握以下知识： ?ChatGPT的工作流程和技术栈 ?ChatGPT的工作原理和算法实现 ?基于Transformer架构的一系列预训练语言模型的原理 ?强化学习的基础知识 ?提示学习与大模型涌现出的上下文学习、思维链 ?大模型的训练方法及常见的分布式训练框架 ?基于人工反馈的强化学习整体框架 ?从零搭建类ChatGPT模型，模拟完整的ChatGPT训练过程 本书集理论、实战和产业应用于一体，提供大量经详细注释的代码，方便读者理解和实操。总之，不管里是想深入研究ChatGPT本身，还是正在研发或使用其他大模型，本书都应该能给你颇具价值的技术启发与思考，让你在大模型的路上快速前行，少走弯路。

近年来，大语言模型（LLM）技术飞速发展，深刻地改变着我们世界的各行各业，越来越多的人意识到这项技术的重要性，却苦于缺少严谨、优质的一站式学习教程。 本书旨在为读者提供全面、深入且实践性强的LLM 学习资源，力求将LLM 的理论知识与实际应用案例相结合，帮助读者更好地理解和掌握这一前沿技术。 本书具有重视实践、内容全面且系统、案例丰富且实用、代码规范且易懂、紧跟技术前沿等显著的特色，是现阶段LLM理论与实践学习的集大成者。

近年来，大语言模型（LLM）技术飞速发展，深刻地改变着我们世界的各行各业，越来越多的人意识到这项技术的重要性，却苦于缺少严谨、优质的一站式学习教程。 本书旨在为读者提供全面、深入且实践性强的LLM 学习资源，力求将LLM 的理论知识与实际应用案例相结合，帮助读者更好地理解和掌握这一前沿技术。 本书具有重视实践、内容全面且系统、案例丰富且实用、代码规范且易懂、紧跟技术前沿等显著的特色，是现阶段LLM理论与实践学习的集大成者。

随着ChatGPT等大语言模型的迅速发展，大语言模型已经成为人工智能领域发展的快车道，不同领域涌现出各种强大的新模型。开发者想要独立构建、部署符合自身需求的大语言模型，需要理解大语言模型的实现框架和基本原理。 本书梳理大语言模型的发展，首先介绍Transformer模型的基本原理、结构和模块及在NLP任务中的应用；然后介绍由只编码（Encoder-Only）到只解码（Decoder-Only）的技术路线发展过程中对应的 BERT、GPT等大语言模型；接下来介绍大语言模型在部署、训练、调优过程中涉及的各种关键技术，如自动并行、预训练与微调、RLHF等，并提供相应的实践指导；最后以开源大语言模型BLOOM和LLaMA为样例，介绍其架构和实现过程，帮助读者理解并构建、部署自己的大语言模型。本书还提供了基于MindSpore框架的丰富样例代码。 本书适合人工智能、智能科学与技术、计算机科学与技术、电子信息工程、自动化等专业的本科生和研究生阅读，同时也为从事大语言模型相关工作的软件开发工程师和科研人员提供翔实的参考资料。

随着ChatGPT等大语言模型的迅速发展，大语言模型已经成为人工智能领域发展的快车道，不同领域涌现出各种强大的新模型。开发者想要独立构建、部署符合自身需求的大语言模型，需要理解大语言模型的实现框架和基本原理。 本书梳理大语言模型的发展，首先介绍Transformer模型的基本原理、结构和模块及在NLP任务中的应用；然后介绍由只编码（Encoder-Only）到只解码（Decoder-Only）的技术路线发展过程中对应的 BERT、GPT等大语言模型；接下来介绍大语言模型在部署、训练、调优过程中涉及的各种关键技术，如自动并行、预训练与微调、RLHF等，并提供相应的实践指导；最后以开源大语言模型BLOOM和LLaMA为样例，介绍其架构和实现过程，帮助读者理解并构建、部署自己的大语言模型。本书还提供了基于MindSpore框架的丰富样例代码。 本书适合人工智能、智能科学与技术、计算机科学与技术、电子信息工程、自动化等专业的本科生和研究生阅读，同时也为从事大语言模型相关工作的软件开发工程师和科研人员提供翔实的参考资料。