这是一本系统梳理并深入解析ChatGPT核心技术、算法实现、工作原理、训练方法的著作，也是一本能指导你搭建专属ChatGPT和实现大模型迁移及私有化的著作。本书得到了MOSS系统负责人邱锡鹏等多位专家的高度评价和鼎力推荐。 具体地，通过本书你能了解或掌握以下知识： ?ChatGPT的工作流程和技术栈 ?ChatGPT的工作原理和算法实现 ?基于Transformer架构的一系列预训练语言模型的原理 ?强化学习的基础知识 ?提示学习与大模型涌现出的上下文学习、思维链 ?大模型的训练方法及常见的分布式训练框架 ?基于人工反馈的强化学习整体框架 ?从零搭建类ChatGPT模型，模拟完整的ChatGPT训练过程 本书集理论、实战和产业应用于一体，提供大量经详细注释的代码，方便读者理解和实操。总之，不管里是想深入研究ChatGPT本身，还是正在研发或使用其他大模型，本书都应该能给你颇具价值的技术启发与思考，让你在大模型的路上快速前行，少走弯路。

这是一本系统梳理并深入解析ChatGPT核心技术、算法实现、工作原理、训练方法的著作，也是一本能指导你搭建专属ChatGPT和实现大模型迁移及私有化的著作。本书得到了MOSS系统负责人邱锡鹏等多位专家的高度评价和鼎力推荐。 具体地，通过本书你能了解或掌握以下知识： ?ChatGPT的工作流程和技术栈 ?ChatGPT的工作原理和算法实现 ?基于Transformer架构的一系列预训练语言模型的原理 ?强化学习的基础知识 ?提示学习与大模型涌现出的上下文学习、思维链 ?大模型的训练方法及常见的分布式训练框架 ?基于人工反馈的强化学习整体框架 ?从零搭建类ChatGPT模型，模拟完整的ChatGPT训练过程 本书集理论、实战和产业应用于一体，提供大量经详细注释的代码，方便读者理解和实操。总之，不管里是想深入研究ChatGPT本身，还是正在研发或使用其他大模型，本书都应该能给你颇具价值的技术启发与思考，让你在大模型的路上快速前行，少走弯路。

内容简介 这是一本系统梳理并深入解析大模型的基础理论、算法实现、数据构造流程、模型微调方法、偏好对齐方法的著作，也是一本能手把手教你构建角色扮演、信息抽取、知识问答、AI Agent等各种强大的应用程序的著作。本书得到了零一万物、面壁智能、通义千问、百姓AI、澜舟科技等国内主流大模型团队的负责人的高度评价和鼎力推荐。 具体地，通过本书你能了解或掌握以下知识： （1）大型语言模型的基础理论，包括常见的模型架构、领域大型语言模型以及如何评估大模型的性能。 （2）大模型微调的关键步骤：从数据的收集、清洗到筛选，直至微调训练的技术细节。 （3）大模型人类偏好对齐方法，从基于人工反馈的强化学习框架到当前主流的对齐方法。 （4）通过GPTs快速搭建个性化的专属ChatGPT应用。 （5）通过开源模型在多种场景下搭建大模型应用，包括：表格查询、角色扮演、信息抽取、知识问答、AI Agent等。 （6）掌握大模型Agent方法以及Agent常用框架。 （7）基于LangChain框架构建一个AutoGPT应用。 本书集大模型理论、实践和场景落地于一体，提供大量经详细注释的代码，方便读者理解和实操。总之，不管里是想深入研究大模型本身，还是进行大模型相关应用搭建，本书都应该能给你颇具价值的技术启发与思考，让你在大模型的路上快速前行，少走弯路。

本书深入浅出地介绍了现代大型人工智能（Artificial Intelligence，AI）模型技术，从对话机器人的发展历程和人工智能的理念出发，详细阐述了大模型私有化部署过程，深入剖析了Transformer架构，旨在帮助读者领悟大模型的核心原理和技术细节。 本书的讲解风格独树一帜，将深奥的技术术语转化为简洁明了的语言，案例叙述既严谨又充满趣味，让读者在轻松愉快的阅读体验中自然而然地吸收和理解AI知识。本书提供完整的代码示例，可帮助读者将抽象的理论知识转化为手头的实际技能。本书不仅理论知识丰富，实战案例更能帮助读者在专业领域内高效地应用AI技术。

本书深入浅出地介绍了现代大型人工智能（Artificial Intelligence，AI）模型技术，从对话机器人的发展历程和人工智能的理念出发，详细阐述了大模型私有化部署过程，深入剖析了Transformer架构，旨在帮助读者领悟大模型的核心原理和技术细节。 本书的讲解风格独树一帜，将深奥的技术术语转化为简洁明了的语言，案例叙述既严谨又充满趣味，让读者在轻松愉快的阅读体验中自然而然地吸收和理解AI知识。本书提供完整的代码示例，可帮助读者将抽象的理论知识转化为手头的实际技能。本书不仅理论知识丰富，实战案例更能帮助读者在专业领域内高效地应用AI技术。

20世纪80年代末和90年代初，苏联及东欧社会主义国家相继发生巨变。在俄罗斯，所谓的“改革派”精英认为，建立西方社会那样的自由市场，改变公有制，确立私有制，就能得到西方援助，快速解决国内经济面临的所有问题，从而跻身于发达国家之列。因此，他们不惜以激烈的“休克疗法”来迅速推动经济私有化，自称实现了世界历史上的“一个奇迹”，完成了“一场不流血的财产大革命”。那么，私有化这个被西方鼓吹的灵丹妙药，在俄罗斯得到了预期的效果吗？它对俄罗斯的社会经济产生了哪些影响？国家和民众为此得到了什么又付出了什么？《俄罗斯的私有化》作者张树华、单超以历史的眼光和详实的资料全面客观地介绍了私有化20年来在俄罗斯发生、发展、演变的来龙去脉，其中的经验和教训是不能忽视的，我们从中也可得到一些借鉴。 《俄罗斯的私有化》由社会科学文献出版社出版发行。

随着ChatGPT等大语言模型的迅速发展，大语言模型已经成为人工智能领域发展的快车道，不同领域涌现出各种强大的新模型。开发者想要独立构建、部署符合自身需求的大语言模型，需要理解大语言模型的实现框架和基本原理。 本书梳理大语言模型的发展，首先介绍Transformer模型的基本原理、结构和模块及在NLP任务中的应用；然后介绍由只编码（Encoder-Only）到只解码（Decoder-Only）的技术路线发展过程中对应的 BERT、GPT等大语言模型；接下来介绍大语言模型在部署、训练、调优过程中涉及的各种关键技术，如自动并行、预训练与微调、RLHF等，并提供相应的实践指导；最后以开源大语言模型BLOOM和LLaMA为样例，介绍其架构和实现过程，帮助读者理解并构建、部署自己的大语言模型。本书还提供了基于MindSpore框架的丰富样例代码。 本书适合人工智能、智能科学与技术、计算机科学与技术、电子信息工程、自动化等专业的本科生和研究生阅读，同时也为从事大语言模型相关工作的软件开发工程师和科研人员提供翔实的参考资料。

随着ChatGPT等大语言模型的迅速发展，大语言模型已经成为人工智能领域发展的快车道，不同领域涌现出各种强大的新模型。开发者想要独立构建、部署符合自身需求的大语言模型，需要理解大语言模型的实现框架和基本原理。 本书梳理大语言模型的发展，首先介绍Transformer模型的基本原理、结构和模块及在NLP任务中的应用；然后介绍由只编码（Encoder-Only）到只解码（Decoder-Only）的技术路线发展过程中对应的 BERT、GPT等大语言模型；接下来介绍大语言模型在部署、训练、调优过程中涉及的各种关键技术，如自动并行、预训练与微调、RLHF等，并提供相应的实践指导；最后以开源大语言模型BLOOM和LLaMA为样例，介绍其架构和实现过程，帮助读者理解并构建、部署自己的大语言模型。本书还提供了基于MindSpore框架的丰富样例代码。 本书适合人工智能、智能科学与技术、计算机科学与技术、电子信息工程、自动化等专业的本科生和研究生阅读，同时也为从事大语言模型相关工作的软件开发工程师和科研人员提供翔实的参考资料。

这是一本从工程化角度讲解大语言模型的核心技术、构建方法与前沿应用的著作。首先从语言模型的原理和大模型的基础构件入手，详细梳理了大模型技术的发展脉络，深入探讨了大模型预训练与对齐的方法；然后阐明了大模型训练中的算法设计、数据处理和分布式训练的核心原理，展示了这一系统性工程的复杂性与实现路径。 除了基座模型的训练方案，本书还涵盖了大模型在各领域的落地应用方法，包括低参数量微调、知识融合、工具使用和自主智能体等，展示了大模型在提高生产力和创造性任务中的卓越性能和创新潜力。此外，书中进一步介绍了大模型优化的高级话题和前沿技术，如模型小型化、推理能力和多模态大模型等。最后，本书讨论了大模型的局限性与安全性问题，展望了未来的发展方向，为读者提供了全面的理解与前瞻性的视角。 无论是人工智能领域的研究员、工程师，还是对前沿技术充满好奇的读者，本书都将是您了解和掌握大模型技术的必备指南。

《大语言模型：原理与工程实践》用10 章对大语言模型进行全面且深入的介绍。首先对大语言模型的基本概念进行介绍。其次，从大语言模型的基础技术、预训练数据构建、预训练技术等方面展开讨论，帮助读者深入了解大语言模型的构建和训练过程。然后，详细介绍有监督微调和强化对齐等技术，以及如何评估大语言模型的性能。外，介绍提示工程和工程实践等方面的内容，帮助读者了解大语言模型的应用和实际操作过程。最后，介绍如何从零开始微调大语言模型，辅以代码示例，帮助读者更好地应用这些技术。 通过阅读本书，读者可以获得全面且深入的大语言模型的知识框架。无论您是研究人员、工程师，还是产品经理，都能从中获得有价值的知识。