预训练语言模型作为自然语言处理领域的重要突破，得到了越来越广泛的关注，相关研究者和从业人员在实际应用的过程中，亟需一本理论翔实、代码细节充分的参考书。《预训练语言模型》详细梳理了预训练语言模型的基本概念和理论基础，并通过实际代码的讲解，阐述了具有代表性的预训练语言模型的实现细节，非常适合需要快速、全面掌握预训练语言模型的从业者阅读。

预训练语言模型作为自然语言处理领域的重要突破，得到了越来越广泛的关注，相关研究者和从业人员在实际应用的过程中，亟需一本理论翔实、代码细节充分的参考书。《预训练语言模型》详细梳理了预训练语言模型的基本概念和理论基础，并通过实际代码的讲解，阐述了具有代表性的预训练语言模型的实现细节，非常适合需要快速、全面掌握预训练语言模型的从业者阅读。

近年来，在自然语言处理领域，基于预训练语言模型的方法已形成全新范式。本书内容分为基础知识、预训练语言模型，以及实践与应用3个部分，共9章。第一部分全面、系统地介绍自然语言处理、神经网络和预训练语言模型的相关知识。第二部分介绍几种具有代表性的预训练语言模型的原理和机制（涉及注意力机制和Transformer模型），包括BERT及其变种，以及近年来发展迅猛的GPT和提示工程。第三部分介绍了基于LangChain和ChatGLM-6B的知识库问答系统、基于大型语言模型的自然语言处理任务应用研究和大模型训练实战等具体应用，旨在从应用的角度加深读者对预训练语言模型理论的理解，便于读者在实践中提高技能，达到理论和实践的统一。 本书适合计算机相关专业的学生，以及其他对预训练语言模型感兴趣的读者阅读。

近年来，在自然语言处理领域，基于预训练语言模型的方法已形成全新范式。本书内容分为基础知识、预训练语言模型，以及实践与应用3个部分，共9章。第一部分全面、系统地介绍自然语言处理、神经网络和预训练语言模型的相关知识。第二部分介绍几种具有代表性的预训练语言模型的原理和机制（涉及注意力机制和Transformer模型），包括BERT及其变种，以及近年来发展迅猛的GPT和提示工程。第三部分介绍了基于LangChain和ChatGLM-6B的知识库问答系统、基于大型语言模型的自然语言处理任务应用研究和大模型训练实战等具体应用，旨在从应用的角度加深读者对预训练语言模型理论的理解，便于读者在实践中提高技能，达到理论和实践的统一。 本书适合计算机相关专业的学生，以及其他对预训练语言模型感兴趣的读者阅读。

大语言模型正以惊人的速度重塑世界，引发一场全新的智能革命。从 ChatGPT 的横空出世，到各行各业的颠覆式变革，大语言模型不仅仅是技术热点，更是我们理解未来、把握机遇的关键所在。 这本书将带你深入这场变革的核心。你将了解： 1.大语言模型的原理与应用：探索 Transformer 等核心技术原理，揭开大语言模型的神秘面纱。 2.智能革命的影响力：洞悉大语言模型在医疗、法律、教育、编程、艺术等领域的广泛应用和深远影响，看它如何提升效率、催生新职业，又带来哪些挑战。 3.超越技术的思考：引领你探讨智能、思维与意识的本质，以及大语言模型对这些核心概念的冲击和启发。 这场由大语言模型驱动的智能革命已经到来，不了解它，你就可能错过未来。这本书不仅为你揭示大语言模型的技术奥秘，更重要的是，它将帮助你在充满不确定性的时代，看清智能发展的浪潮，把握住属于你的机遇。

本书展现了大语言模型技术的整体框架和路线图，内容讲解力求简明、准确、实用，主要目的在于为相关行业或研究领域提供大模型技术的中文参考资料，推动我国相关人工智能技术的发展。全书共13章，内容涉及大模型的背景和基础知识、资源、预训练、微调与对齐、大模型使用以及模型评测等，同时还提供了相关的代码示例与实验工具包。 本书可供具有深度学习基础的读者阅读与使用，既可作为高等学校人工智能、大数据、计算机类等专业教材，也可作为相关研究与从业人员的参考用书。

大语言模型正以惊人的速度重塑世界，引发一场全新的智能革命。从 ChatGPT 的横空出世，到各行各业的颠覆式变革，大语言模型不仅仅是技术热点，更是我们理解未来、把握机遇的关键所在。 这本书将带你深入这场变革的核心。你将了解： 1.大语言模型的原理与应用：探索 Transformer 等核心技术原理，揭开大语言模型的神秘面纱。 2.智能革命的影响力：洞悉大语言模型在医疗、法律、教育、编程、艺术等领域的广泛应用和深远影响，看它如何提升效率、催生新职业，又带来哪些挑战。 3.超越技术的思考：引领你探讨智能、思维与意识的本质，以及大语言模型对这些核心概念的冲击和启发。 这场由大语言模型驱动的智能革命已经到来，不了解它，你就可能错过未来。这本书不仅为你揭示大语言模型的技术奥秘，更重要的是，它将帮助你在充满不确定性的时代，看清智能发展的浪潮，把握住属于你的机遇。

本书共12章，围绕大语言模型基础理论、预训练、指令理解、模型增强和模型应用五个部分展开：第一部分介绍大语言模型的基础理论；第二部分介绍大语言模型的预训练，包括大语言模型预训练数据和分布式训练；第三部分介绍大语言模型如何理解并服从人类指令，包括有监督微调和强化学习；第四部分介绍大语言模型增强技术，包括多模态语言模型、大模型智能体和检索增强生成；第五部分介绍大模型应用，包括大模型效率优化、模型评估和应用开发。

随着ChatGPT等大语言模型的迅速发展，大语言模型已经成为人工智能领域发展的快车道，不同领域涌现出各种强大的新模型。开发者想要独立构建、部署符合自身需求的大语言模型，需要理解大语言模型的实现框架和基本原理。 本书梳理大语言模型的发展，首先介绍Transformer模型的基本原理、结构和模块及在NLP任务中的应用；然后介绍由只编码（Encoder-Only）到只解码（Decoder-Only）的技术路线发展过程中对应的 BERT、GPT等大语言模型；接下来介绍大语言模型在部署、训练、调优过程中涉及的各种关键技术，如自动并行、预训练与微调、RLHF等，并提供相应的实践指导；最后以开源大语言模型BLOOM和LLaMA为样例，介绍其架构和实现过程，帮助读者理解并构建、部署自己的大语言模型。本书还提供了基于MindSpore框架的丰富样例代码。 本书适合人工智能、智能科学与技术、计算机科学与技术、电子信息工程、自动化等专业的本科生和研究生阅读，同时也为从事大语言模型相关工作的软件开发工程师和科研人员提供翔实的参考资料。

随着ChatGPT等大语言模型的迅速发展，大语言模型已经成为人工智能领域发展的快车道，不同领域涌现出各种强大的新模型。开发者想要独立构建、部署符合自身需求的大语言模型，需要理解大语言模型的实现框架和基本原理。 本书梳理大语言模型的发展，首先介绍Transformer模型的基本原理、结构和模块及在NLP任务中的应用；然后介绍由只编码（Encoder-Only）到只解码（Decoder-Only）的技术路线发展过程中对应的 BERT、GPT等大语言模型；接下来介绍大语言模型在部署、训练、调优过程中涉及的各种关键技术，如自动并行、预训练与微调、RLHF等，并提供相应的实践指导；最后以开源大语言模型BLOOM和LLaMA为样例，介绍其架构和实现过程，帮助读者理解并构建、部署自己的大语言模型。本书还提供了基于MindSpore框架的丰富样例代码。 本书适合人工智能、智能科学与技术、计算机科学与技术、电子信息工程、自动化等专业的本科生和研究生阅读，同时也为从事大语言模型相关工作的软件开发工程师和科研人员提供翔实的参考资料。