近年来，在自然语言处理领域，基于预训练语言模型的方法已形成全新范式。本书内容分为基础知识、预训练语言模型，以及实践与应用3个部分，共9章。第一部分全面、系统地介绍自然语言处理、神经网络和预训练语言模型的相关知识。第二部分介绍几种具有代表性的预训练语言模型的原理和机制（涉及注意力机制和Transformer模型），包括BERT及其变种，以及近年来发展迅猛的GPT和提示工程。第三部分介绍了基于LangChain和ChatGLM-6B的知识库问答系统、基于大型语言模型的自然语言处理任务应用研究和大模型训练实战等具体应用，旨在从应用的角度加深读者对预训练语言模型理论的理解，便于读者在实践中提高技能，达到理论和实践的统一。 本书适合计算机相关专业的学生，以及其他对预训练语言模型感兴趣的读者阅读。

近年来，在自然语言处理领域，基于预训练语言模型的方法已形成全新范式。本书内容分为基础知识、预训练语言模型，以及实践与应用3个部分，共9章。第一部分全面、系统地介绍自然语言处理、神经网络和预训练语言模型的相关知识。第二部分介绍几种具有代表性的预训练语言模型的原理和机制（涉及注意力机制和Transformer模型），包括BERT及其变种，以及近年来发展迅猛的GPT和提示工程。第三部分介绍了基于LangChain和ChatGLM-6B的知识库问答系统、基于大型语言模型的自然语言处理任务应用研究和大模型训练实战等具体应用，旨在从应用的角度加深读者对预训练语言模型理论的理解，便于读者在实践中提高技能，达到理论和实践的统一。 本书适合计算机相关专业的学生，以及其他对预训练语言模型感兴趣的读者阅读。

预训练语言模型作为自然语言处理领域的重要突破，得到了越来越广泛的关注，相关研究者和从业人员在实际应用的过程中，亟需一本理论翔实、代码细节充分的参考书。《预训练语言模型》详细梳理了预训练语言模型的基本概念和理论基础，并通过实际代码的讲解，阐述了具有代表性的预训练语言模型的实现细节，非常适合需要快速、全面掌握预训练语言模型的从业者阅读。

预训练语言模型作为自然语言处理领域的重要突破，得到了越来越广泛的关注，相关研究者和从业人员在实际应用的过程中，亟需一本理论翔实、代码细节充分的参考书。《预训练语言模型》详细梳理了预训练语言模型的基本概念和理论基础，并通过实际代码的讲解，阐述了具有代表性的预训练语言模型的实现细节，非常适合需要快速、全面掌握预训练语言模型的从业者阅读。

本书旨在帮助非计算机专业本科生快速掌握大语言模型（LLM）的入门知识和实用技术。全书共8章，阐述了LLM如何助力解决日常生活与科研中的难题，并深度挖掘了提示工程、检索增强技术以及LLM在智能体领域的应用等实用技巧。同时，书中还涵盖了LLM的应用环境、风险与安全技术，强调理性使用LLM技术的重要性。借助简洁易懂的语言和实际案例，读者既能洞悉LLM的核心理念，又能熟练驾驭其实战应用，深切感受科技创新如何无缝融入日常学习、工作和生活，助力快速获取信息和提高工作效率。 本书适合作为普通高等学校非计算机专业本科生人工智能类通识课或选修课教材或参考书，也可供对大语言模型技术与应用感兴趣的读者参考阅读。

《大语言模型：原理与工程实践》用10 章对大语言模型进行全面且深入的介绍。首先对大语言模型的基本概念进行介绍。其次，从大语言模型的基础技术、预训练数据构建、预训练技术等方面展开讨论，帮助读者深入了解大语言模型的构建和训练过程。然后，详细介绍有监督微调和强化对齐等技术，以及如何评估大语言模型的性能。外，介绍提示工程和工程实践等方面的内容，帮助读者了解大语言模型的应用和实际操作过程。最后，介绍如何从零开始微调大语言模型，辅以代码示例，帮助读者更好地应用这些技术。 通过阅读本书，读者可以获得全面且深入的大语言模型的知识框架。无论您是研究人员、工程师，还是产品经理，都能从中获得有价值的知识。

这是一本从工程化角度讲解大语言模型的核心技术、构建方法与前沿应用的著作。首先从语言模型的原理和大模型的基础构件入手，详细梳理了大模型技术的发展脉络，深入探讨了大模型预训练与对齐的方法；然后阐明了大模型训练中的算法设计、数据处理和分布式训练的核心原理，展示了这一系统性工程的复杂性与实现路径。 除了基座模型的训练方案，本书还涵盖了大模型在各领域的落地应用方法，包括低参数量微调、知识融合、工具使用和自主智能体等，展示了大模型在提高生产力和创造性任务中的卓越性能和创新潜力。此外，书中进一步介绍了大模型优化的高级话题和前沿技术，如模型小型化、推理能力和多模态大模型等。最后，本书讨论了大模型的局限性与安全性问题，展望了未来的发展方向，为读者提供了全面的理解与前瞻性的视角。 无论是人工智能领域的研究员、工程师，还是对前沿技术充满好奇的读者，本书都将是您了解和掌握大模型技术的必备指南。

这是一本从工程化角度讲解大语言模型的核心技术、构建方法与前沿应用的著作。首先从语言模型的原理和大模型的基础构件入手，详细梳理了大模型技术的发展脉络，深入探讨了大模型预训练与对齐的方法；然后阐明了大模型训练中的算法设计、数据处理和分布式训练的核心原理，展示了这一系统性工程的复杂性与实现路径。 除了基座模型的训练方案，本书还涵盖了大模型在各领域的落地应用方法，包括低参数量微调、知识融合、工具使用和自主智能体等，展示了大模型在提高生产力和创造性任务中的卓越性能和创新潜力。此外，书中进一步介绍了大模型优化的高级话题和前沿技术，如模型小型化、推理能力和多模态大模型等。最后，本书讨论了大模型的局限性与安全性问题，展望了未来的发展方向，为读者提供了全面的理解与前瞻性的视角。 无论是人工智能领域的研究员、工程师，还是对前沿技术充满好奇的读者，本书都将是您了解和掌握大模型技术的必备指南。

内容简介 这是一本系统梳理并深入解析大模型的基础理论、算法实现、数据构造流程、模型微调方法、偏好对齐方法的著作，也是一本能手把手教你构建角色扮演、信息抽取、知识问答、AI Agent等各种强大的应用程序的著作。本书得到了零一万物、面壁智能、通义千问、百姓AI、澜舟科技等国内主流大模型团队的负责人的高度评价和鼎力推荐。 具体地，通过本书你能了解或掌握以下知识： （1）大型语言模型的基础理论，包括常见的模型架构、领域大型语言模型以及如何评估大模型的性能。 （2）大模型微调的关键步骤：从数据的收集、清洗到筛选，直至微调训练的技术细节。 （3）大模型人类偏好对齐方法，从基于人工反馈的强化学习框架到当前主流的对齐方法。 （4）通过GPTs快速搭建个性化的专属ChatGPT应用。 （5）通过开源模型在多种场景下搭建大模型应用，包括：表格查询、角色扮演、信息抽取、知识问答、AI Agent等。 （6）掌握大模型Agent方法以及Agent常用框架。 （7）基于LangChain框架构建一个AutoGPT应用。 本书集大模型理论、实践和场景落地于一体，提供大量经详细注释的代码，方便读者理解和实操。总之，不管里是想深入研究大模型本身，还是进行大模型相关应用搭建，本书都应该能给你颇具价值的技术启发与思考，让你在大模型的路上快速前行，少走弯路。

本书将带读者走进大语言模型的神奇世界，即使读者没有深厚的技术背景，也能轻松理解。本书首先从基础概念讲起，详细介绍大语言模型及其技术发展脉络。接着探讨大语言模型在日常生活中的广泛应用，比如智能客服、文本自动生成、语言翻译等。此外，本书还会客观地分析大语言模型的局限性和可能面临的挑战，例如准确性问题、伦理考虑等，帮助读者形成全面而理性的认识。最后，本书还会展望大语言模型的未来发展趋势，探讨它们将如何为读者所在的行业赋能。本书适合对新技术充满好奇的普通读者，以及希望跟上时代步伐的知识追求者阅读。