本书介绍了Hadoop技术的相关知识，并将理论知识与实际项目相结合。全书共分为三个部分：基础篇、应用篇和总结篇。基础篇详细介绍了Hadoop、YARN、MapReduce、HDFS、Hive、Sqoop和HBase，并深入探讨了Hadoop的运维和调优；应用篇则包含了一个具有代表性的完整的基于Hadoop的商业智能系统的设计和实现；结束篇对全书进行总结，并对技术发展做了展望。

本书介绍了Hadoop技术的相关知识，并将理论知识与实际项目相结合。全书共分为三个部分：基础篇、应用篇和总结篇。基础篇详细介绍了Hadoop、YARN、MapReduce、HDFS、Hive、Sqoop和HBase，并深入探讨了Hadoop的运维和调优；应用篇则包含了一个具有代表性的完整的基于Hadoop的商业智能系统的设计和实现；结束篇对全书进行总结，并对技术发展做了展望。

本书基于Spark发行版2.4.4写作而成，包含大量的实例与一个完整项目，层次分明，循序渐进。全书分为3部分，涵盖了技术理论与实战，读者可以从实战中巩固学习到的知识。第一部分主要围绕BDAS（伯克利数据分析栈），不仅介绍了如何开发Spark应用的基础内容，还介绍了Structured Streaming、Spark机器学习、Spark图挖掘、Spark深度学习等高级主题，此外还介绍了Alluxio系统。第二部分实现了一个企业背景调查系统，比较新颖的是，该系统借鉴了数据湖与Lambda架构的思想，涵盖了批处理、流处理应用开发，并加入了一些开源组件来满足需求，既是对本书第一部分很好的巩固，又完整呈现了一个实时大数据应用的开发过程。第三部分是对全书的总结和展望。 本书适合准备学习Spark的开发人员和数据分析师，以及准备将Spark应用到实际项目中的开发人员和管理人员阅读，也适合计算机相关专业的高年级本科生和研究生学习和参考，对于具有一定的Spark使用经验并想进一步提升的数据科学从业者也是很好的参考资料。

本书基于Spark发行版2.4.4写作而成，包含大量的实例与一个完整项目，层次分明，循序渐进。全书分为3部分，涵盖了技术理论与实战，读者可以从实战中巩固学习到的知识。第一部分主要围绕BDAS（伯克利数据分析栈），不仅介绍了如何开发Spark应用的基础内容，还介绍了Structured Streaming、Spark机器学习、Spark图挖掘、Spark深度学习等高级主题，此外还介绍了Alluxio系统。第二部分实现了一个企业背景调查系统，比较新颖的是，该系统借鉴了数据湖与Lambda架构的思想，涵盖了批处理、流处理应用开发，并加入了一些开源组件来满足需求，既是对本书第一部分很好的巩固，又完整呈现了一个实时大数据应用的开发过程。第三部分是对全书的总结和展望。 本书适合准备学习Spark的开发人员和数据分析师，以及准备将Spark应用到实际项目中的开发人员和管理人员阅读，也适合计算机相关专业的高年级本科生和研究生学习和参考，对于具有一定的Spark使用经验并想进一步提升的数据科学从业者也是很好的参考资料。

本书将以电商应用场景为例，讲解不同规模的存储系统应该如何构建。本书的章节是按照系统的发展过程来设计，分成了设计篇、高速增长篇、海量数据篇和技术进阶篇。在设计篇中，重点介绍如何从0到1地设计电商系统的各个存储架构。在高速增长篇中，重点关注在高速变化的过程中系统所遇到的共通性问题，以及应对这些问题的方法。在海量数据篇中，重点解决高并发、海量数据情况下的存储系统应该如何设计的问题。在技术进阶篇中，重点探讨在存储技术领域，有哪些新技术值得关注，哪些技术可能成为未来的发展趋势。毕竟，不断创新是技术发展的原动力。

本书从实际工作应用出发，重点介绍了数据处理的重要技巧及函数的应用，特别是数据清理技术的应用能让读者对数据去伪存真，掌握数据主动权，全面掌控数据；Excel中SQL、数据透视表、PowerQuery、PowerPivot、VBA的应用重在挖掘隐藏的数据价值，轻松整合海量数据；各种图表类型的制作技巧及PowerView的应用可展现数据可视化效果，让数据说话

本书从实际工作应用出发，重点介绍了数据处理的重要技巧及函数的应用，特别是数据清理技术的应用能让读者对数据去伪存真，掌握数据主动权，全面掌控数据；Excel中SQL、数据透视表、PowerQuery、PowerPivot、VBA的应用重在挖掘隐藏的数据价值，轻松整合海量数据；各种图表类型的制作技巧及PowerView的应用可展现数据可视化效果，让数据说话

本书将向读者详细介绍Hadoop的各项操作，从最初的设计，到安装、设置，以帮助读者提供稳定持续的系统表现。而对于那些希望通过学习Hadoop工作原理以提高NapReduce工作效率的开发者来说，也将会从本书收益。

本书采用基于项目的方法，介绍用Python完成数据获取、数据清洗、数据探索、数据呈现、数据规模化和自动化的过程。主要内容包括：Python基础知识，如何从CSV、Excel、XML、JSON和PDF文件中提取数据，如何获取与存储数据，各种数据清洗与分析技术，数据可视化方法，如何从网站和API中提取数据。

作者简介： Jacqueline Kazil 数据科学家，资深软件开发者。活跃于Python软件基金会、PyLadies等社区。曾参与美国总统创新伙伴项目，是美国政府技术组织18F的联合创始人。曾担任《华盛顿邮报》数据记者。 Katharine Jarmul 资深Python开发者，PyLadies联合创始人。喜欢数据分析和获取、网页抓取、教人学习Python以及Unix，期望通过教育和培训来促进Python和其他开源语言的多元化。 译者简介： 张亮（hysic） 毕业于北京大学物理学院，爱好机器学习和数据分析的核安全工程师。 吕家明 2016年毕业于哈尔滨工业大学，现就职于腾讯，从事搜索、Query分析等相关工作，熟悉大规模数据下的数据挖掘和机器学习实践。