本书从工程角度出发，阐述了运用大数据技术进行软件测试的方法和实现过程。全书共11章，介绍了大数据测试思维、手机联网数据的收集方法、数据格式的转换方法、大数据的处理方法、软件缺陷挖掘技术及实践项目的应用等。本书第1章介绍了大数据的测试方法和思维方式，随后每一章都通过案例来讲解大数据技术的相关理论及其测试应用。除第1章外，每章最后都提供了思考题来帮助读者回顾和巩固本章的学习内容，本书最后还提供了思考题的参考答案。同时，本书对每一个案例进行了详细图例展示和讲解。

本书是一本专门论述大数据采集与处理相关技术及应用的著作，也是一线研发工程师的实战经验结晶。本书依次介绍了大数据采集、大数据预处理、大数据存储与计算、大数据安全等相关内容，并结合大数据应用各行业背景，介绍了电商、煤炭、教育、医疗、电信、交通等行业的大数据采集与处理。最后，本书以某电商网站数据分析为背景，介绍一个完整的数据采集、清洗、处理的离线数据分析案例，以期给读者展示一个系统的实践操作过程。与本书所述技术相关的论著较少，所著内容新颖、系统全面、实践指导性强。

本书是一本专门论述大数据采集与处理相关技术及应用的著作，也是一线研发工程师的实战经验结晶。本书依次介绍了大数据采集、大数据预处理、大数据存储与计算、大数据安全等相关内容，并结合大数据应用各行业背景，介绍了电商、煤炭、教育、医疗、电信、交通等行业的大数据采集与处理。最后，本书以某电商网站数据分析为背景，介绍一个完整的数据采集、清洗、处理的离线数据分析案例，以期给读者展示一个系统的实践操作过程。与本书所述技术相关的论著较少，所著内容新颖、系统全面、实践指导性强。

本书从实际技术解决方案出发，提出了大数据技术四层架构，即基础设施层、管理层、分析层、应用层。在此基础上，全面剖析了当前大数据领域中的主流技术，并配以行业应用实例和一线研发人员的独到见解。力求使读者能够通过阅读此书，全面了解当前大数据技术动态和发展趋势，并可针对自己面临的大数据问题找到可行的解决方案。

为了适应数字经济时代的新发展趋势，培养新时代大数据专业人才，编者通过总结多年的教学经验，借鉴国内外相关领域的教学优势，详细剖析大数据采集、预处理与可视化的基础理论、关键技术、相关工具和应用案例，进而编成本书。 本书是集理论与实践于一体的应用型教材。全书共7章，包括大数据概述、Python程序设计、大数据采集、大数据预处理技术、Excel数据获取与预处理、Python数据预处理、数据可视化技术。本书在编写中着重介绍基本原理，同时突出工程应用，并以清晰、容易理解的方式展现大数据采集、预处理与可视化的基础知识、基本任务、常用方法、实用场景和主要流程，力图做到基本概念准确、阐述条理清晰、主体内容精练、重点难点突出、理论联系实际。此外，本书还将反映相关领域新技术的发展情况。 本书可作为计算机、人工智能、大数据、电子商务、电气、电子、统计学、会计学等相关专业的大数据技术类课程的教材，也可供相关领域的科技人员参考使用，还可作为数据分析及应用类认证培训课程用书。

本书是华为ICT学院大数据技术官方教材，旨在帮助学生进一步学习大数据的基本概念、技术原理，以及大数据平台的搭建和使用。本书从大数据的概念和特征开始讲起，首先让读者对大数据有一个感性的认识；接下来结合大数据平台的各个功能模块，详细介绍大数据的存储、处理、分析、可视化等原理和操作；对大数据在各种行业中的应用加以叙述，让读者更加充分地感受到大数据应用的价值。除华为ICT学院的学生之外，本书同样适合正在备考HCNA-Big Data认证，或者正在参加HCNA-Big Data技术培训的学员进行阅读和参考。其他有志进入ICT行业的人员和大数据技术爱好者也可以通过阅读本书，加深自己对大数据技术的理解。

本书采用简洁强大的Python语言，介绍了网络数据采集，并为采集新式网络中的各种数据类型提供了全面的指导。第一部分重点介绍网络数据采集的基本原理：如何用Python从网络服务器请求信息，如何对服务器的响应进行基本处理，以及如何以自动化手段与网站进行交互。第二部分介绍如何用网络爬虫测试网站，自动化处理，以及如何通过更多的方式接入网络。

本书采用简洁强大的Python语言，介绍了网络数据采集，并为采集新式网络中的各种数据类型提供了全面的指导。第一部分重点介绍网络数据采集的基本原理：如何用Python从网络服务器请求信息，如何对服务器的响应进行基本处理，以及如何以自动化手段与网站进行交互。第二部分介绍如何用网络爬虫测试网站，自动化处理，以及如何通过更多的方式接入网络。

本书采用简洁强大的Python语言，介绍了网络数据采集，并为采集新式网络中的各种数据类型提供了全面的指导。第一部分重点介绍网络数据采集的基本原理：如何用Python从网络服务器请求信息，如何对服务器的响应进行基本处理，以及如何以自动化手段与网站进行交互。第二部分介绍如何用网络爬虫测试网站，自动化处理，以及如何通过更多的方式接入网络。

本书采用简洁强大的Python语言，介绍了网络数据采集，并为采集新式网络中的各种数据类型提供了全面的指导。第一部分重点介绍网络数据采集的基本原理：如何用Python从网络服务器请求信息，如何对服务器的响应进行基本处理，以及如何以自动化手段与网站进行交互。第二部分介绍如何用网络爬虫测试网站，自动化处理，以及如何通过更多的方式接入网络。