大数据技术全解:基础设计开发与实践【正版保证】 下载 pdf 百度网盘 epub 免费 2025 电子书 mobi 在线

“大数据”一词已成为当下最热门的词汇之一。人们热切期待大数据能给工作、学习和生活等方面带来前所未有的变化，而大数据的采集、存储、计算、分析挖掘、呈现和安全等技术正是实现这一变化的关键。《大数据技术全解：基础、设计、开发与实践》的重点不在于对大数据技术的原理性介绍，而是从实战角度出发，系统地阐述如何基于Hadoop开源软件为客户设计、安装和开发一个大数据系统。《大数据技术全解：基础、设计、开发与实践》还着重分享了具体实践中的一些案例，不仅对于从事大数据系统开发的IT技术人员具有珍贵的参考价值，而且对准备实施大数据系统项目的企业级客户也具有指导作用。

《大数据技术全解：基础、设计、开发与实践》可以作为计算机软件专业的本科生和研究生的大数据技术教材，也可作为大数据技术开发培训、大数据系统咨询规划培训的教材，更是大数据领域内一线的需求分析人员、系统分析人员、高级开发人员和开发管理人员的参考书。

第1篇基础篇第1章大数据的三把利剑1.1豌豆杂交实验1.2曹冲称象启示1.3谷歌的三把利剑1.4智慧改变世界第2章企业的大数据观2.1企业面临的挑战2.1.1数据能力是核心竞争力2.1.2从粗放经营到智慧经营2.1.3技术与商业的双重挑战2.2企业大数据从哪来2.2.1来自于主体的产生2.2.2来自于客体的产生2.2.3来自于社会的产生2.3企业大数据如何存储2.3.1非结构化数据存储2.3.2结构化数据存储2.3.3半结构化数据存储2.3.4大数据存储的问题2.4企业大数据如何加工2.4.1分析或挖掘模型设计2.4.2并行处理程序编码2.4.3结果在全局中呈现2.5企业的大数据到哪里去2.5.1大数据对企业影响深远2.5.2大数据是一种新商品2.5.3精准营销需要大数据2.6企业大数据观总结第3章大数据和大数据系统3.1大数据3.1.1大数据概念3.1.2大数据的特征3.1.3数据计量单位3.1.4大数据来源3.1.5大数据类型3.2大数据系统3.2.1设计目标和原则3.2.2系统的设计思想3.2.3系统的逻辑架构3.2.4与现有系统的关系3.2.5当前的大数据系统第2篇技术篇第4章分布、键值对与族4.1分布与MapReduce4.2键值对的奥妙所在4.3动态数据库表原理第5章HDFS（分布式文件系统）5.1设计目标5.2基本概念5.2.1块5.2.2名称节点与数据节点5.3系统架构5.3.1逻辑架构5.3.2物理架构5.4运行机制5.4.1文件读取5.4.2文件写入5.4.3特别关注5.5系统功能5.5.1多文件系统5.5.2目录管理5.5.3文件管理5.5.4文件归档5.5.5并行复制5.6系统I/O特性5.6.1完整性校验5.6.2压缩与编码解码5.6.3序列化5.6.4特殊文件结构5.7非Java访问接口5.8系统性能5.8.1可靠性措施5.8.2性能优化第6章MapReduce分布式编程模式6.1不同于传统6.2设计思想6.3基本概念6.3.1map（）函数6.3.2reduce（）函数6.3.3键值对6.3.4中间结果6.3.5移动代码6.3.6作业和任务节点6.4系统架构6.4.1逻辑架构6.4.2物理架构6.5运行机制6.5.1作业运行6.5.2作业调度6.5.3任务执行6.5.4状态更新6.5.5作业完成6.5.6故障处理6.6关键技术6.6.1计数器6.6.2排序6.6.3连接6.6.4shuffle6.6.5内存处理6.6.6分布式缓存6.7类型与格式6.7.1MR的类型6.7.2输入格式6.7.3输出格式6.8MR的开发6.8.1开发端环境的建立6.8.2开发及单元测试6.8.3本地运行测试6.8.4集群运行6.8.5作业调试6.8.6远程调试6.8.7作业调优6.9MR工作流第7章HBase分布式数据库7.1设计目标7.2基本概念7.2.1逻辑模型7.2.2物理模型7.2.3区域7.2.4基本单元7.2.5Region服务器7.2.6Master主服务器7.2.7.META.元数据表7.2.8-ROOT-元数据表7.3系统架构7.3.1逻辑架构7.3.2物理架构7.4运行机制7.5系统功能7.5.1用户界面7.5.2shell操作7.6库表设计7.7访问接口第3篇设计篇第8章系统设计背景和目标8.1系统设计背景8.2系统设计目标8.2.1存在问题8.2.2设计目标第9章系统架构设计9.1逻辑架构设计9.1.1系统逻辑架构9.1.2系统运行逻辑9.2功能架构设计9.2.1大数据管理系统的功能9.2.2ZooKeeper系统的功能9.2.3Chukwa采集系统的功能9.2.4Pig系统功能9.2.5Hive系统功能9.3数据架构设计9.3.1数据总体架构9.3.2分布式文件数据结构9.3.3分布式数据库数据结构9.3.4关系型数据库数据构成第10章运行架构设计10.1物理架构设计10.1.1网络拓扑10.1.2软/硬件选型10.2集成架构设计10.2.1总体集成设计10.2.2专项集成设计10.3安全架构设计10.3.1用户层安全10.3.2应用层安全10.3.3数据层安全10.4开发架构设计第4篇安装篇第11章安装规划11.1安装目标11.2安装步骤第12章环境准备12.1主机准备12.2介质准备12.3基础安装12.3.1JDK安装12.3.2用户创建12.3.3SSH配置第13章集群安装13.1HDFS集群13.1.1解析配置13.1.2模板创建13.1.3复制分发13.1.4运行启动13.1.5测试验证13.2HBase集群13.2.1解析配置13.2.2模板创建13.2.3复制分发13.2.4运行启动13.2.5测试验证13.3ZooKeeper集群13.3.1解析配置13.3.2模板创建13.3.3复制分发13.3.4运行启动13.3.5测试验证第14章分布式应用安装14.1Pig安装14.1.1本地安装14.1.2本地验证14.1.3集成配置14.1.4集成验证14.2Hive安装14.2.1内嵌安装与验证14.2.2从内嵌改为独立14.2.3从独立改为远程14.3Chukwa安装14.3.1基础系统安装14.3.2代理系统安装14.3.3收集系统的安装14.3.4作业系统的安装14.3.5HICC系统的安装第15章集成联调15.1集群间的集成联调15.1.1HBase与HDFS集成联调15.1.2HBase与ZooKeeper集成联调15.2分布式应用与集群间的集成联调15.2.1Pig与HDFS的集成15.2.2Hive与HDFS的集成15.2.3Hive与Hbase的集成15.2.4Chukwa与HDFS的集成15.3客户端与分布式系统间的集成联调15.3.1与分布式集群系统的集成15.3.2与分布式应用系统的集成第5篇开发篇第16章大数据系统应用开发思路和环境16.1总体思路16.1.1大数据读写应用的开发16.1.2大数据分析应用的开发16.2开发环境16.2.1Plugin插件的安装16.2.2Hadoop开发环境的配置16.2.3示例程序验证第17章HDFS文件读/写应用开发17.1文件列表17.2文件读取17.3文件上传17.4文件创建17.5文件写入17.6文件压缩与解压17.6.1压缩写入17.6.2解压后读取17.7目录创建17.8文件重命名17.9删除文件17.10查看文件时间17.11查看文件是否存在17.12查找文件位置17.13查找集群所有的节点17.14SequenceFile文件格式转换17.14.1创建SequenceFile格式的文件17.14.2读取SequenceFile格式的文件17.15MapFile文件格式转换17.15.1创建MapFile格式的文件17.15.2读取MapFile格式的文件17.15.3SequenceFile格式转换成MapFile格式第18章HBase数据库读/写应用开发18.1创建表18.2删除表18.3查询数据库中的表18.4插入记录18.5查询记录18.5.1列族的查询18.5.2查询所有记录18.5.3基于行键查询18.5.4基于标签值查询18.5.5组合条件查询18.6修改记录18.7删除记录第19章ZooKeeper开发19.1创建节点19.2删除节点19.3加入子节点19.4列出节点成员19.5获取节点内容?

第20章MapReduce开发第21章Pig开发第22章Hive开发第6篇实践篇第23章企业大数据盘系统第24章Hadoop的日志分析参考文献

杨巨龙，1991年毕业于中国人民解放军信息工程大学，分配到兰州军区第二技术侦察局从事技术保障和研发工作，1998年转业到地方工作。20多年来一直从事软件设计、开发和管理方面的工作，曾担任过多家IT公司的技术总监和总架构师。目前主要研究方向包括软件编码哲学、大型软件系统体系架构设计、软件需求分析方法论、大数据和云计算技术等。2009至2010年在清华大学网络行为研究所从事信息咨询规划方面的学习和研究，在研究所期间承担过国家多个部委的“十二五”信息化规划的报告编制工作。

暂无出版社相关信息，正在全力查找中！

暂无相关书籍摘录，正在全力查找中！

在线阅读地址：大数据技术全解:基础设计开发与实践【正版保证】在线阅读

在线听书地址：大数据技术全解:基础设计开发与实践【正版保证】在线收听

在线购买地址：大数据技术全解:基础设计开发与实践【正版保证】在线购买

暂无原文赏析，正在全力查找中！

书籍介绍

“大数据”一词已成为当下最热门的词汇之一。人们热切期待大数据能给工作、学习和生活等方面带来前所未有的变化，而大数据的采集、存储、计算、分析挖掘、呈现和安全等技术正是实现这一变化的关键。《大数据技术全解：基础、设计、开发与实践》的重点不在于对大数据技术的原理性介绍，而是从实战角度出发，系统地阐述如何基于Hadoop开源软件为客户设计、安装和开发一个大数据系统。《大数据技术全解：基础、设计、开发与实践》还着重分享了具体实践中的一些案例，不仅对于从事大数据系统开发的IT技术人员具有珍贵的参考价值，而且对准备实施大数据系统项目的企业级客户也具有指导作用。

《大数据技术全解：基础、设计、开发与实践》可以作为计算机软件专业的本科生和研究生的大数据技术教材，也可作为大数据技术开发培训、大数据系统咨询规划培训的教材，更是大数据领域内一线的需求分析人员、系统分析人员、高级开发人员和开发管理人员的必备参考书。