大数据分析与数据挖掘 下载 pdf 百度网盘 epub 免费 2025 电子书 mobi 在线

《大数据分析与数据挖掘》综合大数据分析与数据挖掘的理论、技术和实际案例，以丰富的产学合作实务案例，深入浅出地剖析从大数据中掏金的秘诀。全书内容涵盖大数据分析与数据挖掘的基本概念、数据准备、大数据分析的方法与实证及相关的进阶运用，并佐以R语言及例题实作，提升读者的数据挖掘实战能力，开拓对大数据分析的洞察视野。

随着移动通信和行动装置普及、物联网和网络发展，以及云端技术的不断进步，现今数据产生、搜集和储存方式比以往更为方便。数据挖掘与大数据分析可以从海量数据中，找到值得参考的样型或规则，转换成有价值的信息、洞察或知识，创造更多新价值。

本书主要介绍数据挖掘与大数据分析的理论方法与实践应用，并加入丰富的实务案例介绍，具体说明如何应用数据挖掘与大数据分析技术以解决真实问题，深入浅出地剖析从数据中掏金的秘诀。全书共分为13章，内容涵盖数据挖掘基本概念与数据准备、数据挖掘的方法与实证、数据挖掘的进阶运用；书中也提供R语言与编程实例辅以说明，使读者更能融会贯通地应用数据挖掘方法，进而提升大数据分析和数字决策能力。

第1篇大数据分析与数据挖掘导论

第1章大数据分析与数据挖掘概论3

1.1前言3

1.2大数据分析的应用6

1.3数据挖掘与数字决策8

1.4数据挖掘和大数据分析架构与步骤9

1.4.1问题定义与架构10

1.4.2数据准备11

1.4.3建立挖掘模式11

1.4.4结果解释与评估12

1.5数据挖掘的问题类型13

1.5.1分类13

1.5.2预测13

1.5.3聚类14

1.5.4关联规则14

1.6数据挖掘模式14

1.7结论15

1.8本书架构17

问题与讨论17

第2章数据与数据准备19

2.1数据取得20

2.2大数据分析的基础：Hadoop22

2.2.1Hadoop架构22

2.2.2Hadoop分布式文件系统23

2.2.3MapReduce24

2.3数据类型25

2.4数据尺度26

2.5数据检查28

2.6数据探索与可视化29

2.7数据整合与清理32

2.8数据转换36

2.8.1数据数值转换36

2.8.2数据属性转换37

2.9数据归约38

2.9.1数据维度归约38

2.9.2数据数值归约44

2.10数据分割46

2.11应用实例——半导体厂制造技术员人力资源管理质量提升47

2.11.1案例背景47

2.11.2数据准备47

2.12结论50

问题与讨论51

第2篇数据挖掘方法与实证

第3章关联规则55

3.1关联规则的定义与说明55

3.2关联规则的衡量指针57

3.3关联规则的类型59

3.4关联规则算法60

3.4.1Apriori算法62

3.4.2Partition算法65

3.4.3DHP算法66

3.4.4MSApriori算法68

3.4.5FPGrowth算法70

3.5多维度关联规则75

3.6多阶层关联规则76

3.7关联规则的应用79

3.8R语言与关联规则分析79

3.9应用实例——电力公司配电事故定位的研究83

3.9.1案例背景83

3.9.2数据准备84

3.9.3关联规则推导85

3.10结论88

问题与讨论88

第4章决策树分析93

4.1决策树的建构93

4.1.1数据准备94

4.1.2决策树的分支准则96

4.1.3决策树修剪104

4.1.4规则提取106

4.2决策树的算法107

4.2.1CART108

4.2.2C4.5/C5.0108

4.2.3CHAID109

4.3决策树分类模型评估110

4.4R语言与决策树分析112

4.4.1CART决策树分析112

4.4.2C5.0决策树分析114

4.4.3CHAID决策树分析115

4.5应用实例——建构cDNA生物芯片的数据挖掘模式117

4.5.1案例背景117

4.5.2数据准备117

4.5.3生物芯片数据的决策树构建118

4.5.4规则解释与评估119

4.6结论120

问题与讨论120

第5章人工神经网络127

5.1人工神经网络的基本结构130

5.2网络学习法132

5.3反向传播人工神经网络134

5.3.1网络架构134

5.3.2学习算法136

5.3.3反向传播人工神经网络步骤137

5.3.4反向传播人工神经网络范例138

5.4自组织映射网络139

5.4.1网络架构140

5.4.2学习算法142

5.4.3SOM人工神经网络步骤143

5.4.4自组织映射图网络范例143

5.5自适应共振理论人工神经网络146

5.5.1网络架构147

5.5.2ART1网络算法148

5.5.3适应性共振网络范例150

5.6R语言与人工神经网络152

5.6.1反向传播人工神经网络152

5.6.2自组织映射网络154

5.6.3自适应共振理论人工神经网络155

5.7应用实例——半导体生产周期时间预测与管控158

5.7.1案例简介158

5.7.2数据分群159

5.7.3数据配适与预测160

5.7.4信息整合与敏感度分析161

5.7.5案例小结162

5.8结论163

问题与讨论163

第6章聚类分析165

6.1聚类分析法简介165

6.1.1聚类分析的阶段166

6.1.2相似度的衡量166

6.1.3聚类分析方法169

6.2层次聚类分析法170

6.3划分聚类分析法174

6.3.1K平均法174

6.3.2K中心点法176

6.4以密度为基础的分群算法179

6.5以模式为基础的分群算法181

6.5.1期望最大化算法181

6.5.2自组织映射图网络182

6.6R语言与聚类分析182

6.7应用实例——黄光机台聚类分析184

6.7.1案例简介184

6.7.2验证两阶段分群算法185

6.7.3案例小结187

6.8结论187

问题与讨论188

第7章朴素贝叶斯分类法与贝叶斯网络190

7.1贝叶斯定理190

7.2朴素贝叶斯分类法192

7.3贝叶斯网络196

7.3.1贝叶斯网络的理论基础196

7.3.2贝叶斯网络的不一致性修正201

7.4R语言与贝叶斯分类203

7.5应用实例——电力公司馈线事故定位系统207

7.5.1案例简介与问题架构207

7.5.2数据整理与贝叶斯网络图构建208

7.5.3给定贝叶斯推理网络的参数209

7.5.4验证贝叶斯推理网络210

7.5.5案例小结210

7.6结论211

问题与讨论211

第8章粗糙集理论215

8.1粗糙集理论215

8.2粗糙集理论基本概念215

8.2.1信息系统与决策表216

8.2.2等价关系216

8.2.3近似空间217

8.2.4近似集合的准确率218

8.2.5分类的准确率与属性相依程度219

8.2.6简化219

8.3粗糙集理论产生分类规则222

8.4粗糙集理论与其他分类方法的比较223

8.5R语言与粗糙集理论224

8.5.1决策表与等价关系225

8.5.2近似空间225

8.5.3简化与规则推演226

8.6应用实例──TFTLCD数组事故诊断227

8.6.1案例简介227

8.6.2分析过程227

8.6.3案例小结230

8.7结论231

问题与讨论231

第9章预测与时间数据分析234

9.1回归分析234

9.1.1回归分析基本介绍234

9.1.2参数估计237

9.1.3回归模型解释与评估237

9.1.4多重回归分析239

9.1.5共线性239

9.2逻辑回归240

9.2.1概率与胜算240

9.2.2逻辑回归模式240

9.3时间序列分析242

9.4时间数据的分析步骤243

9.5模式选择与建立244

9.5.1时间序列平滑法246

9.5.2平稳型时间序列247

9.5.3无定向型时间序列251

9.5.4趋势型、季节型与介入事件型时间序列252

9.6阶次选取与参数估计254

9.7模式评估255

9.7.1拟合优度检定255

9.7.2预测误差衡量256

9.8R语言与时间数据分析257

9.9应用实例——半导体光罩需求预测261

9.9.1案例简介与问题架构261

9.9.2数据准备与数据处理261

9.9.3需求波动侦测分析过程262

9.9.4案例小结263

9.10结论264

问题与讨论265

第10章集成学习与支持向量机268

10.1集成学习268

10.1.1Bagging268

10.1.2Boosting269

10.2支持向量机272

10.2.1可区分情况(separablecase)272

10.2.2不可分状况(nonseparablecase)274

10.2.3非线性分类275

10.3R语言与随机森林集成学习模型276

10.3.1利用随机森林进行分类276

10.3.2利用随机森林评估变量重要性277

10.4结论278

问题与讨论278

第3篇数据挖掘进阶运用

第11章商业智能281

11.1商业智能概述281

11.2应用实例——交通信息预测283

11.3个案研究——人力资源数据挖掘283

11.3.1案例说明283

11.3.2分析过程284

11.3.3案例小结291

11.4应用实例——机票价格预测292

11.5个案研究——产品需求预测292

11.5.1半导体产品需求预测架构292

11.5.2分析过程297

11.5.3案例小结303

11.6结论303

问题与讨论304

第12章制造智能305

12.1序言305

12.2WAT参数特征提取与关联分析307

12.2.1案例说明307

12.2.2分析过程308

12.2.3案例小结312

12.3半导体CP测试数据挖掘与晶圆图样型分类312

12.3.1案例背景312

12.3.2分析过程313

12.3.3案例小结318

12.4低良率事故诊断与制程关联分析318

12.4.1案例说明318

12.4.2分析过程319

12.4.3案例小结323

12.5半导体制造管理的数据挖掘324

12.5.1案例背景324

12.5.2分析过程324

12.5.3案例小结329

12.6结论330

问题与讨论331

第13章数字决策及商业分析与优化332

13.1决策信息系统332

13.1.1决策信息系统332

13.1.2决策信息系统的架构333

13.1.3应用实例——电性测试机台维修的决策支持系统334

13.2商业分析与优化339

13.2.1商业分析与优化339

13.2.2商业分析与优化的基本要素340

13.2.3商业分析与优化的应用341

13.3数字决策342

13.4结论343

问题与讨论344

参考文献345

简祯富 Chen-Fu Chien, Ph.D.哈佛大学商学院PCMPCL结业,威斯康星大学麦迪逊分校决策科学与作业研究博士,新竹“清华大学”工业工程系暨电机工程系双学位（斐陶斐荣誉会员）。现就职于台湾新竹“清华大学”清华讲座教授：工业工程与工程管理学系/EMBA/MBA。台湾“科技部”“IC产业同盟”计划暨“清华-台积电卓越制造中心”主持人。新竹“清华大学”主任秘书、台湾科技计划审议委员、台湾质量奖审查委员、“中华卓越经营决策学会”理事长、“国科会”固本精进计划推动办公室总主持人、“竹科2.0”规划计划主持人、新竹“清华大学”副研发长兼首任产学合作执行长、台积电工业工程处副处长（台积电第一位借调的国内学者）、加州大学伯克利分校傅尔布莱特学者、剑桥大学访问教授、日本早稻田大学青年访问学者奖等。发表超过145篇学术论文，取得12项半导体制造国际发明专利，著有《半导体制造技术与管理》及《决策分析与管理》等书；主编《创业清华》《固本科园台湾精进》《产业工程与管理个案》及《清华百人会》等书及《竹科30》有声书。并撰写台积电、联发科、创意电子等哈佛管理个案。荣获“行政院”“国家质量奖”、“国科会”杰出研究奖、优秀年轻学者研究计划、“经济部”大学产业经济贡献奖、“教育部”产学合作研究奖、科技管理学会院士、吕凤章奖章、新竹“清华大学”第一届杰出产学合作奖、杰出工程教授、工程论文奖、工业工程奖章、工业工程论文奖及2011 IEEE TASE Best Paper Award等学术殊荣，也是“国科会”“学以致用”的九个标杆之一。研究领域：决策分析、大数据分析、半导体制造、制造策略

延伸阅读:

CIO IT经理人月刊(2015.08)：大数据改善良率带动产业升级

Spotlight中小企业知识期刊-第六期(2015.07)：「台湾生产力4.0」推动产业再进阶 (p.30-31)

哈佛商业评论(2015.06): 物联网带来的危机与转机

远见杂志(2015.03): 台积电大数据幕后推手，原来就是他！

今周刊-935期(2014.11): 良率赢对手 台积电的大数据竞争力

iTHome计算机报(2014.11)：半导体大数据应用的下一步：智慧工厂

许嘉裕 Chia-Yu Hsu, Ph.D.新竹清华大学工业工程与工程管理学系博士、硕士

成功大学统计学系学士。现职元智大学信息管理学系 副教授台湾科技部「IC产业同盟」计划 共同主持人。曾任元智大学信息管理学系助理教授、剑桥大学制造研究所访问学者、新竹“清华大学”工业工程与工程管理学系博士后研究员、台积电制造技术中心工程师。研究领域包含数据挖掘、大数据分析、智能制造、统计决策、样型识别，并针对产业实际问题发展实证模式，包含“半导体制造智能与良率提升”“事故诊断与故障侦测分析”“晶圆图样型辨识与比对”“先进制程控制与先进设备控制”等。执行的研究计划包含台积电、旺宏、创意电子等高科技厂商委托产学合作研究计划及“科技部”、“新竹科学园区管理局”委托计划等。在数据挖掘与智能制造领域的国际期刊上发表16篇论文，取得3项半导体制造发明专利。荣获温世仁服务科学新苗奖、元智大学青年学者研究奖等学术荣誉。

暂无出版社相关信息，正在全力查找中！

暂无相关书籍摘录，正在全力查找中！

在线阅读地址：大数据分析与数据挖掘在线阅读

在线听书地址：大数据分析与数据挖掘在线收听

在线购买地址：大数据分析与数据挖掘在线购买

暂无原文赏析，正在全力查找中！

书籍介绍

《大数据分析与数据挖掘》综合大数据分析与数据挖掘的理论、技术和实际案例，以丰富的产学合作实务案例，深入浅出地剖析从大数据中掏金的秘诀。全书内容涵盖大数据分析与数据挖掘的基本概念、数据准备、大数据分析的方法与实证及相关的进阶运用，并佐以R语言及例题实作，提升读者的数据挖掘实战能力，开拓对大数据分析的洞察视野。

随着移动通信和行动装置普及、物联网和网络发展，以及云端技术的不断进步，现今数据产生、搜集和储存方式比以往更为方便。数据挖掘与大数据分析可以从海量数据中，找到值得参考的样型或规则，转换成有价值的信息、洞察或知识，创造更多新价值。

本书主要介绍数据挖掘与大数据分析的理论方法与实践应用，并加入丰富的实务案例介绍，具体说明如何应用数据挖掘与大数据分析技术以解决真实问题，深入浅出地剖析从数据中掏金的秘诀。全书共分为13章，内容涵盖数据挖掘基本概念与数据准备、数据挖掘的方法与实证、数据挖掘的进阶运用；书中也提供R语言与编程实例辅以说明，使读者更能融会贯通地应用数据挖掘方法，进而提升大数据分析和数字决策能力。