当当网图书信息：

http://product.dangdang.com/23648533.html

《开源大数据分析引擎Impala实战》目录

第1章  Impala概述、安装与配置…………………………………………………………………….. 1

1.1 Impala概述…………………………………………………………………………………………………………… 1

1.2 Cloudera Manager安装准备…………………………………………………………………………………… 2

1.3  CM及CDH安装………………………………………………………………………………………………… 10

1.4  Hive安装……………………………………………………………………………………………………………. 23

1.5 Impala安装…………………………………………………………………………………………………………. 26

第2章  Impala入门示例………………………………………………………………………………… 29

2.1  数据加载…………………………………………………………………………………………………………….. 29

2.2  数据查询…………………………………………………………………………………………………………….. 36

2.3  分区表………………………………………………………………………………………………………………… 37

2.4  外部分区表…………………………………………………………………………………………………………. 41

2.5  笛卡尔连接…………………………………………………………………………………………………………. 44

2.6  更新元数据…………………………………………………………………………………………………………. 45

第3章  Impala概念及架构…………………………………………………………………………….. 47

3.1 Impala服务器组件………………………………………………………………………………………………. 47

3.1.1 Impala Daemon…………………………………………………………………………………………. 47

3.1.2 Impala Statestore………………………………………………………………………………………. 48

3.1.3 Impala Catalog………………………………………………………………………………………….. 49

3.2 Impala应用编程………………………………………………………………………………………………….. 51

3.2.1 Impala SQL方言……………………………………………………………………………………… 52

3.2.2 Impala编程接口概述……………………………………………………………………………….. 52

3.3  与Hadoop生态系统集成…………………………………………………………………………………….. 53

3.3.1 与Hive集成……………………………………………………………………………………………. 53

3.3.2 与HDFS集成………………………………………………………………………………………….. 53

3.3.3 使用HBase……………………………………………………………………………………………… 54

第4章  SQL语句…………………………………………………………………………………………. 55

4.1  注释……………………………………………………………………………………………………………………. 55

4.2  数据类型…………………………………………………………………………………………………………….. 56

4.2.1 BIGINT…………………………………………………………………………………………………… 56

4.2.2 BOOLEAN……………………………………………………………………………………………… 57

4.2.3 DOUBLE………………………………………………………………………………………………… 58

4.2.4 FLOAT……………………………………………………………………………………………………. 59

4.2.5 INT…………………………………………………………………………………………………………. 59

4.2.6 REAL……………………………………………………………………………………………………… 60

4.2.7 SMALLINT……………………………………………………………………………………………… 60

4.2.8 STRING………………………………………………………………………………………………….. 61

4.2.9 TIMESTAMP…………………………………………………………………………………………… 62

4.2.10 TINYINT……………………………………………………………………………………………….. 66

4.3  常量……………………………………………………………………………………………………………………. 66

4.3.1 数值常量…………………………………………………………………………………………………. 66

4.3.2 字符串常量……………………………………………………………………………………………… 67

4.3.3 布尔常量…………………………………………………………………………………………………. 67

4.3.4 时间戳常量……………………………………………………………………………………………… 68

4.3.5  NULL……………………………………………………………………………………………………… 68

4.4  SQL操作符………………………………………………………………………………………………………… 70

4.4.1 BETWEEN 操作符………………………………………………………………………………….. 70

4.4.2 比较操作符……………………………………………………………………………………………… 71

4.4.3 IN操作符………………………………………………………………………………………………… 72

4.4.4 IS NULL操作符……………………………………………………………………………………… 72

4.4.5 LIKE操作符……………………………………………………………………………………………. 73

4.4.6 REGEXP操作符……………………………………………………………………………………… 74

4.5  模式对象和对象名称…………………………………………………………………………………………… 75

4.5.1 别名………………………………………………………………………………………………………… 75

4.5.2 标示符…………………………………………………………………………………………………….. 76

4.5.3 数据库…………………………………………………………………………………………………….. 76

4.5.4 表……………………………………………………………………………………………………………. 77

4.5.5 视图………………………………………………………………………………………………………… 78

4.5.6 函数………………………………………………………………………………………………………… 83

4.6  SQL语句……………………………………………………………………………………………………………. 83

4.6.1  ALTER TABLE……………………………………………………………………………………….. 84

4.6.2  ALTER VIEW…………………………………………………………………………………………. 90

4.6.3 COMPUTE STATS…………………………………………………………………………………… 92

4.6.4 CREATE DATABASE……………………………………………………………………………… 95

4.6.5 CREATE FUNCTION………………………………………………………………………………. 96

4.6.6 CREATE TABLE…………………………………………………………………………………….. 98

4.6.7 CREATE VIEW……………………………………………………………………………………… 103

4.6.8 DESCRIBE……………………………………………………………………………………………. 104

4.6.9 DROP DATABASE……………………………………………………………………………….. 106

4.6.10 DROP FUNCTION………………………………………………………………………………. 107

4.6.11 DROP TABLE……………………………………………………………………………………… 107

4.6.12 DROP VIEW……………………………………………………………………………………….. 108

4.6.13 EXPLAIN……………………………………………………………………………………………. 108

4.6.14 INSERT……………………………………………………………………………………………….. 110

4.6.15 INVALIDATE METADATA………………………………………………………………… 116

4.6.16 LOAD DATA………………………………………………………………………………………. 120

4.6.17 REFRESH……………………………………………………………………………………………. 124

4.6.18 SELECT………………………………………………………………………………………………. 125

4.6.19 SHOW…………………………………………………………………………………………………. 143

4.6.20 USE…………………………………………………………………………………………………….. 147

4.7  内嵌函数…………………………………………………………………………………………………………… 148

4.7.1 数学函数……………………………………………………………………………………………….. 150

4.7.2 类型转换函数………………………………………………………………………………………… 155

4.7.3 时间和日期函数…………………………………………………………………………………….. 155

4.7.4 条件函数……………………………………………………………………………………………….. 160

4.7.5 字符串函数……………………………………………………………………………………………. 161

4.7.6 特殊函数……………………………………………………………………………………………….. 166

4.8  聚集函数…………………………………………………………………………………………………………… 167

4.8.1  AVG……………………………………………………………………………………………………… 167

4.8.2 COUNT…………………………………………………………………………………………………. 168

4.8.3 GROUP_CONCAT………………………………………………………………………………… 169

4.8.4 MAX……………………………………………………………………………………………………… 169

4.8.5 MIN………………………………………………………………………………………………………. 170

4.8.6 NDV……………………………………………………………………………………………………… 170

4.8.7 SUM……………………………………………………………………………………………………… 171

4.9  用户自定义函数UDF………………………………………………………………………………………… 171

4.9.1 UDF概念………………………………………………………………………………………………. 172

4.9.2 安装UDF开发包…………………………………………………………………………………… 176

4.9.3 编写UDF………………………………………………………………………………………………. 176

4.9.4 编写UDAF……………………………………………………………………………………………. 179

4.9.5 编译和部署UDF……………………………………………………………………………………. 183

4.9.6 UDF性能………………………………………………………………………………………………. 184

4.9.7 创建和使用UDF示例……………………………………………………………………………. 184

4.9.8 UDF 安全……………………………………………………………………………………………… 193

4.9.9 Impala UDF的限制………………………………………………………………………………… 193

4.10 Impala SQL &Hive QL……………………………………………………………………………………… 193

4.11  将SQL移植到Impala上…………………………………………………………………………………. 195

第5章  Impala shell……………………………………………………………………………………. 201

5.1  命令行选项……………………………………………………………………………………………………….. 201

5.2  连接到Impalad………………………………………………………………………………………………….. 209

5.3  运行命令…………………………………………………………………………………………………………… 210

5.4  命令参考…………………………………………………………………………………………………………… 210

5.5  查询参数设置……………………………………………………………………………………………………. 211

第6章  Impala管理…………………………………………………………………………………….. 228

6.1  准入控制和查询队列…………………………………………………………………………………………. 228

6.1.1 准入控制概述………………………………………………………………………………………… 228

6.1.2 准入控制和YARN………………………………………………………………………………… 229

6.1.3 并发查询限制………………………………………………………………………………………… 229

6.1.4 准入控制和Impala客户端协同工作……………………………………………………….. 230

6.1.5 配置准入控制………………………………………………………………………………………… 230

6.1.6 使用准入控制指导原则………………………………………………………………………….. 236

6.2  使用YARN资源管理(CDH5)……………………………………………………………………………. 237

6.2.1 Llama进程…………………………………………………………………………………………….. 237

6.2.2 检查计算的资源和实际使用的资源………………………………………………………… 237

6.2.3 资源限制如何生效…………………………………………………………………………………. 238

6.2.4 启用Impala资源管理…………………………………………………………………………….. 238

6.2.5 资源管理相关impala-shell参数………………………………………………………………. 238

6.2.6 Impala资源管理的限制………………………………………………………………………….. 238

6.3  为进程，查询，会话设定超时限制……………………………………………………………………. 239

6.4  通过代理实现Impala高可用性………………………………………………………………………….. 240

6.5  管理磁盘空间……………………………………………………………………………………………………. 243

第7章  Impala存储…………………………………………………………………………………….. 245

7.1  文件格式选择……………………………………………………………………………………………………. 245

7.2  Text…………………………………………………………………………………………………………………… 247

7.2.1 查询性能……………………………………………………………………………………………….. 247

7.2.2 创建文本表……………………………………………………………………………………………. 248

7.2.3 数据文件……………………………………………………………………………………………….. 249

7.2.4 加载数据……………………………………………………………………………………………….. 249

7.2.5 LZO压缩………………………………………………………………………………………………. 250

7.3 Parquet………………………………………………………………………………………………………………. 253

7.3.1 创建Parquet表………………………………………………………………………………………. 253

7.3.2 加载数据……………………………………………………………………………………………….. 254

7.3.3 查询性能……………………………………………………………………………………………….. 255

7.3.4 Snappy/Gzip压缩…………………………………………………………………………………… 256

7.3.5 与其他组件交换Parquet数据文件………………………………………………………….. 260

7.3.6  Parquet数据文件组织方式……………………………………………………………………… 260

7.4  Avro………………………………………………………………………………………………………………….. 263

7.4.1 创建Avro表………………………………………………………………………………………….. 263

7.4.2 使用Hive创建的Avro表………………………………………………………………………. 265

7.4.3 通过JSON指定Avro模式…………………………………………………………………….. 265

7.4.4 启用压缩……………………………………………………………………………………………….. 265

7.4.5 模式进化……………………………………………………………………………………………….. 266

7.5 RCFile……………………………………………………………………………………………………………….. 268

7.5.1 创建RCFile表和加载数据……………………………………………………………………… 268

7.5.2 启用压缩……………………………………………………………………………………………….. 269

7.6 SequenceFile………………………………………………………………………………………………………. 270

7.6.1 创建和加载数据…………………………………………………………………………………….. 270

7.6.2 启用压缩……………………………………………………………………………………………….. 271

7.7 HBase……………………………………………………………………………………………………………….. 272

7.7.1 支持的Hbase列类型……………………………………………………………………………… 273

7.7.2 性能问题……………………………………………………………………………………………….. 273

7.7.3 适用场景……………………………………………………………………………………………….. 280

7.7.4 数据加载……………………………………………………………………………………………….. 281

7.7.5 启用压缩……………………………………………………………………………………………….. 281

7.7.6 限制………………………………………………………………………………………………………. 282

7.7.7 示例………………………………………………………………………………………………………. 282

第8章  Impala分区…………………………………………………………………………………….. 284

8.1  分区技术适用场合…………………………………………………………………………………………….. 284

8.2  分区表相关SQL语句……………………………………………………………………………………….. 285

8.3  分区修剪…………………………………………………………………………………………………………… 285

8.4  分区键列…………………………………………………………………………………………………………… 288

8.5  使用不同的文件格式…………………………………………………………………………………………. 288

第9章  Impala性能优化………………………………………………………………………………. 290

9.1  最佳实践…………………………………………………………………………………………………………… 290

9.2  连接查询优化……………………………………………………………………………………………………. 291

9.3  使用统计信息……………………………………………………………………………………………………. 301

9.4  基准测试…………………………………………………………………………………………………………… 309

9.5  控制资源使用……………………………………………………………………………………………………. 309

9.6  性能测试…………………………………………………………………………………………………………… 310

9.7  使用EXPLAIN信息…………………………………………………………………………………………. 311

9.8  使用PROFILE信息………………………………………………………………………………………….. 312

第10章  Impala设计原则与应用案例…………………………………………………………….. 322

10.1  设计原则…………………………………………………………………………………………………………. 322

10.2  应用案例…………………………………………………………………………………………………………. 323