QQ在線客服
免費咨詢熱線
400-615-1233
工作時間-工作日
8:30-17:30

Hadoop系統(tǒng)搭建及項目實踐

  • 類　　別：大數據與云計算
  • 書　　名：Hadoop系統(tǒng)搭建及項目實踐
  • 主　　編：劉淼 陳紅 時瑞鵬
  • 定　　價：48
  • 開　　本：16開
  • 印刷方式：雙色
  • 頁　　數：240
  • 時　　間：2021年6月
  • 出  版  社：北京郵電大學出版社
  • 書　　號：978-7-5635-5913-8

內容摘要

        本書內容包括Hadoop基礎知識、Hadoop安裝與配置管理、HDFS技術、MapReduce技術、Hadoop I/O操作、HBase技術、ZooKeeper技術、分布式數據倉庫技術Hive、分布式數據分析工具Pig、Hadoop與RDBMS數據遷移工具Sqoop、Hadoop實時數據處理技術。
        本書適合作為Hadoop系統(tǒng)搭建基礎教材，也可作為相關技術人員的參考用書。

目錄

項目1 Hadoop基礎知識
  任務1 認識Hadoop
    1.1.1 Hadoop的由來
    1.1.2 關于Hadoop的版本
  任務2 理解Hadoop體系架構
    1.2.1 Hadoop 1.x和Hadoop 2.x的區(qū)別
    1.2.2 HDFS架構
    1.2.3 MapReduce架構
  任務3 理解Hadoop與分布式開發(fā)
  任務4 Hadoop應用案例簡介
項目2 Hadoop安裝與配置管理
  任務１Hadoop環(huán)境的搭建與配置
    2.1.1安裝VMware
    2.1.2安裝CentOS
    2.1.3安裝JDK
  任務２Hadoop的安裝模式
    2.2.1 單機安裝
    2.2.2 分布式安裝
  任務3 Hadoop的啟動與驗證
    2.3.1 格式化HDFS
    2.3.2 Hadoop的守護進程
    2.3.3 驗證集群HDFS
項目3 HDFS技術
  任務１ 認識HDFS
    3.1.1 HDFS產生的背景
    3.1.2 HDFS簡介
    3.1.3 HDFS的特點
  任務２了解HDFS架構
    3.2.1 HDFS讀取和寫入數據
    3.2.2 元數據節(jié)點和數據節(jié)點
    3.2.3 輔助元數據節(jié)點
    3.2.4 安全模式
  任務3 Hadoop shell命令
    3.3.1 命令格式
    3.3.2 HDFS命令
    3.3.3 HDFS管理員命令
項目4 MapReduce技術
  任務１認識MapReduce
    4.1.1MapReduce簡介
    4.1.2MapReduce編程模型概念
    4.1.3MapReduce架構的基本概念
    4.1.4應用實例——詞頻統(tǒng)計
    4.1.5使用Eclipse創(chuàng)建Java工程
    4.1.6WordCount代碼實現
  任務2 MapReduce編程基礎
    4.2.1 剖析MapReduce編程過程
    4.2.2 Map工作過程
    4.2.3 Reduce工作過程
   4.2.4 Job工作過程
    4.2.5 Shuffle過程
    4.2.6 MapReduce的輸入/輸出格式
    4.2.7 MapReduce的優(yōu)化
  任務3 MapReduce高級編程
    4.3.1 數據去重
    4.3.2 數據排序
項目5 Hadoop I/O操作
  任務１了解數據完整性
    5.1.1校驗和
    5.1.2數據塊檢測程序
  任務2 基于文件的數據結構
    5.2.1 SequenceFile存儲
    5.2.2 MapFile存儲
    5.2.3 SequenceFile轉換成MapFile
  任務3 壓縮
    5.3.1 Hadoop中壓縮格式的實現Codec
    5.3.2 本地庫
  任務4 序列化
    5.4.1 Hadoop序列化
    5.4.2 Writable和WritableComparable接口
    5.4.3 Writable類
項目6 HBase技術
  任務１了解HBase
    6.1.1 HBase是什么
    6.1.2 搭建HBase環(huán)境
  任務2 理解HBase體系架構
    6.2.1 架構簡介
    6.2.2 理解HBase數據模型
    6.2.3 概念視圖
    6.2.4 物理視圖
    6.2.5 HBase的命名空間
    6.2.6 HBase表、行與列族
  任務3 HBase shell基本操作
  任務4 HBase API操作
    6.4.1 HBase API類
    6.4.2 HBase Java API操作
  任務5 基于HBase API的應用
    6.5.1 Scan
    6.5.2 過濾器
    6.5.3 協處理器
    6.5.4 計數器
項目7 ZooKeeper技術
  任務１了解ZooKeeper
    7.1.1 ZooKeeper是什么
    7.1.2 ZooKeeper的特征
    7.1.3 ZooKeeper的架構
    7.1.4 ZooKeeper的工作原理
    7.1.5 ZooKeeper數據模型
  任務2 搭建ZooKeeper 環(huán)境
    7.2.1 ZooKeeper準備
    7.2.2 ZooKeeper配置
    7.2.3 啟動ZooKeeper3.4.14
  任務3 ZooKeeper常用命令
    7.3.1 ZooKeeper客戶端命令
    7.3.2 ZooKeeper服務器命令
  任務4 ZooKeeper API操作
    7.4.1 ZooKeeper API 準備
    7.4.2 ZooKeeper API應用
項目8 分布式數據倉庫技術Hive
  任務１認識Hive
  任務2 Hive服務組成
  任務3 Hive的安裝和配置
    8.3.1 Hive的基本安裝
    8.3.2 MySQL的安裝
    8.3.3 Hive的配置
  任務4 Hive shell
  任務5 HiveQL詳解
    8.5.1 Hive數據管理方式
    8.5.2 Hive表DDL操作
    8.5.3 Hive表DML操作
項目9 分布式數據分析工具Pig
  任務1 了解Pig
  任務2 Pig的安裝
  任務3 Pig保留關鍵字
    9.3.1 Pig數據類型
    9.3.2 null
    9.3.3 Pig相關命令
  任務4 使用 Pig
    9.4.1 Pig 命令行選項
    9.4.2 Pig 的兩種運行模式
    9.4.3 Pig的相關 shell 命令詳解
    9.4.4 Pig程序運行方式
    9.4.5 Pig輸入與輸出
  任務5 模式
  任務6 Pig相關函數詳解
    9.6.1 Pig常用函數
    9.6.2 數組操作函數
    9.6.3 過濾函數
    9.6.4 數據操作函數
    9.6.5 聚合函數
項目10 Hadoop與RDBMS數據遷移工具Sqoop
  任務1 Sqoop的安裝
  任務２ Sqoop配置
  任務3 Sqoop相關功能
    10.3.1 Sqoop基本操作
    10.3.2 使用Sqoop導入MySQL數據到HDFS
    10.3.3 使用Sqoop導出HDFS數據到MySQL
    10.3.4 使用Sqoop導入MySQL數據到Hive
    10.3.5 Sqoop Job
  任務4 Hive、Pig和Sqoop的關系
項目11 Hadoop實時數據處理技術
  任務1 Storm YARN
    11.1.1 Apache Storm的組成結構
    11.1.2 Storm數據流
    11.1.3 Storm YARN產生的背景 
    11.1.4 Storm YARN功能介紹
  任務２Apache Spark
    11.2.1 Apache Spark的組成結構
    11.2.2 Apache Spark的擴展功能
  任務3 Storm與Spark的比較
參考文獻 

主編信息

劉淼，天津鐵道職業(yè)技術學院教師。

相關圖書