QQ在線客服
免費咨詢熱線
400-615-1233
工作時間-工作日
8:30-17:30

Spark編程基礎及項目實踐

  • 類　　別：大數據與云計算
  • 書　　名：Spark編程基礎及項目實踐
  • 主　　編：李國輝 時瑞鵬
  • 定　　價：45
  • 開　　本：16開
  • 印刷方式：雙色
  • 頁　　數：228
  • 時　　間：2020年4月
  • 出  版  社：北京郵電大學出版社
  • 書　　號：978-7-5635-6018-9

內容摘要

        本書介紹了Spark編程的基礎知識。全書共8個項目，內容包括Spark與大數據、Scala語言基礎、Spark的設計與運行原理、RDD編程實踐、Spark SQL實踐、Spark Streaming、Spark圖計算和Spark MLlib。
        本書適合作為Spark編程基礎課程的教材，也可供廣大大數據學習愛好者參考使用。

目錄

項目1 Spark與大數據
　任務1 認識大數據技術
　　1.1.1 大數據技術概述
　　1.1.2 大數據時代面臨的挑戰(zhàn)
　　1.1.3 大數據的解決方案：Hadoop生態(tài)系統
　任務2 初識Spark
　　1.2.1 Spark的起源
　　1.2.2 Spark的特點
　　1.2.3 Spark生態(tài)系統BDAS
　　1.2.4 Spark的應用場景
　任務3 搭建Spark環(huán)境
　　1.3.1 Spark集群所需軟件的下載
　　1.3.2 搭建單機版環(huán)境
　　1.3.3 搭建單機偽分布式環(huán)境
　　1.3.4 搭建完全分布式環(huán)境
項目2 Scala語言基礎
　任務1 Scala簡介
　　2.1.1 Scala的特性
　　2.1.2 Scala的安裝
　　2.1.3 運行Scala程序
　任務2 Scala語法基礎
　　2.2.1 數據類型
　　2.2.2 變量
　　2.2.3 操作符
　　2.2.4 條件語句
　　2.2.5 循環(huán)控制
　　2.2.6異常處理
　任務3 Scala的數據結構
　　2.3.1 數組
　　2.3.2 Map
　　2.3.3 List
　　2.3.4 Tuple
　　2.3.5 Set
　任務4 Scala面向對象技術
　　2.4.1 類和對象
　　2.4.2 函數式
　　2.4.3 模式匹配
　　2.4.4 類型系統
　　2.4.5 隱式轉換
　　2.4.6 文件操作
　實訓 學生信息查詢
項目3 Spark的設計與運行原理
　任務1 Spark運行架構
　　3.1.1 Spark架構設計
　　3.1.2 Spark運行流程
　任務2 Spark工作機制
　　3.2.1 Spark內存管理
　　3.2.2 Spark容錯機制
　　3.2.3 Spark監(jiān)控管理
項目4 RDD編程實踐
　任務1 RDD編程基礎
　　4.1.1 RDD創(chuàng)建
　　4.1.2 RDD操作
　任務2 RDD應用——學生成績分析
　　4.2.1 創(chuàng)建RDD
　　4.2.2 查找每門課程成績排名前3的同學
　　4.2.3 輸出單科成績?yōu)?00分的學生ID
　任務3 持久化與數據分區(qū)
　　4.3.1 持久化
　　4.3.2 數據分區(qū)
項目5 Spark SQL實踐
　任務1 初識Spark SQL
　　5.1.1 Spark SQL的前世
　　5.1.2 Spark SQL架構
　　5.1.3 Spark SQL的優(yōu)勢
　任務2 DataFrame基礎操作
　　5.2.1 創(chuàng)建DataFrame對象
　　5.2.2 DataFrame查看數據
　　5.2.3 DataFrame查詢操作
　　5.2.4 DataFrame輸出操作
項目6 Spark Streaming
　任務1 初識Spark Streaming
　　6.1.1 Spark Streaming概述
　　6.1.2 Spark Streaming的運行原理
　　6.1.3 Spark Streaming快速體驗案例
　任務2 理解Spark Streaming
　　6.2.1 DStream簡介
　　6.2.2 DStream接收輸入源方法
　　6.2.3 DStream轉換操作
　　6.2.4 DStream窗口操作
　　6.2.5 DStream輸出操作
　任務3 Spark Streaming實戰(zhàn)
　　6.3.1 統計本地文本單詞個數
　　6.3.2 有狀態(tài)操作累計統計單詞個數
　　6.3.3 windows劃窗統計熱搜詞
項目7 Spark圖計算
　任務1 認識Spark GraphX
　　7.1.1 圖的基本概念
　　7.1.2 圖計算的應用
　　7.1.3 GraphX的基礎概念
　　7.1.4 GraphX的屬性圖
　任務2 GraphX常用圖操作
　　7.2.1 圖的創(chuàng)建操作
　　7.2.2 圖獲取屬性的操作
　　7.2.3 圖轉換屬性的操作
　　7.2.4 圖結構轉換操作
　　7.2.5 圖的關聯操作
　　7.2.6 圖的近鄰聚合操作
　任務3 Spark GraphX實戰(zhàn)
　　7.3.1 Spark GraphX編程入門實戰(zhàn)
　　7.3.2 PageRank查找最重要用戶名單
項目8 Spark MLlib
　任務1 初識機器學習
　　8.1.1 機器學習的概念
　　8.1.2 機器學習的分類
　　8.1.3 MLlib數據類型
　　8.1.4 MLlib基本統計實踐
　任務2 特征提取和轉換
　　8.2.1 特征提取
　　8.2.2 常用特征轉換
　　8.2.3 特征選擇
　任務3 MLlib常用算法實戰(zhàn)——決策樹預測
參考文獻

主編信息

李國輝，天津職業(yè)大學副教授。

相關圖書