兩個(gè)完整的項(xiàng)目任務(wù)和實(shí)踐案例（重點(diǎn)）

1.日志分析建模與日志挖掘項(xiàng)目實(shí)踐

a)Hadoop，Spark，并結(jié)合ELK技術(shù)構(gòu)建日志分析系統(tǒng)和日志數(shù)據(jù)倉(cāng)庫(kù)

b)互聯(lián)網(wǎng)微博日志分析系統(tǒng)項(xiàng)目

2.推薦系統(tǒng)項(xiàng)目實(shí)踐

a)電影數(shù)據(jù)分析與個(gè)性化推薦關(guān)聯(lián)分析項(xiàng)目

b)電商購(gòu)物籃分析項(xiàng)目

Hadoop，Spark，可結(jié)合Oryx分布式集群在個(gè)性化推薦和精準(zhǔn)營(yíng)銷項(xiàng)目。

項(xiàng)目的階段性步驟貫穿到三天的培訓(xùn)過(guò)程中，第三天完成整個(gè)項(xiàng)目的原型

時(shí)間

內(nèi)容提要

授課詳細(xì)內(nèi)容

實(shí)踐訓(xùn)練

第一天

業(yè)界主流的數(shù)據(jù)倉(cāng)庫(kù)工具和大數(shù)據(jù)分析挖掘工具

1. 業(yè)界主流的基于Hadoop和Spark的大數(shù)據(jù)分析挖掘項(xiàng)目解決方案
2. 業(yè)界數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)分析挖掘平臺(tái)軟件工具
3. Hadoop數(shù)據(jù)倉(cāng)庫(kù)工具Hive
4. Spark實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)工具SparkSQL
5. Hadoop數(shù)據(jù)分析挖掘工具M(jìn)ahout
6. Spark機(jī)器學(xué)習(xí)與數(shù)據(jù)分析挖掘工具M(jìn)Llib
7. 大數(shù)據(jù)分析挖掘項(xiàng)目的實(shí)施步驟

配置數(shù)據(jù)倉(cāng)庫(kù)工具Hadoop Hive和SparkSQL

?

部署數(shù)據(jù)分析挖掘工具Hadoop Mahout和Spark MLlib

大數(shù)據(jù)分析挖掘項(xiàng)目的數(shù)據(jù)集成操作訓(xùn)練

1. 日志數(shù)據(jù)解析和導(dǎo)入導(dǎo)出到數(shù)據(jù)倉(cāng)庫(kù)的操作訓(xùn)練
2. 從原始搜索數(shù)據(jù)集中抽取、集成數(shù)據(jù)，整理后形成規(guī)范的數(shù)據(jù)倉(cāng)庫(kù)
3. 數(shù)據(jù)分析挖掘模塊從大型的集中式數(shù)據(jù)倉(cāng)庫(kù)中訪問(wèn)數(shù)據(jù)，一個(gè)數(shù)據(jù)倉(cāng)庫(kù)面向一個(gè)主題，構(gòu)建兩個(gè)數(shù)據(jù)倉(cāng)庫(kù)
4. 同一個(gè)數(shù)據(jù)倉(cāng)庫(kù)中的事實(shí)表數(shù)據(jù)，可以給多個(gè)不同類型的分析挖掘任務(wù)調(diào)用
5. 去除噪聲

項(xiàng)目數(shù)據(jù)集加載ETL到Hadoop Hive數(shù)據(jù)倉(cāng)庫(kù)并建立多維模型

基于Hadoop的大型數(shù)據(jù)倉(cāng)庫(kù)管理平臺(tái)—HIVE數(shù)據(jù)倉(cāng)庫(kù)集群的多維分析建模應(yīng)用實(shí)踐

6. 基于Hadoop的大型分布式數(shù)據(jù)倉(cāng)庫(kù)在行業(yè)中的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用案例
7. Hive數(shù)據(jù)倉(cāng)庫(kù)集群的平臺(tái)體系結(jié)構(gòu)、核心技術(shù)剖析
8. Hive Server的工作原理、機(jī)制與應(yīng)用
9. Hive數(shù)據(jù)倉(cāng)庫(kù)集群的安裝部署與配置優(yōu)化
10. Hive應(yīng)用開(kāi)發(fā)技巧
11. Hive SQL剖析與應(yīng)用實(shí)踐
12. Hive數(shù)據(jù)倉(cāng)庫(kù)表與表分區(qū)、表操作、數(shù)據(jù)導(dǎo)入導(dǎo)出、客戶端操作技巧
13. Hive數(shù)據(jù)倉(cāng)庫(kù)報(bào)表設(shè)計(jì)
14. 將原始的日志數(shù)據(jù)集，經(jīng)過(guò)整理后，加載至Hadoop + Hive數(shù)據(jù)倉(cāng)庫(kù)集群中，用于共享訪問(wèn)

利用HIVE構(gòu)建大型數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目的操作訓(xùn)練實(shí)踐

Spark大數(shù)據(jù)分析挖掘平臺(tái)實(shí)踐操作訓(xùn)練

15. Spark大數(shù)據(jù)分析挖掘平臺(tái)的部署配置
16. Spark數(shù)據(jù)分析庫(kù)MLlib的開(kāi)發(fā)部署
17. Spark數(shù)據(jù)分析挖掘示例操作，從Hive表中讀取數(shù)據(jù)并在分布式內(nèi)存中運(yùn)行

?

第二天

聚類分析建模與挖掘算法的實(shí)現(xiàn)原理和技術(shù)應(yīng)用

18. 聚類分析建模與算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用，包括：
    1. Canopy聚類（canopy clustering）
    2. K均值算法（K-means clustering）
    3. 模糊K均值（Fuzzy K-means clustering）
    4. EM聚類，即期望最大化聚類（Expectation Maximization）
    5. 以上算法在Spark MLib中的實(shí)現(xiàn)原理和實(shí)際場(chǎng)景中的應(yīng)用案例。
19. Spark聚類分析算法程序示例

基于Spark MLlib的聚類分析算法，實(shí)現(xiàn)日志數(shù)據(jù)集中的用戶聚類

分類分析建模與挖掘算法的實(shí)現(xiàn)原理和技術(shù)應(yīng)用

20. 分類分析建模與算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用， 包括：
    6. Spark決策樹(shù)算法實(shí)現(xiàn)
    7. 邏輯回歸算法（logistics regression）
    8. 貝葉斯算法（Bayesian與Cbeyes）
    1. 支持向量機(jī)（Support vector machine）
    10. 以上算法在Spark MLlib中的實(shí)現(xiàn)原理和實(shí)際場(chǎng)景中的應(yīng)用案例。
21. Spark客戶資料分析與給用戶貼標(biāo)簽的程序示例
22. Spark實(shí)現(xiàn)給商品貼標(biāo)簽的程序示例
23. Spark實(shí)現(xiàn)用戶行為的自動(dòng)標(biāo)簽和深度技術(shù)

基于Spark MLlib的分類分析算法模型與應(yīng)用操作

關(guān)聯(lián)分析建模與挖掘算法的實(shí)現(xiàn)原理和技術(shù)應(yīng)用

24. 預(yù)測(cè)、推薦分析建模與算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用，包括：
    11. Spark頻繁模式挖掘算法（parallel FP Growth Algorithm）應(yīng)用

1. 50. Spark關(guān)聯(lián)規(guī)則挖掘（Apriori）算法及其應(yīng)用

24. 1000. 以上算法在Spark MLib中的實(shí)現(xiàn)原理和實(shí)際場(chǎng)景中的應(yīng)用案例。
25. Spark關(guān)聯(lián)分析程序示例

基于Spark MLlib的關(guān)聯(lián)分析操作

第三天

推薦分析挖掘模型與算法技術(shù)應(yīng)用

26. 推薦算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用，包括：
    1. Spark協(xié)同過(guò)濾算法程序示例
    2. Item-based協(xié)同過(guò)濾與推薦
    3. User-based協(xié)同過(guò)濾與推薦
    4. 交叉銷售推薦模型及其實(shí)現(xiàn)

推薦分析實(shí)現(xiàn)步驟與操作（重點(diǎn)）

回歸分析模型與預(yù)測(cè)算法

27. 利用線性回歸（多元回歸）實(shí)現(xiàn)訪問(wèn)量預(yù)測(cè)
28. 利用非線性回歸預(yù)測(cè)成交量和訪問(wèn)量的關(guān)系
29. 基于R+Spark實(shí)現(xiàn)回歸分析模型及其應(yīng)用操作
30. Spark回歸程序?qū)崿F(xiàn)異常點(diǎn)檢測(cè)的程序示例

回歸分析預(yù)測(cè)操作例子

圖關(guān)系建模與分析挖掘及其鏈接分析和社交分析操作

31. 利用Spark GraphX實(shí)現(xiàn)網(wǎng)頁(yè)鏈接分析，計(jì)算網(wǎng)頁(yè)重要性排名
32. 實(shí)現(xiàn)信息傳播的社交關(guān)系傳遞分析，互聯(lián)網(wǎng)用戶的行為關(guān)系分析任務(wù)的操作訓(xùn)練

圖數(shù)據(jù)的分析挖掘操作，實(shí)現(xiàn)微博數(shù)據(jù)集的社交網(wǎng)絡(luò)建模與關(guān)系分析

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)算法模型及其應(yīng)用實(shí)踐

33. 神經(jīng)網(wǎng)絡(luò)算法Neural Network的實(shí)現(xiàn)方法和挖掘模型應(yīng)用
34. 基于人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)的訓(xùn)練過(guò)程
    1. 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法
    2. Deep Learning的訓(xùn)練方法
35. 深度學(xué)習(xí)的常用模型和方法
    1. CNN（Convolutional Neural Network）卷積神經(jīng)網(wǎng)絡(luò)
    2. RNN（Recurrent Neural Network）循環(huán)神經(jīng)網(wǎng)絡(luò)模型
    3. Restricted Boltzmann Machine(RBM)限制波爾茲曼機(jī)
36. 基于Spark的深度學(xué)習(xí)算法模型庫(kù)的應(yīng)用程序示例

基于Spark或TensorFlow神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)庫(kù)實(shí)現(xiàn)文本與圖片數(shù)據(jù)挖掘

項(xiàng)目實(shí)踐

37. 日志分析系統(tǒng)與日志挖掘項(xiàng)目實(shí)踐
    1. Hadoop，Spark，ELK技術(shù)構(gòu)建日志數(shù)據(jù)倉(cāng)庫(kù)
    2. 互聯(lián)網(wǎng)微博日志分析系統(tǒng)項(xiàng)目
38. 推薦系統(tǒng)項(xiàng)目實(shí)踐
    1. 電影數(shù)據(jù)分析與個(gè)性化推薦關(guān)聯(lián)分析項(xiàng)目

項(xiàng)目數(shù)據(jù)集和詳細(xì)的實(shí)驗(yàn)指導(dǎo)手冊(cè)由講師提供

?

培訓(xùn)總結(jié)

39. 項(xiàng)目方案的課堂討論，討論實(shí)際業(yè)務(wù)中的分析需求，剖析各個(gè)環(huán)節(jié)的難點(diǎn)、痛點(diǎn)、瓶頸，啟發(fā)出解決之道；完成講師布置的項(xiàng)目案例，鞏固學(xué)過(guò)的大數(shù)據(jù)分析挖掘處理平臺(tái)技術(shù)知識(shí)以及應(yīng)用技能

討論交流