本系列課程從實際的業務需求出發，結合行業的典型應用特點，圍繞實際的商業問題，對數據預測建模的過程進行了全面的介紹（從模型選擇，到特征選擇，再到訓練模型，評估模型，以及優化模型和模型解讀），通過大量的操作演練，幫助學員掌握數據建模的思路、方法、技巧，以提升學員的數據建模的能力，支撐運營決策的目的。

通過本課程的學習，達到如下目的：

1、  掌握數據建模的基本過程和步驟

2、  掌握數據建模前的特征選擇的系統方法，學會尋找影響業務的關鍵要素

3、  掌握回歸預測模型基本原理，學會解讀回歸方程的含義

4、  掌握常用的時序預測模型，以及各模型的適用場景

5、  掌握常用的分類預測模型，以及分類模型的優化

【學員要求】

1、     每個學員自備一臺便攜機(必須)。

2、     便攜機中事先安裝好Office Excel 2013版本及以上。

3、     便攜機中事先安裝好IBM SPSS Statistics v24版本以上軟件。

注：講師可以提供試用版本軟件及分析數據源。

【授課方式】

理論精講 + 案例演練 + 實際業務問題分析 + SPSS實際操作

本課程突出數據挖掘的實際應用，結合行業的典型應用特點，從實際問題入手，引出相關知識，進行大數據的收集與處理；探索數據之間的規律及關聯性，幫助學員掌握系統的數據預處理方法；介紹常用的模型，訓練模型，并優化模型，以達到最優分析結果。

 第一部分： 數據建模流程

1、 預測建模六步法

‐  選擇模型：基于業務選擇恰當的數據模型

‐  特征工程：選擇對目標變量有顯著影響的屬性來建模

‐  訓練模型：采用合適的算法對模型進行訓練，尋找到最優參數

‐  評估模型：進行評估模型的質量，判斷模型是否可用

‐  優化模型：如果評估結果不理想，則需要對模型進行優化

‐  應用模型：如果評估結果滿足要求，則可應用模型于業務場景

2、 數據挖掘常用的模型

‐  定量預測模型：回歸預測、時序預測等

‐  定性預測模型：邏輯回歸、決策樹、神經網絡、支持向量機等

‐  市場細分：聚類、RFM、PCA等

‐  產品推薦：關聯分析、協同過濾等

‐  產品優化：回歸、隨機效用等

‐  產品定價：定價策略/最優定價等

3、 特征工程/特征選擇/變量降維

‐  基于變量本身特征

‐  基于相關性判斷

‐  因子合并（PCA等）

‐  IV值篩選（評分卡使用）

‐  基于信息增益判斷（決策樹使用）

4、 模型評估

‐  模型質量評估指標：R^2、正確率/查全率/查準率/特異性等

‐  預測值評估指標：MAD、MSE/RMSE、MAPE、概率等

‐  模型評估方法：留出法、K拆交叉驗證、自助法等

‐  其它評估：過擬合評估、殘差檢驗

5、 模型優化

‐  優化模型：選擇新模型/修改模型

‐  優化數據：新增顯著自變量

‐  優化公式：采用新的計算公式

‐  集成思想：Bagging/Boosting/Stacking

6、 常用預測模型介紹

‐  時序預測模型

‐  回歸預測模型

‐  分類預測模型

第二部分：建模特征工程

問題：如何選擇合適的屬性/特征來建模呢？選擇的依據是什么？比如價格是否可用于產品銷量預測？

1、 數據預處理vs特征工程

2、 特征工程處理內容

‐  變量變換

‐  變量派生

‐  變量精簡（特征選擇、因子合并）

‐  類型轉換

3、 特征選擇常用方法

‐  相關分析、方差分析、卡方檢驗

4、 相關分析（衡量兩數據型變量的線性相關性）

‐  相關分析簡介

‐  相關分析的應用場景

‐  相關分析的種類

◢    簡單相關分析

◢    偏相關分析

◢    距離相關分析

‐  相關系數的三種計算公式

◢    Pearson相關系數

◢    Spearman相關系數

◢    Kendall相關系數

‐  相關分析的假設檢驗

‐  相關分析的四個基本步驟

演練：營銷費用會影響銷售額嗎？影響程度如何量化？

演練：哪些因素與汽車銷量有相關性

演練：影響用戶消費水平的因素會有哪些

‐  偏相關分析

◢    偏相關原理：排除不可控因素后的兩變量的相關性

◢    偏相關系數的計算公式

◢    偏相關分析的適用場景

‐  距離相關分析

5、 方差分析（衡量類別變量與數值變量間的相關性）

‐  方差分析的應用場景

‐  方差分析的三個種類

◢    單因素方差分析

◢    多因素方差分析

◢    協方差分析

‐  單因素方差分析的原理

‐  方差分析的四個步驟

‐  解讀方差分析結果的兩個要點

演練：擺放位置與銷量有關嗎

演練：客戶學歷對消費水平的影響分析

演練：廣告和價格是影響終端銷量的關鍵因素嗎

演練：營業員的性別、技能級別對產品銷量有影響嗎

演練：尋找影響產品銷量的關鍵因素

‐  多因素方差分析原理

‐  多因素方差分析的作用

‐  多因素方差結果的解讀

演練：廣告形式、地區對銷量的影響因素分析

‐  協方差分析原理

‐  協方差分析的適用場景

演練：排除產品價格，收入對銷量有影響嗎？

6、 列聯分析/卡方檢驗（兩類別變量的相關性分析）

‐  交叉表與列聯表：計數值與期望值

‐  卡方檢驗的原理

‐  卡方檢驗的幾個計算公式

‐  列聯表分析的適用場景

案例：套餐類型對客戶流失的影響分析

案例：學歷對業務套餐偏好的影響分析

案例：行業/規模對風控的影響分析

第三部分：  線性回歸模型

營銷問題：如何預測未來的產品銷量/銷售額？如果產品跟隨季節性變動，該如何預測？

1、 回歸分析簡介和原理

2、 回歸分析的種類

‐  一元回歸/多元回歸

‐  線性回歸/非線性回歸

3、 常用回歸分析方法

‐  散點圖+趨勢線（一元）

‐  線性回歸工具（多元線性）

‐  規劃求解工具（非線性回歸）

演練：散點圖找營銷費用與銷售額的關系

4、 線性回歸分析的五個步驟

演練：營銷費用、辦公費用與銷售額的關系（線性回歸）

5、 線性回歸方程的解讀技巧

‐  定性描述：正相關/負相關

‐  定量描述：自變量變化導致因變量的變化程度

6、 回歸預測模型評估

‐  質量評估指標：判定系數R^2

‐  如何選擇最佳回歸模型

演練：如何選擇最佳的回歸預測模型（一元曲線回歸）

7、 帶分類自變量的回歸預測

演練：汽車季度銷量預測

演練：工齡、性別與終端銷量的關系

演練：如何評估銷售目標與資源最佳配置

8、 自動篩選不顯著因素（自變量）

第四部分：  回歸模型優化

1、 回歸分析的基本原理

‐  三個基本概念：總變差、回歸變差、剩余變差

‐  方程的顯著性檢驗：方程可用性

‐  因素的顯著性檢驗：因素可用性

‐  方程擬合優度檢驗：質量好壞程度

‐  理解標準誤差含義：預測準確性？

2、 回歸模型優化措施：尋找最佳回歸擬合線

‐  如何處理預測離群值（剔除離群值）

‐  如何剔除不顯著因素（剔除不顯著因素）

‐  如何進行非線性關系檢驗（增加非線性自變量）

‐  如何進行相互作用檢驗（增加相互作用自變量）

‐  如何進行多重共線性檢驗（剔除共線性自變量）

演練：模型優化演示

3、 好模型都是優化出來的

第五部分： 自定義回歸模型

1、 回歸建模的本質

2、 規劃求解工具簡介

3、 自定義回歸模型

案例：如何對客流量進行建模預測及模型優化

4、 回歸季節預測模型模型

‐  回歸季節模型的原理及應用場景

‐  加法季節模型

‐  乘法季節模型

‐  模型解讀

案例：美國航空旅客里程的季節性趨勢分析

5、 新產品累計銷量的S曲線

‐  S曲線模型的應用場景（最大累計銷量及銷量增長的拐點）

‐  珀爾曲線

‐  龔鉑茲曲線

案例：如何預測產品的銷售增長拐點，以及銷量上限

演練：預測IPad產品的銷量

第六部分：  定量模型評估

1、定量預測模型的評估

‐  方程顯著性評估

‐  因素顯著性評估

‐  擬合優度的評估

‐  估計標準誤差評估

‐  預測值準確度評估

2、模型擬合度評估

‐    判定系數：

‐    調整判定系數：

3、預測值準確度評估

‐  平均絕對誤差：MAE

‐  根均方差：RMSE

‐  平均誤差率：MAPE

4、其它評估：殘差檢驗、過擬合檢驗

第七部分：  時序預測模型

營銷問題：像利率/CPI/GDP等按時序變化的指標如何預測？當銷量隨季節周期變動時該如何預測？

1、 回歸預測vs時序預測

2、 因素分解思想

3、 時序預測常用模型

‐  趨勢擬合

‐  季節擬合

‐  平均序列擬合

4、 評估預測值的準確度指標：MAD、RMSE、MAPE

5、 移動平均（MA）

‐  應用場景及原理

‐  移動平均種類

◢    一次移動平均

◢    二次移動平均

◢    加權移動平均

◢    移動平均比率法

‐  移動平均關鍵問題

◢    如何選取最優參數N

◢    如何確定最優權重系數

演練：平板電腦銷量預測及評估

演練：快銷產品季節銷量預測及評估

6、 指數平滑（ES）

‐  應用場景及原理

‐  最優平滑系數的選取原則

‐  指數平滑種類

◢    一次指數平滑

◢    二次指數平滑（Brown線性、Holt線性、Holt指數、阻尼線性、阻尼指數）

◢    三次指數平滑

演練：煤炭產量預測

演練：航空旅客量預測及評估

7、 溫特斯季節預測模型

‐  適用場景及原理

‐  Holt-Winters加法模型

‐  Holt-Winters乘法模型

演練：汽車銷量預測及評估

8、 平穩序列模型（ARIMA）

‐  序列的平穩性檢驗

‐  平穩序列的擬合模型

◢   AR(p)自回歸模型

◢   MA(q)移動模型

◢   ARMA(p,q)自回歸移動模型

‐  模型的識別與定階

◢   ACF圖/PACF圖

◢   最小信息準則

‐  序列平穩化處理

◢   變量變換

◢   k次差分

◢   d階差分

‐  ARIMA(p,d,q)模型

演練：上海證券交易所綜合指數收益率序列分析

演練：服裝銷售數據季節性趨勢預測分析

‐  平穩序列的建模流程

第八部分：  分類預測模型

問題：如何評估客戶購買產品的可能性？如何預測客戶的購買行為？如何提取某類客戶的典型特征？如何向客戶精準推薦產品或業務？

1、 分類模型概述及其應用場景

2、 常見分類預測模型

3、 邏輯回歸（LR）

‐  邏輯回歸的適用場景

‐  邏輯回歸的模型原理

‐  邏輯回歸分類的幾何意義

‐  邏輯回歸的種類

2  二項邏輯回歸

2  多項邏輯回歸

‐  如何解讀邏輯回歸方程

‐  帶分類自變量的邏輯回歸分析

‐  多項邏輯回歸/多分類邏輯回歸

案例：如何評估用戶是否會購買某產品（二項邏輯回歸）

案例：多品牌選擇模型分析（多項邏輯回歸）

4、 分類決策樹（DT）

問題：如何預測客戶行為？如何識別潛在客戶？

風控：如何識別欠貸者的特征，以及預測欠貸概率？

客戶保有：如何識別流失客戶特征，以及預測客戶流失概率？

‐  決策樹分類簡介

案例：美國零售商（Target）如何預測少女懷孕

演練：識別銀行欠貨風險，提取欠貸者的特征

‐  決策樹分類的幾何意義

‐  構建決策樹的三個關鍵問題

◢   如何選擇最佳屬性來構建節點

◢   如何分裂變量

◢   修剪決策樹

‐  選擇最優屬性生長

◢   熵、基尼索引、分類錯誤

◢    屬性劃分增益

‐  如何分裂變量

◢    多元劃分與二元劃分

◢    連續變量離散化（最優分割點）

‐  修剪決策樹

◢    剪枝原則

◢    預剪枝與后剪枝

‐  構建決策樹的四個算法

◢   C5.0、CHAID、CART、QUEST

◢    各種算法的比較

‐  如何選擇最優分類模型？

案例：商場用戶的典型特征提取

案例：客戶流失預警與客戶挽留

案例：識別拖欠銀行貨款者的特征，避免不良貨款

案例：識別電信詐騙者嘴臉，讓通信更安全

‐  多分類決策樹

案例：不同套餐用戶的典型特征

‐  決策樹模型的保存與應用

5、 人工神經網絡（ANN）

‐  神經網絡概述

‐  神經網絡基本原理

‐  神經網絡的結構

‐  神經網絡分類的幾何意義

‐  神經網絡的建立步驟

‐  神經網絡的關鍵問題

‐  BP反向傳播網絡（MLP）

‐  徑向基網絡（RBF）

案例：評估銀行用戶拖欠貨款的概率

6、 判別分析（DA）

‐  判別分析原理

‐  判別分析種類

‐  Fisher線性判別分析

案例：MBA學生錄取判別分析

案例：上市公司類別評估

7、 最近鄰分類（KNN）

‐  KNN模型的基本原理

‐  KNN分類的幾何意義

‐  K近鄰的關鍵問題

8、 支持向量機（SVM）

‐  SVM基本原理

‐  線性可分問題：最大邊界超平面

‐  線性不可分問題：特征空間的轉換

‐  維災難與核函數

9、 貝葉斯分類（NBN）

‐  貝葉斯分類原理

‐  計算類別屬性的條件概率

‐  估計連續屬性的條件概率

‐  預測分類概率（計算概率）

‐  拉普拉斯修正

案例：評估銀行用戶拖欠貨款的概率

第九部分：  定性模型評估

1、模型的評估指標

‐  兩大矩陣：混淆矩陣，代價矩陣

‐  六大指標：Acc,P,R,Spec,F1,lift

‐  三條曲線：

◢   ROC曲線和AUC

◢   PR曲線和BEP

◢   KS曲線和KS值

2、模型的評估方法

‐  原始評估法

‐  留出法（Hold-Out）

‐  交叉驗證法（k-fold cross validation）

‐  自助采樣法（Bootstrapping）

第十部分：  模型集成優化

1、模型的優化思路

2、集成算法基本原理

‐  單獨構建多個弱分類器

‐  多個弱分類器組合投票，決定預測結果

3、集成方法的種類

‐  Bagging

‐  Boosting

‐  Stacking

4、Bagging集成

‐  數據/屬性重抽樣

‐  決策依據：少數服從多數

‐  典型模型：隨機森林RF

5、Boosting集成

‐  基于誤分數據建模

‐  樣本選擇權重更新公式

‐  決策依據：加權投票

‐  典型模型：AdaBoost模型

6、其它高級集成算法：GBDT，XGBoost等

結束：課程總結與問題答疑。