python信用卡數據分析,python數據分析銀行信貸

本文目錄一覽：

• 1、新手怎麼學習數據分析
• 2、基於python的prosper借貸平台之數據分析
• 3、python數據分析與應用-Python數據分析與應用 PDF 內部全資料版

新手怎麼學習數據分析

第一方面是數學基礎，第二方面是統計學基礎，第三方面是計算機基礎。要想在數據分析的道路上走得更遠，一定要注重數學和統計學的學習。數據分析說到底就是尋找數據背後的規律，而尋找規律就需要具備演算法的設計能力，所以數學和統計學對於數據分析是非常重要的。

而想要快速成為數據分析師，則可以從計算機知識開始學起，具體點就是從數據分析工具開始學起，然後在學習工具使用過程中，輔助演算法以及行業致死的學習。學習數據分析工具往往從Excel工具開始學起，Excel是目前職場人比較常用的數據分析工具，通常在面對10萬條以內的結構化數據時，Excel還是能夠勝任的。對於大部分職場人來說，掌握Excel的數據分析功能能夠應付大部分常見的數據分析場景。

在掌握Excel之後，接下來就應該進一步學習資料庫的相關知識了，可以從關係型資料庫開始學起，重點在於Sql語言。掌握資料庫之後，數據分析能力會有一個較大幅度的提升，能夠分析的數據量也會有明顯的提升。如果採用資料庫和BI工具進行結合，那麼數據分析的結果會更加豐富，同時也會有一個比較直觀的呈現界面。

數據分析的最後一步就需要學習編程語言了，目前學習Python語言是個不錯的選擇，Python語言在大數據分析領域有比較廣泛的使用，而且Python語言自身比較簡單易學，即使沒有編程基礎的人也能夠學得會。通過Python來採用機器學習的方式實現數據分析是當前比較流行的數據分析方式。

對大數據分析有興趣的小夥伴們，不妨先從看看大數據分析書籍開始入門！B站上有很多的大數據教學視頻，從基礎到高級的都有，還挺不錯的，知識點講的很細緻，還有完整版的學習路線圖。也可以自己去看看，下載學習試試。

基於python的prosper借貸平台之數據分析

項目介紹：

p2p 借貸業務具有門檻低，渠道成本低的特性，風險防控對於出借企業來說非常重要。本項目需要

從大量借貸者的數據集中分析出容易違約和不容易違約的人群畫像特徵，以給業務做貸前決策使

用。同時使用機器學習演算法，實現自動識別風險人群（精準率為 89.86%），加快人工審查效率。

項目具體內容：

1、使用 python pandas 工具進行數據清洗、缺失值、異常值處理以及特徵指標篩選。

2、使用 python matplotlib 可視化工具進行探索式數據分析，展示用戶關鍵特徵如月收入、信用卡

透支情況對於違約率的影響情況。

3、使用機器學習隨機森林進行建模分析，使用學習曲線、網格搜索、交叉驗證，最終得到了一個評

分為 84.9%、精準率為 89.86%、召回率為 80.70%、auc 面積為 0.9337 數據預測模型。

    本次數據訓練使用的模型是隨機森林分類演算法，通過對預處理過的數據集進行訓練，使用學習曲線、網格搜索、交叉驗證。最終得到了一個評分為84.9%、精準率為89.86%、召回率為80.70%、 auc面積為0.9337 數據預測模型。 

數據預處理的基本流程與思路：

1、首先要明確有多少特徵，哪些是連續的，哪些是類別的。

2、檢查有沒有缺失值，對確實的特徵選擇恰當方式進行彌補，使數據完整。

3、對連續的數值型特徵進行標準化，使得均值為0，方差為1。

4、對類別型的特徵進行one-hot編碼。

5、將需要轉換成類別型數據的連續型數據進行二值化。

6、為防止過擬合或者其他原因，選擇是否要將數據進行正則化。

7、在對數據進行初探之後發現效果不佳，可以嘗試使用多項式方法，尋找非線性的關係。

8、根據實際問題分析是否需要對特徵進行相應的函數轉換。

導入數據集，並查看數據基本情況。可以看到prosper原始數據量比較龐大，一個有113937個樣本，80個特徵列，1個標籤列。

1.1、特徵較多，先共刪減一部分無用的特徵。

1.2 查看數據缺失情況，可以看到有40個特徵是存在數據缺失的，缺失率從0.000219-0.882909不等。下面處理缺失數據。

1.2.1 刪除缺失值比較多的特徵

下面兩個特徵缺失率太高，且與我們要分析的相關性不大，直接刪除掉。

1.2.2 獲取數據類型是分類變數的所有特徵，並使用unknown進行填充

1.2.3 特殊變數使用計算公式進行填充

1.2.4 去掉意義重複列

1.2.5 刪除缺失率比較少的特徵的缺失數據行

處理完缺失數據後，樣本量為106290，特徵量為55

1.3 數據過濾

1.3.1 從2009年7月開始，Prosper調整了對客戶的評估方式，此次我們只對2009-07-01後的貸款進行分析。

過濾完數據後，樣本量變為82931，特徵量為54

2.1單變數分析

0為未違約人數，1位違約人數，可以看到2009.07以後，違約率為22.90%

2.1.1不同地區貸款數量分布

從圖中可以看到加利福尼亞州貸款數量遠比其他州的數量高。由於prosper總部就位於加利福尼亞州，這與實際情況一致。其他排名靠前的分別是得克薩斯、紐約、佛羅里達、伊利諾伊，貸款數據均超過了5000條。根據2015年美國各州的GDP排名，這5個州剛好排名前五，而且順序也是一致的。說明Prosper平台的用戶主要分布在美國經濟發達的地區。

2.1.2 貸款人收入情況分布

年薪在25000美金以上在美國屬於技術性白領或者有一定學歷的職員，50000美金已經是近金領階層，比如：大學教授，醫生等。從圖中可以看出Prosper平台用戶的收入水平都相對較高，有利於用戶還款，利於平台和投資者的風險控制。

2.1.3貸款人職業分布

從圖中可以看出，除了不願意透露具體職業的人，大部分用戶是教授、程序員、企業高管等具有一定社會地位的人，這部分人受過高等教育，信用有一定保障。另外，這與之前看到的收入情況相符。

2.1.4貸款人債務收入比分布

大部分用戶的債務收入比在0.2左右，超過0.5的占很少部分。說明Prosper平台用戶的還款能力還是比較樂觀的

2.1.5 貸款者信用卡使用情況

BankcardUtilization代表的是信用卡使用金額和信用卡額度的比值，可以體現用戶的資金需求。Prosper用戶多是0.5~1之間，說明用戶每個月還有信用卡要還，降低了其還款能力。

2.2 相關的關鍵因素對貸款違約率的影響

2.2.1借貸人收入IncomeRange對違約率的影響

從圖中可以看出：

1.一般來說收入越高違約率越低

2.貸款的人員主要集中在中等收入群體

2.2.2 債務收入比DebtToIncomeRatio對違約率的影響

從上圖可以看出：

1.債務收入比小於0.6時，違約數明顯小於未違約數，

2.當債務收入比大於0.6時，兩者的差距不是很明顯甚至違約數大於未違約數，說明了債務收入比越大的人越容易違約

2.2.3 借款人BankcardUtilization對違約率的影響

1.總的來說，隨著信用卡的透支比例越來越高，違約率也越來越高

2.SuperUse的違約率到了37.5%，這部分人群需要嚴格了監控，No Use人群也有31%的違約率，當初將信用卡透支比例為0和NA的數據都歸類為No Use，顯然沒有這麼簡單，應該是大部分人群的NA值是為了隱藏自己的高透支比例而填寫的

2.2.4 消費信用分CreditScoreRange對違約率的影響

從上圖可以看出：

1.隨著信用分數CreditScore的上升，它的違約率在下降

2.大部分貸款者的信用分為650-800，違約率在0.06-0.02

2.2.5 過去7年借款人違約次數DelinquenciesLast7Years對違約率的影響

過去七年違約次數(DelinquenciesLast7Years)能夠衡量一個人在過去七年中徵信情況，違約一次或以上的人在借款時違約概率更大。

 從上圖可以看出：

1.總體來說過去7年違約次數越多，違約率越高

2.過去7年未違約的人數相對來說比其他違約的人數高很多，具體看下面的分析

3.1 數據轉化

3.1.1類變數進行啞變數化

樣本量變為82931，特徵量為127

3.1.2 標籤變數進行二分類

已完成貸款的樣本量變為26365，特徵量為127

未違約率為：0.7709084012895885；違約率為0.22909159871041151

3.2 至此，數據預處理的工作就告一段落，保存預處理好的數據。

 導入經過預處理的prosper借貸數據集

4.1 手工挑選特徵查看一下建模效果

準確率為0.7695

4.2 使用模型自己選取特徵

準確率為0.7780

4.3 使用學習曲線選取最優n_estimators

在0-200/20內學習，得到最優n_estimators=161,score = 0.8508

在151-171/20內學習，得到最優n_estimators=163,score = 0.8511

4.4 使用網格搜索調其他參數

在0-60/5內學習，得到最優max_depth=41

在0-60/5內學習，得到最優max_features=16

這裡由於比較耗時，沒有進一步細化選擇更高的參數

4.4 最終模型效果

最終準確率 0.8490528905289052

混淆矩陣 :

[[5552  554]

[1175 4914]]

精準率 : [0.82533076 0.89868325]

召回率 : [0.90926957 0.80702907]

roc和auc面積為0.9337

4.5 查看各特徵的重要性

4.6 數據預測

預測的違約率0.0427

python數據分析與應用-Python數據分析與應用 PDF 內部全資料版

給大家帶來的一篇關於Python數據相關的電子書資源，介紹了關於Python方面的內容，本書是由人民郵電出版社出版，格式為PDF，資源大小281 MB，黃紅梅 張良均編寫，目前豆瓣、亞馬遜、噹噹、京東等電子書綜合評分為：7.8。

內容介紹

目錄

第1章　Python數據分析概述　1

任務1.1　認識數據分析　1

1.1.1　掌握數據分析的概念　2

1.1.2　掌握數據分析的流程　2

1.1.3　了解數據分析應用場景　4

任務1.2　熟悉Python數據分析的工具　5

1.2.1　了解數據分析常用工具　6

1.2.2　了解Python數據分析的優勢　7

1.2.3　了解Python數據分析常用類庫　7

任務1.3　安裝Python的Anaconda發行版　9

1.3.1　了解Python的Anaconda發行版　9

1.3.2　在Windows系統中安裝Anaconda　9

1.3.3　在Linux系統中安裝Anaconda　12

任務1.4　掌握Jupyter Notebook常用功能　14

1.4.1　掌握Jupyter Notebook的基本功能　14

1.4.2　掌握Jupyter Notebook的高 級功能　16

小結　19

課後習題　19

第2章　NumPy數值計算基礎　21

任務2.1　掌握NumPy數組對象ndarray　21

2.1.1　創建數組對象　21

2.1.2　生成隨機數　27

2.1.3　通過索引訪問數組　29

2.1.4　變換數組的形態　31

任務2.2　掌握NumPy矩陣與通用函數　34

2.2.1　創建NumPy矩陣　34

2.2.2　掌握ufunc函數　37

任務2.3　利用NumPy進行統計分析　41

2.3.1　讀/寫文件　41

2.3.2　使用函數進行簡單的統計分析　44

2.3.3　任務實現　48

小結　50

實訓　50

實訓1　創建數組並進行運算　50

實訓2　創建一個國際象棋的棋盤　50

課後習題　51

第3章　Matplotlib數據可視化基礎　52

任務3.1　掌握繪圖基礎語法與常用參數　52

3.1.1　掌握pyplot基礎語法　53

3.1.2　設置pyplot的動態rc參數　56

任務3.2　分析特徵間的關係　59

3.2.1　繪製散點圖　59

3.2.2　繪製折線圖　62

3.2.3　任務實現　65

任務3.3　分析特徵內部數據分布與分散狀況　68

3.3.1　繪製直方圖　68

3.3.2　繪製餅圖　70

3.3.3　繪製箱線圖　71

3.3.4　任務實現　73

小結　77

實訓　78

實訓1　分析1996 2015年人口數據特徵間的關係　78

實訓2　分析1996 2015年人口數據各個特徵的分布與分散狀況　78

課後習題　79

第4章　pandas統計分析基礎　80

任務4.1　讀/寫不同數據源的數據　80

4.1.1　讀/寫資料庫數據　80

4.1.2　讀/寫文本文件　83

4.1.3　讀/寫Excel文件　87

4.1.4　任務實現　88

任務4.2　掌握DataFrame的常用操作　89

4.2.1　查看DataFrame的常用屬性　89

4.2.2　查改增刪DataFrame數據　91

4.2.3　描述分析DataFrame數據　101

4.2.4　任務實現　104

任務4.3　轉換與處理時間序列數據　107

4.3.1　轉換字元串時間為標準時間　107

4.3.2　提取時間序列數據信息　109

4.3.3　加減時間數據　110

4.3.4　任務實現　111

任務4.4　使用分組聚合進行組內計算　113

4.4.1　使用groupby方法拆分數據　114

4.4.2　使用agg方法聚合數據　116

4.4.3　使用apply方法聚合數據　119

4.4.4　使用transform方法聚合數據　121

4.4.5　任務實現　121

任務4.5　創建透視表與交叉表　123

4.5.1　使用pivot_table函數創建透視表　123

4.5.2　使用crosstab函數創建交叉表　127

4.5.3　任務實現　128

小結　130

實訓　130

實訓1　讀取並查看P2P網路貸款數據主表的基本信息　130

實訓2　提取用戶信息更新表和登錄信息表的時間信息　130

實訓3　使用分組聚合方法進一步分析用戶信息更新表和登錄信息表　131

實訓4　對用戶信息更新表和登錄信息表進行長寬錶轉換　131

課後習題　131

第5章　使用pandas進行數據預處理　133

任務5.1　合併數據　133

5.1.1　堆疊合併數據　133

5.1.2　主鍵合併數據　136

5.1.3　重疊合併數據　139

5.1.4　任務實現　140

任務5.2　清洗數據　141

5.2.1　檢測與處理重複值　141

5.2.2　檢測與處理缺失值　146

5.2.3　檢測與處理異常值　149

5.2.4　任務實現　152

任務5.3　標準化數據　154

5.3.1　離差標準化數據　154

5.3.2　標準差標準化數據　155

5.3.3　小數定標標準化數據　156

5.3.4　任務實現　157

任務5.4　轉換數據　158

5.4.1　啞變數處理類別型數據　158

5.4.2　離散化連續型數據　160

5.4.3　任務實現　162

小結　163

實訓　164

實訓1　插補用戶用電量數據缺失值　164

實訓2　合併線損、用電量趨勢與線路告警數據　164

實訓3　標準化建模專家樣本數據　164

課後習題　165

第6章　使用scikit-learn構建模型　167

任務6.1　使用sklearn轉換器處理數據　167

6.1.1　載入datasets模塊中的數據集　167

6.1.2　將數據集劃分為訓練集和測試集　170

6.1.3　使用sklearn轉換器進行數據預處理與降維　172

6.1.4　任務實現　174

任務6.2　構建並評價聚類模型　176

6.2.1　使用sklearn估計器構建聚類模型　176

6.2.2　評價聚類模型　179

6.2.3　任務實現　182

任務6.3　構建並評價分類模型　183

6.3.1　使用sklearn估計器構建分類模型　183

6.3.2　評價分類模型　186

6.3.3　任務實現　188

任務6.4　構建並評價回歸模型　190

6.4.1　使用sklearn估計器構建線性回歸模型　190

6.4.2　評價回歸模型　193

6.4.3　任務實現　194

小結　196

實訓　196

實訓1　使用sklearn處理wine和wine_quality數據集　196

實訓2　構建基於wine數據集的K-Means聚類模型　196

實訓3　構建基於wine數據集的SVM分類模型　197

實訓4　構建基於wine_quality數據集的回歸模型　197

課後習題　198

第7章　航空公司客戶價值分析　199

任務7.1　了解航空公司現狀與客戶價值分析　199

7.1.1　了解航空公司現狀　200

7.1.2　認識客戶價值分析　201

7.1.3　熟悉航空客戶價值分析的步驟與流程　201

任務7.2　預處理航空客戶數據　202

7.2.1　處理數據缺失值與異常值　202

7.2.2　構建航空客戶價值分析關鍵特徵　202

7.2.3　標準化LRFMC模型的5個特徵　206

7.2.4　任務實現　207

任務7.3　使用K-Means演算法進行客戶分群　209

7.3.1　了解K-Means聚類演算法　209

7.3.2　分析聚類結果　210

7.3.3　模型應用　213

7.3.4　任務實現　214

小結　215

實訓　215

實訓1　處理信用卡數據異常值　215

實訓2　構造信用卡客戶風險評價關鍵特徵　217

實訓3　構建K-Means聚類模型　218

課後習題　218

第8章　財政收入預測分析　220

任務8.1　了解財政收入預測的背景與方法　220

8.1.1　分析財政收入預測背景　220

8.1.2　了解財政收入預測的方法　222

8.1.3　熟悉財政收入預測的步驟與流程　223

任務8.2　分析財政收入數據特徵的相關性　223

8.2.1　了解相關性分析　223

8.2.2　分析計算結果　224

8.2.3　任務實現　225

任務8.3　使用Lasso回歸選取財政收入預測的關鍵特徵　225

8.3.1　了解Lasso回歸方法　226

8.3.2　分析Lasso回歸結果　227

8.3.3　任務實現　227

任務8.4　使用灰色預測和SVR構建財政收入預測模型　228

8.4.1　了解灰色預測演算法　228

8.4.2　了解SVR演算法　229

8.4.3　分析預測結果　232

8.4.4　任務實現　234

小結　236

實訓　236

實訓1　求取企業所得稅各特徵間的相關係數　236

實訓2　選取企業所得稅預測關鍵特徵　237

實訓3　構建企業所得稅預測模型　237

課後習題　237

第9章　家用熱水器用戶行為分析與事件識別　239

任務9.1　了解家用熱水器用戶行為分析的背景與步驟　239

9.1.1　分析家用熱水器行業現狀　240

9.1.2　了解熱水器採集數據基本情況　240

9.1.3　熟悉家用熱水器用戶行為分析的步驟與流程　241

任務9.2　預處理熱水器用戶用水數據　242

9.2.1　刪除冗餘特徵　242

9.2.2　劃分用水事件　243

9.2.3　確定單次用水事件時長閾值　244

9.2.4　任務實現　246

任務9.3　構建用水行為特徵並篩選用水事件　247

9.3.1　構建用水時長與頻率特徵　248

9.3.2　構建用水量與波動特徵　249

9.3.3　篩選候選洗浴事件　250

9.3.4　任務實現　251

任務9.4　構建行為事件分析的BP神經網路模型　255

9.4.1　了解BP神經網路演算法原理　255

9.4.2　構建模型　259

9.4.3　評估模型　260

9.4.4　任務實現　260

小結　263

實訓　263

實訓1　清洗運營商客戶數據　263

實訓2　篩選客戶運營商數據　264

實訓3　構建神經網路預測模型　265

課後習題　265

附錄A　267

附錄B　270

參考文獻　295

學習筆記

Jupyter Notebook（此前被稱為 IPython notebook）是一個互動式筆記本，支持運行 40 多種編程語言。 Jupyter Notebook 的本質是一個 Web 應用程序，便於創建和共享文學化程序文檔，支持實時代碼，數學方程，可視化和 markdown。 用途包括：數據清理和轉換，數值模擬，統計建模，機器學習等等 。 定義 （推薦學習：Python視頻教程） 用戶可以通過電子郵件，Dropbox，GitHub 和 Jupyter Notebook Viewer，將 Jupyter Notebook 分享給其他人。 在Jupyter Notebook 中，代碼可以實時的生成圖像，視頻，LaTeX和JavaScript。 使用 數據挖掘領域中最熱門的比賽 Kaggle 里的資料都是Jupyter 格式 。 架構 Jupyter組件 Jupyter包含以下組件： Jupyter Notebook 和 ……

本文實例講述了Python實現的微信好友數據分析功能。分享給大家供大家參考，具體如下： 這裡主要利用python對個人微信好友進行分析並把結果輸出到一個html文檔當中，主要用到的python包為 itchat ， pandas ， pyecharts 等 1、安裝itchat 微信的python sdk，用來獲取個人好友關係。獲取的代碼 如下： import itchatimport pandas as pdfrom pyecharts import Geo, Baritchat.login()friends = itchat.get_friends(update=True)[0:]def User2dict(User): User_dict = {} User_dict[“NickName”] = User[“NickName”] if User[“NickName”] else “NaN” User_dict[“City”] = User[“City”] if User[“City”] else “NaN” User_dict[“Sex”] = User[“Sex”] if User[“Sex”] else 0 User_dict[“Signature”] = User[“Signature”] if User[“Signature”] else “NaN” ……

基於微信開放的個人號介面python庫itchat，實現對微信好友的獲取，並對省份、性別、微信簽名做數據分析。 效果： 直接上代碼，建三個空文本文件stopwords.txt，newdit.txt、unionWords.txt，下載字體simhei.ttf或刪除字體要求的代碼，就可以直接運行。 #wxfriends.py 2018-07-09import itchatimport sysimport pandas as pdimport matplotlib.pyplot as pltplt.rcParams[‘font.sans-serif’]=[‘SimHei’]#繪圖時可以顯示中文plt.rcParams[‘axes.unicode_minus’]=False#繪圖時可以顯示中文import jiebaimport jieba.posseg as psegfrom scipy.misc import imreadfrom wordcloud import WordCloudfrom os import path#解決編碼問題non_bmp_map = dict.fromkeys(range(0x10000, sys.maxunicode + 1), 0xfffd) #獲取好友信息def getFriends():……

Python數據分析之雙色球基於線性回歸演算法預測下期中獎結果示例

本文實例講述了Python數據分析之雙色球基於線性回歸演算法預測下期中獎結果。分享給大家供大家參考，具體如下： 前面講述了關於雙色球的各種演算法，這裡將進行下期雙色球號碼的預測，想想有些小激動啊。 代碼中使用了線性回歸演算法，這個場景使用這個演算法，預測效果一般，各位可以考慮使用其他演算法嘗試結果。 發現之前有很多代碼都是重複的工作，為了讓代碼看的更優雅，定義了函數，去調用，頓時高大上了 #!/usr/bin/python# -*- coding:UTF-8 -*-#導入需要的包import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport operatorfrom sklearn import datasets,linear_modelfrom sklearn.linear_model import LogisticRegression#讀取文件d……

以上就是本次介紹的Python數據電子書的全部相關內容，希望我們整理的資源能夠幫助到大家，感謝大家對鬼鬼的支持。

注·獲取方式：私信（666）