python數據分析學習筆記1（python數據分析基礎和利用python進行數據分析）

• 1、python數據分析與應用-Python數據分析與應用 PDF 內部全資料版
• 2、Python數據分析筆記#7.3.1 字符串對象方法
• 3、《利用python進行數據分析》讀書筆記1

給大家帶來的一篇關於Python數據相關的電子書資源，介紹了關於Python方面的內容，本書是由人民郵電出版社出版，格式為PDF，資源大小281 MB，黃紅梅 張良均編寫，目前豆瓣、亞馬遜、噹噹、京東等電子書綜合評分為：7.8。

內容介紹

目錄

第1章　Python數據分析概述　1

任務1.1　認識數據分析　1

1.1.1　掌握數據分析的概念　2

1.1.2　掌握數據分析的流程　2

1.1.3　了解數據分析應用場景　4

任務1.2　熟悉Python數據分析的工具　5

1.2.1　了解數據分析常用工具　6

1.2.2　了解Python數據分析的優勢　7

1.2.3　了解Python數據分析常用類庫　7

任務1.3　安裝Python的Anaconda發行版　9

1.3.1　了解Python的Anaconda發行版　9

1.3.2　在Windows系統中安裝Anaconda　9

1.3.3　在Linux系統中安裝Anaconda　12

任務1.4　掌握Jupyter Notebook常用功能　14

1.4.1　掌握Jupyter Notebook的基本功能　14

1.4.2　掌握Jupyter Notebook的高 級功能　16

小結　19

課後習題　19

第2章　NumPy數值計算基礎　21

任務2.1　掌握NumPy數組對象ndarray　21

2.1.1　創建數組對象　21

2.1.2　生成隨機數　27

2.1.3　通過索引訪問數組　29

2.1.4　變換數組的形態　31

任務2.2　掌握NumPy矩陣與通用函數　34

2.2.1　創建NumPy矩陣　34

2.2.2　掌握ufunc函數　37

任務2.3　利用NumPy進行統計分析　41

2.3.1　讀/寫文件　41

2.3.2　使用函數進行簡單的統計分析　44

2.3.3　任務實現　48

小結　50

實訓　50

實訓1　創建數組並進行運算　50

實訓2　創建一個國際象棋的棋盤　50

課後習題　51

第3章　Matplotlib數據可視化基礎　52

任務3.1　掌握繪圖基礎語法與常用參數　52

3.1.1　掌握pyplot基礎語法　53

3.1.2　設置pyplot的動態rc參數　56

任務3.2　分析特徵間的關係　59

3.2.1　繪製散點圖　59

3.2.2　繪製折線圖　62

3.2.3　任務實現　65

任務3.3　分析特徵內部數據分布與分散狀況　68

3.3.1　繪製直方圖　68

3.3.2　繪製餅圖　70

3.3.3　繪製箱線圖　71

3.3.4　任務實現　73

小結　77

實訓　78

實訓1　分析1996 2015年人口數據特徵間的關係　78

實訓2　分析1996 2015年人口數據各個特徵的分布與分散狀況　78

課後習題　79

第4章　pandas統計分析基礎　80

任務4.1　讀/寫不同數據源的數據　80

4.1.1　讀/寫數據庫數據　80

4.1.2　讀/寫文本文件　83

4.1.3　讀/寫Excel文件　87

4.1.4　任務實現　88

任務4.2　掌握DataFrame的常用操作　89

4.2.1　查看DataFrame的常用屬性　89

4.2.2　查改增刪DataFrame數據　91

4.2.3　描述分析DataFrame數據　101

4.2.4　任務實現　104

任務4.3　轉換與處理時間序列數據　107

4.3.1　轉換字符串時間為標準時間　107

4.3.2　提取時間序列數據信息　109

4.3.3　加減時間數據　110

4.3.4　任務實現　111

任務4.4　使用分組聚合進行組內計算　113

4.4.1　使用groupby方法拆分數據　114

4.4.2　使用agg方法聚合數據　116

4.4.3　使用apply方法聚合數據　119

4.4.4　使用transform方法聚合數據　121

4.4.5　任務實現　121

任務4.5　創建透視表與交叉表　123

4.5.1　使用pivot_table函數創建透視表　123

4.5.2　使用crosstab函數創建交叉表　127

4.5.3　任務實現　128

小結　130

實訓　130

實訓1　讀取並查看P2P網絡貸款數據主表的基本信息　130

實訓2　提取用戶信息更新表和登錄信息表的時間信息　130

實訓3　使用分組聚合方法進一步分析用戶信息更新表和登錄信息表　131

實訓4　對用戶信息更新表和登錄信息表進行長寬錶轉換　131

課後習題　131

第5章　使用pandas進行數據預處理　133

任務5.1　合併數據　133

5.1.1　堆疊合併數據　133

5.1.2　主鍵合併數據　136

5.1.3　重疊合併數據　139

5.1.4　任務實現　140

任務5.2　清洗數據　141

5.2.1　檢測與處理重複值　141

5.2.2　檢測與處理缺失值　146

5.2.3　檢測與處理異常值　149

5.2.4　任務實現　152

任務5.3　標準化數據　154

5.3.1　離差標準化數據　154

5.3.2　標準差標準化數據　155

5.3.3　小數定標標準化數據　156

5.3.4　任務實現　157

任務5.4　轉換數據　158

5.4.1　啞變量處理類別型數據　158

5.4.2　離散化連續型數據　160

5.4.3　任務實現　162

小結　163

實訓　164

實訓1　插補用戶用電量數據缺失值　164

實訓2　合併線損、用電量趨勢與線路告警數據　164

實訓3　標準化建模專家樣本數據　164

課後習題　165

第6章　使用scikit-learn構建模型　167

任務6.1　使用sklearn轉換器處理數據　167

6.1.1　加載datasets模塊中的數據集　167

6.1.2　將數據集劃分為訓練集和測試集　170

6.1.3　使用sklearn轉換器進行數據預處理與降維　172

6.1.4　任務實現　174

任務6.2　構建並評價聚類模型　176

6.2.1　使用sklearn估計器構建聚類模型　176

6.2.2　評價聚類模型　179

6.2.3　任務實現　182

任務6.3　構建並評價分類模型　183

6.3.1　使用sklearn估計器構建分類模型　183

6.3.2　評價分類模型　186

6.3.3　任務實現　188

任務6.4　構建並評價回歸模型　190

6.4.1　使用sklearn估計器構建線性回歸模型　190

6.4.2　評價回歸模型　193

6.4.3　任務實現　194

小結　196

實訓　196

實訓1　使用sklearn處理wine和wine_quality數據集　196

實訓2　構建基於wine數據集的K-Means聚類模型　196

實訓3　構建基於wine數據集的SVM分類模型　197

實訓4　構建基於wine_quality數據集的回歸模型　197

課後習題　198

第7章　航空公司客戶價值分析　199

任務7.1　了解航空公司現狀與客戶價值分析　199

7.1.1　了解航空公司現狀　200

7.1.2　認識客戶價值分析　201

7.1.3　熟悉航空客戶價值分析的步驟與流程　201

任務7.2　預處理航空客戶數據　202

7.2.1　處理數據缺失值與異常值　202

7.2.2　構建航空客戶價值分析關鍵特徵　202

7.2.3　標準化LRFMC模型的5個特徵　206

7.2.4　任務實現　207

任務7.3　使用K-Means算法進行客戶分群　209

7.3.1　了解K-Means聚類算法　209

7.3.2　分析聚類結果　210

7.3.3　模型應用　213

7.3.4　任務實現　214

小結　215

實訓　215

實訓1　處理信用卡數據異常值　215

實訓2　構造信用卡客戶風險評價關鍵特徵　217

實訓3　構建K-Means聚類模型　218

課後習題　218

第8章　財政收入預測分析　220

任務8.1　了解財政收入預測的背景與方法　220

8.1.1　分析財政收入預測背景　220

8.1.2　了解財政收入預測的方法　222

8.1.3　熟悉財政收入預測的步驟與流程　223

任務8.2　分析財政收入數據特徵的相關性　223

8.2.1　了解相關性分析　223

8.2.2　分析計算結果　224

8.2.3　任務實現　225

任務8.3　使用Lasso回歸選取財政收入預測的關鍵特徵　225

8.3.1　了解Lasso回歸方法　226

8.3.2　分析Lasso回歸結果　227

8.3.3　任務實現　227

任務8.4　使用灰色預測和SVR構建財政收入預測模型　228

8.4.1　了解灰色預測算法　228

8.4.2　了解SVR算法　229

8.4.3　分析預測結果　232

8.4.4　任務實現　234

小結　236

實訓　236

實訓1　求取企業所得稅各特徵間的相關係數　236

實訓2　選取企業所得稅預測關鍵特徵　237

實訓3　構建企業所得稅預測模型　237

課後習題　237

第9章　家用熱水器用戶行為分析與事件識別　239

任務9.1　了解家用熱水器用戶行為分析的背景與步驟　239

9.1.1　分析家用熱水器行業現狀　240

9.1.2　了解熱水器採集數據基本情況　240

9.1.3　熟悉家用熱水器用戶行為分析的步驟與流程　241

任務9.2　預處理熱水器用戶用水數據　242

9.2.1　刪除冗餘特徵　242

9.2.2　劃分用水事件　243

9.2.3　確定單次用水事件時長閾值　244

9.2.4　任務實現　246

任務9.3　構建用水行為特徵並篩選用水事件　247

9.3.1　構建用水時長與頻率特徵　248

9.3.2　構建用水量與波動特徵　249

9.3.3　篩選候選洗浴事件　250

9.3.4　任務實現　251

任務9.4　構建行為事件分析的BP神經網絡模型　255

9.4.1　了解BP神經網絡算法原理　255

9.4.2　構建模型　259

9.4.3　評估模型　260

9.4.4　任務實現　260

小結　263

實訓　263

實訓1　清洗運營商客戶數據　263

實訓2　篩選客戶運營商數據　264

實訓3　構建神經網絡預測模型　265

課後習題　265

附錄A　267

附錄B　270

參考文獻　295

學習筆記

Jupyter Notebook（此前被稱為 IPython notebook）是一個交互式筆記本，支持運行 40 多種編程語言。 Jupyter Notebook 的本質是一個 Web 應用程序，便於創建和共享文學化程序文檔，支持實時代碼，數學方程，可視化和 markdown。 用途包括：數據清理和轉換，數值模擬，統計建模，機器學習等等 。 定義 （推薦學習：Python視頻教程） 用戶可以通過電子郵件，Dropbox，GitHub 和 Jupyter Notebook Viewer，將 Jupyter Notebook 分享給其他人。 在Jupyter Notebook 中，代碼可以實時的生成圖像，視頻，LaTeX和JavaScript。 使用 數據挖掘領域中最熱門的比賽 Kaggle 里的資料都是Jupyter 格式 。 架構 Jupyter組件 Jupyter包含以下組件： Jupyter Notebook 和 ……

本文實例講述了Python實現的微信好友數據分析功能。分享給大家供大家參考，具體如下： 這裡主要利用python對個人微信好友進行分析並把結果輸出到一個html文檔當中，主要用到的python包為 itchat ， pandas ， pyecharts 等 1、安裝itchat 微信的python sdk，用來獲取個人好友關係。獲取的代碼 如下： import itchatimport pandas as pdfrom pyecharts import Geo, Baritchat.login()friends = itchat.get_friends(update=True)[0:]def User2dict(User): User_dict = {} User_dict[“NickName”] = User[“NickName”] if User[“NickName”] else “NaN” User_dict[“City”] = User[“City”] if User[“City”] else “NaN” User_dict[“Sex”] = User[“Sex”] if User[“Sex”] else 0 User_dict[“Signature”] = User[“Signature”] if User[“Signature”] else “NaN” ……

基於微信開放的個人號接口python庫itchat，實現對微信好友的獲取，並對省份、性別、微信簽名做數據分析。 效果： 直接上代碼，建三個空文本文件stopwords.txt，newdit.txt、unionWords.txt，下載字體simhei.ttf或刪除字體要求的代碼，就可以直接運行。 #wxfriends.py 2018-07-09import itchatimport sysimport pandas as pdimport matplotlib.pyplot as pltplt.rcParams[‘font.sans-serif’]=[‘SimHei’]#繪圖時可以顯示中文plt.rcParams[‘axes.unicode_minus’]=False#繪圖時可以顯示中文import jiebaimport jieba.posseg as psegfrom scipy.misc import imreadfrom wordcloud import WordCloudfrom os import path#解決編碼問題non_bmp_map = dict.fromkeys(range(0x10000, sys.maxunicode + 1), 0xfffd) #獲取好友信息def getFriends():……

Python數據分析之雙色球基於線性回歸算法預測下期中獎結果示例

本文實例講述了Python數據分析之雙色球基於線性回歸算法預測下期中獎結果。分享給大家供大家參考，具體如下： 前面講述了關於雙色球的各種算法，這裡將進行下期雙色球號碼的預測，想想有些小激動啊。 代碼中使用了線性回歸算法，這個場景使用這個算法，預測效果一般，各位可以考慮使用其他算法嘗試結果。 發現之前有很多代碼都是重複的工作，為了讓代碼看的更優雅，定義了函數，去調用，頓時高大上了 #!/usr/bin/python# -*- coding:UTF-8 -*-#導入需要的包import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport operatorfrom sklearn import datasets,linear_modelfrom sklearn.linear_model import LogisticRegression#讀取文件d……

以上就是本次介紹的Python數據電子書的全部相關內容，希望我們整理的資源能夠幫助到大家，感謝大家對鬼鬼的支持。

注·獲取方式：私信（666）

「目錄」

數據清洗和準備

Data Cleaning and Prepration

——– 字符串對象方法

字符串對象方法

Python能夠成為流行的數據處理語言的部分原因是其易於處理字符串和文本。大部分文本運算都直接做成了字符串對象的內置方法。

split方法可以 通過指定分隔符對字符串進行切片 。

例如，以逗號分割的字符串可以用split拆分成數段：

strip可以 去除字符串頭尾指定的字符 ，默認是空白符或換行符。

strip常常與split一起使用：

利用 加法可以將字符串連接起來 ：

但這種方式並不實用，畢竟字符串多了就很麻煩。一種更快 更符合Python風格的方式是是使用join方法 ，我們向join方法中傳入一個列表或元組：

檢測子串的最佳方法是利用Python的in關鍵字，還可以使用index和find。

index和find會 查找指定值的首次出現的位置 。

find和index的區別是：若找不到字符串，index將會引發一個 異常 ，find則會返回 -1 ：

count可以 返回指定字串的出現次數

replace用於將 指定模式替換為另一個模式 （replace will substitute occurrences of one pattern for another）

再記錄幾個Python內置的字符串方法吧。

startswith和endswith： 若字符串以某個前綴（後綴）開頭，則返回True ：

lower和uppe： 分別將字母字符轉換為小寫或大寫 。

ljust和rjust： 用空格（或其他字符）填充字符串的空白側以返回符合最低寬度的字符串 。

這章終於還剩兩節就結束了。

-END-

讀取json內容：

建立只有‘tz’時區字段的列表。因為不是每個字典實例都有tz字段，所以要加上if ‘tz’ in rec。否則會報錯。

統計每種時區的出現次數：

方法一：

先統計次數，生成{時區1：次數，時區2：次數….}形式的字典。

再對字典進行排序。

統計次數方法（1）：

統計次數方法（2）：

排序

其中counts.items()是將字典中的鍵值對以元組的形式放進列表裡。

例：counts：

{u’America/Montreal’: 9, u’America/Anchorage’: 5, u’Asia/Seoul’: 5}

counts.items():

[(u’America/Montreal’, 9), (u’America/Anchorage’, 5), (u’Asia/Seoul’, 5)]

而這句：value_key_pairs=[(count,tz) for tz, count in counts.items()]則是對返回的鍵，值對元組的位置做了調換。

例：[(9, u’America/Montreal’), (5, u’America/Anchorage’), (5, u’Asia/Seoul’)]

value_key_pairs.sort()中 list.sort()方法只能用於列表，是對原列表進行排序。默認升序。需要降序則value_key_pairs.sort(reverse=False)

關於排序的知識詳細參考：

方法二：使用Counter類

Counter類的目的是用來跟蹤值出現的次數。它是一個無序的容器類型，以字典的鍵值對形式存儲，其中元素作為key，其計數作為value。計數值可以是任意的Interger（包括0和負數）。Counter類和其他語言的bags或multisets很相似。

詳細參考：

方法三：用pandas計數

注意裡面有空值

此時的tz_counts如下。注意空字符串變成了unknow。以及增加了missing計數。

使用前十的數據，利用plot方法生成一張水平條形圖。

總結：

1.往字典里存數據需要先初始化字典。可使用defaultdict函數：

2.清洗數據，有的數據沒有某個字段，一是要替換掉這些缺失值，可用fillna方法替換。二是要注意有沒有空字符串，這種數據可通過布爾型數組索引來替換掉。

3.對某個字段的值的出現次數進行統計，可使用三種方法

（1）新建一個字典，用以統計每個值的出現次數。再將該字典轉換為列表，對列表進行排序。

（2）使用counter類進行次數統計並排序。

（3）先將json轉換為DataFrame對象，再對其tz字段使用pandas的value_counts()方法進行次數統計並排序。