本文目錄一覽：
可以讓你快速用Python進行數據分析的10個小技巧
一些小提示和小技巧可能是非常有用的，特別是在編程領域。有時候使用一點點黑客技術，既可以節省時間，還可能挽救「生命」。
一個小小的快捷方式或附加組件有時真是天賜之物，並且可以成為真正的生產力助推器。所以，這裡有一些小提示和小技巧，有些可能是新的，但我相信在下一個數據分析項目中會讓你非常方便。
Pandas中數據框數據的Profiling過程
Profiling（分析器）是一個幫助我們理解數據的過程，而Pandas Profiling是一個Python包，它可以簡單快速地對Pandas 的數據框數據進行 探索 性數據分析。
Pandas中df.describe()和df.info()函數可以實現EDA過程第一步。但是，它們只提供了對數據非常基本的概述，對於大型數據集沒有太大幫助。 而Pandas中的Profiling功能簡單通過一行代碼就能顯示大量信息，且在交互式HTML報告中也是如此。
對於給定的數據集，Pandas中的profiling包計算了以下統計信息：
由Pandas Profiling包計算出的統計信息包括直方圖、眾數、相關係數、分位數、描述統計量、其他信息——類型、單一變量值、缺失值等。
安裝
用pip安裝或者用conda安裝
pip install pandas-profiling
conda install -c anaconda pandas-profiling
用法
下面代碼是用很久以前的泰坦尼克數據集來演示多功能Python分析器的結果。
#importing the necessary packages
import pandas as pd
import pandas_profiling
df = pd.read_csv(‘titanic/train.csv’)
pandas_profiling.ProfileReport(df)
一行代碼就能實現在Jupyter Notebook中顯示完整的數據分析報告，該報告非常詳細，且包含了必要的圖表信息。
還可以使用以下代碼將報告導出到交互式HTML文件中。
profile = pandas_profiling.ProfileReport(df)
profile.to_file(outputfile=”Titanic data profiling.html”)
Pandas實現交互式作圖
Pandas有一個內置的.plot（）函數作為DataFrame類的一部分。但是，使用此功能呈現的可視化不是交互式的，這使得它沒那麼吸引人。同樣，使用pandas.DataFrame.plot（）函數繪製圖表也不能實現交互。 如果我們需要在不對代碼進行重大修改的情況下用Pandas繪製交互式圖表怎麼辦呢？這個時候就可以用Cufflinks庫來實現。
Cufflinks庫可以將有強大功能的plotly和擁有靈活性的pandas結合在一起，非常便於繪圖。下面就來看在pandas中如何安裝和使用Cufflinks庫。
安裝
pip install plotly
# Plotly is a pre-requisite before installing cufflinks
pip install cufflinks
用法
#importing Pandas
import pandas as pd
#importing plotly and cufflinks in offline mode
import cufflinks as cf
import plotly.offline
cf.go_offline()
cf.set_config_file(offline=False, world_readable=True)
是時候展示泰坦尼克號數據集的魔力了。
df.iplot()
df.iplot() vs df.plot()
右側的可視化顯示了靜態圖表，而左側圖表是交互式的，更詳細，並且所有這些在語法上都沒有任何重大更改。
Magic命令
Magic命令是Jupyter notebook中的一組便捷功能，旨在解決標準數據分析中的一些常見問題。使用命令％lsmagic可以看到所有的可用命令。
所有可用的Magic命令列表
Magic命令有兩種：行magic命令（line magics），以單個％字符為前綴，在單行輸入操作；單元magic命令（cell magics），以雙%%字符為前綴，可以在多行輸入操作。如果設置為1，則不用鍵入%即可調用Magic函數。
接下來看一些在常見數據分析任務中可能用到的命令：
% pastebin
％pastebin將代碼上傳到Pastebin並返回url。Pastebin是一個在線內容託管服務，可以存儲純文本，如源代碼片段，然後通過url可以與其他人共享。事實上，Github gist也類似於pastebin，只是有版本控制。
在file.py文件中寫一個包含以下內容的python腳本，並試着運行看看結果。
#file.py
def foo(x):
return x
在Jupyter Notebook中使用％pastebin生成一個pastebin url。
%matplotlib notebook
函數用於在Jupyter notebook中呈現靜態matplotlib圖。用notebook替換inline，可以輕鬆獲得可縮放和可調整大小的繪圖。但記得這個函數要在導入matplotlib庫之前調用。
%run
用％run函數在notebook中運行一個python腳本試試。
%run file.py
%%writefile
%% writefile是將單元格內容寫入文件中。以下代碼將腳本寫入名為foo.py的文件並保存在當前目錄中。
%%latex
%%latex函數將單元格內容以LaTeX形式呈現。此函數對於在單元格中編寫數學公式和方程很有用。
查找並解決錯誤
交互式調試器也是一個神奇的功能，我把它單獨定義了一類。如果在運行代碼單元時出現異常，請在新行中鍵入％debug並運行它。 這將打開一個交互式調試環境，它能直接定位到發生異常的位置。還可以檢查程序中分配的變量值，並在此處執行操作。退出調試器單擊q即可。
Printing也有小技巧
如果您想生成美觀的數據結構，pprint是首選。它在打印字典數據或JSON數據時特別有用。接下來看一個使用print和pprint來顯示輸出的示例。
讓你的筆記脫穎而出
我們可以在您的Jupyter notebook中使用警示框/注釋框來突出顯示重要內容或其他需要突出的內容。注釋的顏色取決於指定的警報類型。只需在需要突出顯示的單元格中添加以下任一代碼或所有代碼即可。
藍色警示框：信息提示
p class=”alert alert-block alert-info”
bTip:/b Use blue boxes (alert-info) for tips and notes.
If it』s a note, you don』t have to include the word 「Note」.
/p
黃色警示框：警告
p class=”alert alert-block alert-warning”
bExample:/b Yellow Boxes are generally used to include additional examples or mathematical formulas.
/p
綠色警示框：成功
p class=”alert alert-block alert-success”
Use green box only when necessary like to display links to related content.
/p
紅色警示框：高危
p class=”alert alert-block alert-danger”
It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.
/p
打印單元格所有代碼的輸出結果
假如有一個Jupyter Notebook的單元格，其中包含以下代碼行：
In [1]: 10+5
11+6
Out [1]: 17
單元格的正常屬性是只打印最後一個輸出，而對於其他輸出，我們需要添加print()函數。然而通過在notebook頂部添加以下代碼段可以一次打印所有輸出。
添加代碼後所有的輸出結果就會一個接一個地打印出來。
In [1]: 10+5
11+6
12+7
Out [1]: 15
Out [1]: 17
Out [1]: 19
恢復原始設置：
InteractiveShell.ast_node_interactivity = “last_expr”
使用’i’選項運行python腳本
從命令行運行python腳本的典型方法是：python hello.py。但是，如果在運行相同的腳本時添加-i，例如python -i hello.py，就能提供更多優勢。接下來看看結果如何。
首先，即使程序結束，python也不會退出解釋器。因此，我們可以檢查變量的值和程序中定義的函數的正確性。
其次，我們可以輕鬆地調用python調試器，因為我們仍然在解釋器中：
import pdb
pdb.pm()
這能定位異常發生的位置，然後我們可以處理異常代碼。
自動評論代碼
Ctrl / Cmd + /自動注釋單元格中的選定行，再次命中組合將取消注釋相同的代碼行。
刪除容易恢復難
你有沒有意外刪除過Jupyter notebook中的單元格？如果答案是肯定的，那麼可以掌握這個撤消刪除操作的快捷方式。
如果您刪除了單元格的內容，可以通過按CTRL / CMD + Z輕鬆恢復它。
如果需要恢復整個已刪除的單元格，請按ESC + Z或EDIT撤消刪除單元格。
結論
在本文中，我列出了使用Python和Jupyter notebook時收集的一些小提示。我相信它們會對你有用，能讓你有所收穫，從而實現輕鬆編碼！
如何用python進行數據分析
1、Python數據分析流程及學習路徑
數據分析的流程概括起來主要是：讀寫、處理計算、分析建模和可視化四個部分。在不同的步驟中會用到不同的Python工具。每一步的主題也包含眾多內容。
根據每個部分需要用到的工具，Python數據分析的學習路徑如下：
相關推薦：《Python入門教程》
2、利用Python讀寫數據
Python讀寫數據，主要包括以下內容：
我們以一小段代碼來看：
可見，僅需簡短的兩三行代碼即可實現Python讀入EXCEL文件。
3、利用Python處理和計算數據
在第一步和第二步，我們主要使用的是Python的工具庫NumPy和pandas。其中，NumPy主要用於矢量化的科學計算，pandas主要用於表型數據處理。
4、利用Python分析建模
在分析和建模方面，主要包括Statsmdels和Scikit-learn兩個庫。
Statsmodels允許用戶瀏覽數據，估計統計模型和執行統計測試。可以為不同類型的數據和每個估算器提供廣泛的描述性統計，統計測試，繪圖函數和結果統計列表。
Scikit-leran則是著名的機器學習庫，可以迅速使用各類機器學習算法。
5、利用Python數據可視化
數據可視化是數據工作中的一項重要內容，它可以輔助分析也可以展示結果。
python數據分析與應用第三章代碼3-5的數據哪來的
savetxt
import numpy as np
i2 = np.eye(2)
np.savetxt(“eye.txt”, i2)
3.4 讀入CSV文件
# AAPL,28-01-2011, ,344.17,344.4,333.53,336.1,21144800
c,v=np.loadtxt(‘data.csv’, delimiter=’,’, usecols=(6,7), unpack=True) #index從0開始
3.6.1 算術平均值
np.mean(c) = np.average(c)
3.6.2 加權平均值
t = np.arange(len(c))
np.average(c, weights=t)
3.8 極值
np.min(c)
np.max(c)
np.ptp(c) 最大值與最小值的差值
3.10 統計分析
np.median(c) 中位數
np.msort(c) 升序排序
np.var(c) 方差
3.12 分析股票收益率
np.diff(c) 可以返回一個由相鄰數組元素的差
值構成的數組
returns = np.diff( arr ) / arr[ : -1] #diff返回的數組比收盤價數組少一個元素
np.std(c) 標準差
對數收益率
logreturns = np.diff( np.log(c) ) #應檢查輸入數組以確保其不含有零和負數
where 可以根據指定的條件返回所有滿足條件的數
組元素的索引值。
posretindices = np.where(returns 0)
np.sqrt(1./252.) 平方根，浮點數
3.14 分析日期數據
# AAPL,28-01-2011, ,344.17,344.4,333.53,336.1,21144800
dates, close=np.loadtxt(‘data.csv’, delimiter=’,’, usecols=(1,6), converters={1:datestr2num}, unpack=True)
print “Dates =”, dates
def datestr2num(s):
return datetime.datetime.strptime(s, “%d-%m-%Y”).date().weekday()
# 星期一 0
# 星期二 1
# 星期三 2
# 星期四 3
# 星期五 4
# 星期六 5
# 星期日 6
#output
Dates = [ 4. 0. 1. 2. 3. 4. 0. 1. 2. 3. 4. 0. 1. 2. 3. 4. 1. 2. 4. 0. 1. 2. 3. 4. 0.
1. 2. 3. 4.]
averages = np.zeros(5)
for i in range(5):
indices = np.where(dates == i)
prices = np.take(close, indices) #按數組的元素運算,產生一個數組作為輸出。
a = [4, 3, 5, 7, 6, 8]
indices = [0, 1, 4]
np.take(a, indices)
array([4, 3, 6])
np.argmax(c) #返回的是數組中最大元素的索引值
np.argmin(c)
3.16 匯總數據
# AAPL,28-01-2011, ,344.17,344.4,333.53,336.1,21144800
#得到第一個星期一和最後一個星期五
first_monday = np.ravel(np.where(dates == 0))[0]
last_friday = np.ravel(np.where(dates == 4))[-1]
#創建一個數組，用於存儲三周內每一天的索引值
weeks_indices = np.arange(first_monday, last_friday + 1)
#按照每個子數組5個元素，用split函數切分數組
weeks_indices = np.split(weeks_indices, 5)
#output
[array([1, 2, 3, 4, 5]), array([ 6, 7, 8, 9, 10]), array([11,12, 13, 14, 15])]
weeksummary = np.apply_along_axis(summarize, 1, weeks_indices,open, high, low, close)
def summarize(a, o, h, l, c): #open, high, low, close
monday_open = o[a[0]]
week_high = np.max( np.take(h, a) )
week_low = np.min( np.take(l, a) )
friday_close = c[a[-1]]
return(“APPL”, monday_open, week_high, week_low, friday_close)
np.savetxt(“weeksummary.csv”, weeksummary, delimiter=”,”, fmt=”%s”) #指定了文件名、需要保存的數組名、分隔符(在這個例子中為英文標點逗號)以及存儲浮點數的格式。
0818b9ca8b590ca3270a3433284dd417.png
格式字符串以一個百分號開始。接下來是一個可選的標誌字符：-表示結果左對齊，0表示左端補0，+表示輸出符號(正號+或負號-)。第三部分為可選的輸出寬度參數，表示輸出的最小位數。第四部分是精度格式符，以」.」開頭，後面跟一個表示精度的整數。最後是一個類型指定字符，在例子中指定為字符串類型。
numpy.apply_along_axis(func1d, axis, arr, *args, **kwargs)
def my_func(a):
… “””Average first and last element of a 1-D array”””
… return (a[0] + a[-1]) * 0.5
b = np.array([[1,2,3], [4,5,6], [7,8,9]])
np.apply_along_axis(my_func, 0, b) #沿着X軸運動，取列切片
array([ 4., 5., 6.])
np.apply_along_axis(my_func, 1, b) #沿着y軸運動，取行切片
array([ 2., 5., 8.])
b = np.array([[8,1,7], [4,3,9], [5,2,6]])
np.apply_along_axis(sorted, 1, b)
array([[1, 7, 8],
[3, 4, 9],
[2, 5, 6]])
3.20 計算簡單移動平均線
(1) 使用ones函數創建一個長度為N的元素均初始化為1的數組，然後對整個數組除以N，即可得到權重。如下所示：
N = int(sys.argv[1])
weights = np.ones(N) / N
print “Weights”, weights
在N = 5時，輸出結果如下：
Weights [ 0.2 0.2 0.2 0.2 0.2] #權重相等
(2) 使用這些權重值，調用convolve函數：
c = np.loadtxt(‘data.csv’, delimiter=’,’, usecols=(6,),unpack=True)
sma = np.convolve(weights, c)[N-1:-N+1] #卷積是分析數學中一種重要的運算，定義為一個函數與經過翻轉和平移的另一個函數的乘積的積分。
t = np.arange(N – 1, len(c)) #作圖
plot(t, c[N-1:], lw=1.0)
plot(t, sma, lw=2.0)
show()
3.22 計算指數移動平均線
指數移動平均線(exponential moving average)。指數移動平均線使用的權重是指數衰減的。對歷史上的數據點賦予的權重以指數速度減小，但永遠不會到達0。
x = np.arange(5)
print “Exp”, np.exp(x)
#output
Exp [ 1. 2.71828183 7.3890561 20.08553692 54.59815003]
Linspace 返回一個元素值在指定的範圍內均勻分佈的數組。
print “Linspace”, np.linspace(-1, 0, 5) #起始值、終止值、可選的元素個數
#output
Linspace [-1. -0.75 -0.5 -0.25 0. ]
(1)權重計算
N = int(sys.argv[1])
weights = np.exp(np.linspace(-1. , 0. , N))
(2)權重歸一化處理
weights /= weights.sum()
print “Weights”, weights
#output
Weights [ 0.11405072 0.14644403 0.18803785 0.24144538 0.31002201]
(3)計算及作圖
c = np.loadtxt(‘data.csv’, delimiter=’,’, usecols=(6,),unpack=True)
ema = np.convolve(weights, c)[N-1:-N+1]
t = np.arange(N – 1, len(c))
plot(t, c[N-1:], lw=1.0)
plot(t, ema, lw=2.0)
show()
3.26 用線性模型預測價格
(x, residuals, rank, s) = np.linalg.lstsq(A, b) #係數向量x、一個殘差數組、A的秩以及A的奇異值
print x, residuals, rank, s
#計算下一個預測值
print np.dot(b, x)
3.28 繪製趨勢線
x = np.arange(6)
x = x.reshape((2, 3))
x
array([[0, 1, 2], [3, 4, 5]])
np.ones_like(x) #用1填充數組
array([[1, 1, 1], [1, 1, 1]])
類似函數
zeros_like
empty_like
zeros
ones
empty
3.30 數組的修剪和壓縮
a = np.arange(5)
print “a =”, a
print “Clipped”, a.clip(1, 2) #將所有比給定最大值還大的元素全部設為給定的最大值，而所有比給定最小值還小的元素全部設為給定的最小值
#output
a = [0 1 2 3 4]
Clipped [1 1 2 2 2]
a = np.arange(4)
print a
print “Compressed”, a.compress(a 2) #返回一個根據給定條件篩選後的數組
#output
[0 1 2 3]
Compressed [3]
b = np.arange(1, 9)
print “b =”, b
print “Factorial”, b.prod() #輸出數組元素階乘結果
#output
b = [1 2 3 4 5 6 7 8]
Factorial 40320
print “Factorials”, b.cumprod()
#output
為什麼用Python做數據分析
為什麼用Python做數據分析
原因如下：
1、python大量的庫為數據分析提供了完整的工具集
python擁有numpy、matplotlib、scikit-learn、pandas、ipython等工具在科學計算方面十分有優勢，尤其是pandas，在處理中型數據方面可以說有着無與倫比的優勢，已經成為數據分析中流砥柱的分析工具。
2、比起MATLAB、R語言等其他主要用於數據分析語言，python語言功能更加健全
Python具有強大的編程能力，這種編程語言不同於R或者matlab，python有些非常強大的數據分析能力，並且還可以利用Python進行爬蟲，寫遊戲，以及自動化運維，在這些領域中有着很廣泛的應用，這些優點就使得一種技術去解決所有的業務服務問題，這就充分的體現的Python有利於各個業務之間的融合。如果使用Python，能夠大大的提高數據分析的效率。
3、python庫一直在增加，算法的實現採取的方法更加創新
4、python能很方便的對接其他語言，比如c、java等。
Python最大的優點那就是簡單易學。Python代碼十分容易被讀寫，最適合剛剛入門的朋友去學習。我們在處理數據的時候，一般都希望數據能夠轉化成可運算的數字形式，這樣，不管是沒學過編程的人還是學過編程的人都能夠看懂這個數據。
其實現如今，Python是一個面向世界的編程語言，Python對於如今火熱的人工智能也有一定的幫助，這是因為人工智能需要的是即時性，而Python是一種非常簡潔的語言，同時有着豐富的數據庫以及活躍的社區，這樣就能夠輕鬆的提取數據，從而為人工智能做出優質的服務。
通過上面的描述，相信大家已經知道了使用Python做數據分析的優點了。Python語言得益於它的簡單方便，使得其在大數據、數據分析以及人工智能方面都有十分明顯的存在感，對於數據分析從業者以及想要進入數據分析行業的人來說，簡單易學容易上手的優勢也是一個優勢，所以不管大家是否進入數據分析行業，學習Python是沒有壞處的。
Python中文網，大量Python視頻教程，歡迎學習！
原創文章，作者：小藍，如若轉載，請註明出處：https://www.506064.com/zh-hk/n/240113.html
微信掃一掃 
支付寶掃一掃 