Python實現高效數據處理和分析

一、Pandas：重要的數據處理庫

Pandas是Python中一個很重要的數據處理庫，提供了類似Excel表格的數據結構，可以用於數據清洗、聚合、重構、分組、統計等操作。使用Pandas創建的數據結構，例如DataFrame、Series等，可以直接讀取和寫入多種文件格式，包括CSV、HTML、JSON、SQL等。同時，Pandas還提供了靈活和高效的數據讀取和寫入函數，能夠處理非常大的數據集。

下面是一個使用Pandas清洗和統計數據的例子：假設有一個在線商店的銷售數據文件sales.csv，其中包含了訂單號、訂單日期、商品名、商品價格、購買數量、顧客ID等信息。我們可以使用Pandas進行讀取，清洗，聚合和統計這些數據，例如：

import pandas as pd

# 讀取CSV文件
df = pd.read_csv('sales.csv')

# 清洗數據：去掉價格為0的記錄，添加“總價”列
df = df[df['price']>0]
df['total_price'] = df['price']*df['quantity']

# 分組統計：每個顧客購買的總商品數量和總價值平均數
customer_data = df.groupby('customer_id')['quantity', 'total_price'].sum()
customer_data['avg_quantity'] = customer_data['quantity']/customer_data.index.size
customer_data['avg_price'] = customer_data['total_price']/customer_data.index.size

# 輸出結果
print(customer_data.head())

這個代碼片段首先讀取了CSV文件，然後進行了數據清洗操作：去掉價格為0的記錄，並添加了一個“總價”列，該列是商品數量和價格的積。接下來，將數據按顧客ID分組，並統計了每個顧客的總商品數量和總價值平均數。最後，輸出了結果，可以看到每個顧客的總商品數量、總價值和平均單價。

二、NumPy：高性能的數值計算庫

NumPy是Python中一個高性能的數值計算庫，提供了數組、矩陣和各種數學運算函數，被廣泛應用於科學計算、統計建模、機器學習等領域。與Python內置的列表相比，NumPy數組具有更高的性能和更豐富的數學函數，可以大大提高數值計算的效率。

下面是一個使用NumPy進行矩陣運算的例子：計算兩個矩陣的乘積。假設有兩個矩陣A和B，A的大小為3×2，B的大小為2×4，我們需要計算它們的乘積C=A×B，可以使用NumPy中的dot函數進行計算，例如：

import numpy as np

# 定義兩個矩陣A和B
A = np.array([[1, 2], [3, 4], [5, 6]])
B = np.array([[1, 2, 3, 4], [5, 6, 7, 8]])

# 計算矩陣乘積C=A×B
C = np.dot(A, B)

# 輸出結果
print(C)

這個代碼片段首先定義了兩個矩陣A和B，然後使用NumPy中的dot函數計算它們的乘積C。最後，輸出了結果，可以看到C的大小為3×4，是兩個矩陣的乘積。

三、Matplotlib：數據可視化庫

Matplotlib是Python中一個經典的數據可視化庫，可以用於繪製各種2D和3D圖表，包括線圖、散點圖、柱狀圖、餅圖、等高線圖等。Matplotlib通過提供豐富的繪圖函數和選項，使得用戶可以輕鬆地創建大量類型的圖表，並且可以方便地控制圖像的布局、顏色、字體等。

下面是一個使用Matplotlib進行數據可視化的例子：繪製兩個數據點集在二維平面上的散點圖。假設有兩個數據點集X和Y，每個點集包含了10個點的二維坐標，我們想要將它們繪製在同一個圖像中，可以使用Matplotlib中的scatter函數，例如：

import numpy as np
import matplotlib.pyplot as plt

# 定義兩個點集X和Y
X = np.random.rand(10, 2)
Y = np.random.rand(10, 2)

# 繪製散點圖
plt.scatter(X[:, 0], X[:, 1], c='b', label='X')
plt.scatter(Y[:, 0], Y[:, 1], c='r', label='Y')
plt.legend()
plt.show()

這個代碼片段首先定義了兩個點集X和Y，每個點集包含了10個點的二維坐標。然後，使用Matplotlib中的scatter函數繪製了兩個散點圖，分別使用藍色和紅色表示點集X和Y，同時添加了圖例。最後，使用show函數顯示圖像。

四、Scikit-learn：機器學習庫

Scikit-learn是Python中一個流行的機器學習庫，提供了多種機器學習算法、數據預處理、特徵工程、模型選擇和評估等功能。Scikit-learn的算法實現和API接口都比較簡單和統一，使得用戶可以方便地使用和比較不同的算法，並且可以輕鬆地將它們應用於自己的數據集上。

下面是一個使用Scikit-learn進行分類的例子：使用邏輯回歸算法對鳶尾花數據集進行分類。這個數據集包含了150個樣本，每個樣本包含了4個特徵：花萼長度、花萼寬度、花瓣長度和花瓣寬度，以及一個類別標籤：山鳶尾、變色鳶尾、維吉尼亞鳶尾。我們可以將這個數據集分為訓練集和測試集，使用邏輯回歸算法對訓練集進行訓練，並預測測試集的類別，例如：

import numpy as np
from sklearn import datasets
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split

# 加載鳶尾花數據集
iris = datasets.load_iris()
X, y = iris.data, iris.target

# 將數據集分為訓練集和測試集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# 訓練邏輯回歸模型
clf = LogisticRegression()
clf.fit(X_train, y_train)

# 預測測試集
y_pred = clf.predict(X_test)

# 計算預測精度
accuracy = accuracy_score(y_test, y_pred)
print('Accuracy:', accuracy)

這個代碼片段首先使用Scikit-learn中的datasets模塊加載了鳶尾花數據集，並將它劃分為訓練集和測試集。然後，使用Scikit-learn中的LogisticRegression模塊訓練了一個邏輯回歸模型，使用訓練集進行擬合。接下來，使用訓練好的模型對測試集進行預測，得到預測結果y_pred。最終，使用accuracy_score函數計算了預測精度，並輸出結果。