基於Python的房價分析

本文將講解如何使用Python進行房價分析，包括爬蟲獲取數據、數據處理與清洗、數據可視化和建立模型預測等方面。

一、爬蟲獲取數據

數據的獲取是進行房價分析的第一步，我們可以使用Python中的爬蟲庫如requests和BeautifulSoup來獲取相應網站的房價數據。以鏈家網為例：

import requests
from bs4 import BeautifulSoup  

url = 'https://hz.lianjia.com/ershoufang/'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    #設置請求頭，偽裝成瀏覽器，防止被反爬蟲

response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'lxml') #採用lxml解析器解析網頁

house_list = [] #定義房源列表
house_info = soup.find_all('div', class_='info clear') #獲取房源信息
for info in house_info:
    name = info.find('div', class_='title').find('a').text.strip() #獲取房源標題
    area = info.find('div', class_='address').find('div').text.strip() #獲取房源所在區域
    price = info.find('div', class_='priceInfo').find('div', class_='totalPrice').text.strip() #獲取房源總價
    house_list.append({'name': name, 'area': area, 'price': price}) #將信息加入房源列表

print(house_list)

二、數據處理與清洗

獲取到的數據往往存在一些缺失、異常或錯誤的情況，需要進行數據處理和清洗。我們可以使用Python中的pandas庫進行數據處理和清洗。

假設我們已經獲取到了一組房價數據，數據集可以使用pandas的DataFrame進行表示：

import pandas as pd
import numpy as np

df = pd.DataFrame({'name': ['房源1', '房源2', '房源3', '房源4', '房源5'], 
                   'area': ['蕭山區', '餘杭區', np.NaN, '江干區', '西湖區'], 
                   'price': [150, 200, 300, 180, 250]}) #創建數據集
print(df)

接下來我們進行數據處理和清洗：

#刪除含有缺失值的行
df = df.dropna()
print('刪除缺失值後數據集：\n', df)

#刪除重複值
df = df.drop_duplicates()
print('刪除重複值後數據集：\n', df)

#將價格進行分段處理
bins = [0, 200, 300, 500]
group_names = ['低價位', '中價位', '高價位']
df['price_class'] = pd.cut(df['price'], bins, labels=group_names)
print('價格分段後數據集：\n', df)

三、數據可視化

數據可視化可以幫助我們更清晰、直觀地了解數據的特性和分布情況。我們可以使用Python中的matplotlib和seaborn庫進行數據可視化。

假設我們已經對房價數據進行了處理和清洗：

#繪製不同地區房價散點圖
import seaborn as sns
import matplotlib.pyplot as plt

sns.scatterplot(x='area', y='price', data=df)
plt.show()

可以得到地區與房價的散點圖：

四、建立模型預測

數據處理和可視化後，我們可以進行房價的預測。我們可以使用Python中的scikit-learn庫來建立一個簡單的線性回歸模型進行房價預測。

from sklearn.linear_model import LinearRegression

#建立線性回歸模型
model = LinearRegression()
X_train = pd.get_dummies(df['area']) #將地區轉化為虛擬變量
y_train = df['price']
model.fit(X_train, y_train)

#進行預測
X_test = pd.DataFrame({'蕭山區': [1], '餘杭區': [0], '江干區': [0], '西湖區': [0]}) #待預測數據
predicted = model.predict(X_test)
print('預測值：', predicted)

五、總結

本文介紹了如何使用Python進行房價分析，包括爬蟲獲取數據、數據處理與清洗、數據可視化和建立模型預測等方面。通過數據的處理和可視化，我們可以更深入地了解數據的特點和分布情況，建立模型預測可以幫助我們進行更準確的房價預測。