用Python爬取鏈家新房數據

你是否遇到過需要查看某個城市、某個小區、某個戶型的新房信息，但是不想人工逐個瀏覽鏈家網站每一個頁面的情況？那麼接下來我們將介紹如何使用Python爬取鏈家新房數據，實現自動化數據獲取。

一、獲取頁面HTML

首先需要獲取待爬取頁面的HTML源碼。這可以通過Python的requests庫實現。我們可以使用requests.get()方法來獲取頁面HTML代碼，並使用BeautifulSoup庫解析頁面HTML代碼，方便我們後續的信息提取。

import requests
from bs4 import BeautifulSoup

url = 'https://bj.fang.lianjia.com/loupan/pg1/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

上述代碼中，我們設置一個url變量作為目標URL，使用requests庫的get()方法發送GET請求，獲取到對應網頁的HTML代碼，再用BeautifulSoup庫將其解析為soup對象。

二、解析頁面數據

在獲取到頁面的HTML之後，我們需要從中提取出相關的信息。與requests和BeautifulSoup配合使用的是正則表達式（re）庫。在按照頁面進行解析時，我們通常需要使用正則表達式來提取特定的信息。

import re

house_items = soup.select('.resblock-desc-wrapper')
house_titles = [item.select('a')[0].get_text() for item in house_items]
house_prices = [item.select('.main-price')[0].get_text() for item in house_items]
patterns = re.compile(r'(?<=href=").+?(?=">)')
house_links = [patterns.findall(str(item))[0] for item in house_items]

上述代碼中的`.select()`方法用來定位soup對象中的具體標籤或者標籤組，`get_text()`方法用來獲取標籤內的文本，`re.compile()`方法用來獲取特定字符串，本例中獲取的是所在樓盤的鏈接。由於每個標籤的結構都是類似的，所以我們可以使用列表推導式將所需的信息一一提取出來。

三、構建信息列表

將提取出來的信息進行組合，並將其存儲到一個列表中，方便之後進行處理和存儲到數據庫中。

info_list = []
for i in range(len(house_items)):
    info_dict = {}
    info_dict['house_title'] = house_titles[i]
    info_dict['house_price'] = house_prices[i]
    info_dict['house_link'] = house_links[i]
    info_list.append(info_dict)

上述代碼中，我們定義了一個空列表`info_list`用於儲存所有的信息，隨後使用一個for循環遍歷每個節點，將提取到的結構化信息儲存在一個名為`info_dict`的字典對象中，並將字典對象存儲到`info_list`列表中。

四、多頁爬取

如果我們需要爬取的房產信息比較多，那麼往往需要多頁進行遍歷。這裡我們可以使用一個封裝好的函數，用於自動生成待爬行的URL。

def get_url_list(city, page):
    url = 'https://{0}.fang.lianjia.com/loupan/pg{1}/'.format(city, page)
    return url

city = 'bj'
start_page = 1
end_page = 10
url_list = []
for i in range(start_page, end_page + 1):
    url = get_url_list(city, i)
    url_list.append(url)

上述代碼中，我們定義了一個`get_url_list()`函數來自動生成待爬頁面URL，這裡默認輸入了要爬取的城市和頁碼。而後使用for循環遍歷每頁頁面，並將其放進一個列表中。

五、保存數據至數據庫

最後，我們將獲取到的數據存儲到數據庫中。這裡我們使用的是MySQL數據庫。首先需要安裝好對應的庫，即pymysql庫，安裝完成之後可以使用下面的代碼實現數據保存。

import pymysql

database = 'house'
host = 'localhost'
username = 'root'
password = 'password'
port = '3306'
conn = pymysql.connect(host=host, port=int(port), user=username, password=password, db=database, charset='utf8')
cursor = conn.cursor()
sql = '''
CREATE TABLE IF NOT EXISTS `house_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `house_title` varchar(300) NOT NULL,
  `house_price` varchar(100) NOT NULL,
  `house_link` varchar(500) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
'''
# 創建數據表
cursor.execute(sql)
# 插入數據
for data in info_list:
    values = tuple(data.values())
    cursor.execute('INSERT INTO house_info(house_title, house_price, house_link) VALUES(%s, %s, %s)', values)
    conn.commit()
cursor.close()
conn.close()

上述代碼中，我們首先定義了一些MySQL數據庫連接的參數，包括數據庫名稱、主機地址、用戶名、密碼、端口號等。然後將這些參數傳入到`pymysql.connect()`函數中來創建一個連接對象`conn`。接着我們可以使用`cursor()`方法獲得一個數據庫相關的操作游標`cursor`。在執行過程中，我們使用循環將獲取到的數據寫入數據庫中。

六、總結

通過以上步驟，我們可以實現自動化獲取並存儲所需鏈家房產信息的目標。這樣不但方便了我們的查找，而且提高了工作效率。