本文目錄一覽：
- 1、如何使用python 統計網站訪問量並生成報表
- 2、用Python爬取大眾點評時被反爬ip被封怎麼辦，他總叫我滑動驗證但滑動了也沒有用。。。求大佬幫忙。。。
- 3、python刷微博視頻播放量
- 4、python怎麼能抓微信公眾號文章的閱讀數
- 5、關於Python界面信息自動刷新
- 6、怎麼用python爬取一個網站的網頁數量
如何使用python 統計網站訪問量並生成報表
統計網站訪問量
統計出每個IP的訪問量有多少？（從日誌文件中查找）
#!/usr/bin/env python
#!coding=utf-8
list = []
f = file(‘/tmp/1.log’)
str1 = f.readlines()
f.close()
for i in str1:
ip = i.split()[0] //split()通過指定分隔符對字符串進行切片，默認為所有的空字符；split分隔後是一個列表，[0]表示取其第一個元素；
list.append(ip) //追加
list_num = set(list)
for j in list_num:
num = list.count(j)
print ‘%s : %s’ %(j,num)
生成報表
#_*_coding:utf-8_*_
import MySQLdb
import xlwt
from datetime import datetime
def get_data(sql):
# 創建數據庫連接.
conn = MySQLdb.connect(host=’127.0.0.1′,user=’root’\
,passwd=’123456′,db=’test’,port=3306,charset=’utf8′)
# 創建游標
cur = conn.cursor()
# 執行查詢，
cur.execute(sql)
# 由於查詢語句僅會返回受影響的記錄條數並不會返回數據庫中實際的值，所以此處需要fetchall()來獲取所有內容。
result = cur.fetchall()
#關閉游標
cur.close()
#關閉數據庫連接
conn.close
# 返給結果給函數調用者。
return result
def write_data_to_excel(name,sql):
# 將sql作為參數傳遞調用get_data並將結果賦值給result,(result為一個嵌套元組)
result = get_data(sql)
# 實例化一個Workbook()對象(即excel文件)
wbk = xlwt.Workbook()
# 新建一個名為Sheet1的excel sheet。此處的cell_overwrite_ok =True是為了能對同一個單元格重複操作。
sheet = wbk.add_sheet(‘Sheet1’,cell_overwrite_ok=True)
# 獲取當前日期，得到一個datetime對象如：(2016, 8, 9, 23, 12, 23, 424000)
today = datetime.today()
# 將獲取到的datetime對象僅取日期如：2016-8-9
today_date = datetime.date(today)
# 遍歷result中的沒個元素。
for i in xrange(len(result)):
#對result的每個子元素作遍歷，
for j in xrange(len(result[i])):
#將每一行的每個元素按行號i,列號j,寫入到excel中。
sheet.write(i,j,result[i][j])
# 以傳遞的name+當前日期作為excel名稱保存。
wbk.save(name+str(today_date)+’.xls’)
# 如果該文件不是被import,則執行下面代碼。
if __name__ == ‘__main__’:
#定義一個字典，key為對應的數據類型也用作excel命名，value為查詢語句
db_dict = {‘test’:’select * from student’}
# 遍歷字典每個元素的key和value。
for k,v in db_dict.items():
# 用字典的每個key和value調用write_data_to_excel函數。
write_data_to_excel(k,v)
用Python爬取大眾點評時被反爬ip被封怎麼辦，他總叫我滑動驗證但滑動了也沒有用。。。求大佬幫忙。。。
1、放慢爬取速度，減小對於目標網站造成的壓力。但是這樣會減少單位時間類的爬取量。
第二種方法是通過設置IP等手段，突破反爬蟲機制繼續高頻率爬取。網站的反爬機制會檢查來訪的IP地址，為了防止IP被封，這時就可以使用HTTP，來切換不同的IP爬取內容。使用代理IP簡單的來講就是讓代理服務器去幫我們得到網頁內容，然後再轉發回我們的電腦。要選擇高匿的ip，IPIDEA提供高匿穩定的IP同時更注重用戶隱私的保護，保障用戶的信息安全。
2、這樣目標網站既不知道我們使用代理，更不會知道我們真實的IP地址。
3、建立IP池，池子儘可能的大，且不同IP均勻輪換。
如果你需要大量爬取數據，建議你使用HTTP代理IP，在IP被封掉之前或者封掉之後迅速換掉該IP，這裡有個使用的技巧是循環使用，在一個IP沒有被封之前，就換掉，過一會再換回來。這樣就可以使用相對較少的IP進行大量訪問。
python刷微博視頻播放量
python刷微博視頻流暢，播放量高。根據查詢相關資料得知，python是5G手機，配置8GB加256GB亮黑色，雙卡，1點6億超清影像|驍龍8加旗艦芯片，AIVlog視頻大師，單核1721分，多核4865分，高配置超性能，用來刷微博視頻流暢，播放量高。
python怎麼能抓微信公眾號文章的閱讀數
思路一，利用rss生成工具，將搜狗的微信搜索結果生成一個rss，然後通過rss監控這個公眾號的文章是否更新。(理論上應該可行，但沒試過)
思路二，自己做一個桌面瀏覽器，IE內核。用這個瀏覽器登錄web微信，這個微信帳號關注你想抓取的公眾號，這樣就可以監控到是這些公眾號是否已更新，更新後鏈接是什麼，從而達到抓取數據的目的。（使用過，效率不高，但非常穩定）
思路三，通過修改android的微信客戶端來實現(這個方法是我們曾經使用過一段時間的)
思路四，想辦法越過驗證直接取到鏈接，再通過鏈接取到數據。
關於Python界面信息自動刷新
from tkinter import *
import time
def updatetimer():
timer=time.strftime(“%H:%M:%S”)
timelabel.configure(text=timer)
timelabel.after(1000,updatetimer)
root=Tk()
timelabel=Label(root)
timelabel.pack()
timelabel.after(1000,updatetimer)
root.mainloop()
怎麼用python爬取一個網站的網頁數量
1. 這個要根據你的網站地址進行分析，構造網站的url，通過for循環，做統計輸出，從而計算出一個網站的網頁數量。
2. 由於你未給出具體網站的地址，只能給你說個流程如上。
望採納，希望能幫到你。。。。。。
原創文章，作者：小藍，如若轉載，請註明出處：https://www.506064.com/zh-hk/n/285506.html
微信掃一掃 
支付寶掃一掃 