如何編寫去重計數函數

一、什麼是去重計數函數

去重計數函數旨在從一堆數據中篩選出不同的值並計算其出現次數。例如，我們有一個包含重複元素的列表[1,2,1,3,2,4,1,3,5,6]，去重後剩下[1,2,3,4,5,6]，並且他們出現的次數分別為[3,2,2,1,1,1]。

在實際應用中，去重計數函數有很多用途，例如：日誌分析、用戶統計、網絡爬蟲等等。

二、如何實現去重計數函數

1. 使用set集合

set集合是一種不允許重複元素的容器。我們可以使用set集合先對數據進行去重，再遍歷set集合計算每個元素出現的次數。

def count_unique_num_using_set(nums):
    unique_nums = set(nums)
    for num in unique_nums:
        print("num:", num, "count:", nums.count(num))
    return len(unique_nums)

2. 使用字典計數

針對上述方法的缺陷，我們可以使用字典來記錄每個元素的出現次數，而無需遍歷整個列表，從而提高效率。

def count_unique_num_using_dict(nums):
    dict_num_count = {}
    for num in nums:
        dict_num_count[num] = dict_num_count.get(num, 0) + 1
    for num, count in dict_num_count.items():
        print("num:", num, "count:", count)
    return len(dict_num_count)

3. 使用Counter計數器

Python的collections模塊提供了一個Counter計數器，它用專門的字典來跟蹤值的出現次數。

from collections import Counter

def count_unique_num_using_counter(nums):
    cnt = Counter(nums)
    for num, count in cnt.items():
        print("num:", num, "count:", count)
    return len(cnt)

三、去重計數函數的應用案例

1. 統計一段文字中出現次數最多的單詞

可以通過去重計數函數和split()方法將一段文字劃分為單詞，並使用字典或Counter計數器統計每個單詞的出現次數。

text = "Hello world, I am a Python programmer. I love Python and I think Python is the best programming language."
words = text.split()
word_count = Counter(words)
print(word_count.most_common(1))

2. 統計網頁中每個URL的出現次數

網絡爬蟲經常需要統計數據，可以通過去重計數函數和正則表達式快速地統計一個網頁中每個URL的出現次數。

import re
import requests
from collections import Counter

url = "https://www.python.org"
response = requests.get(url)
content = response.text
urls = re.findall(r'http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*\(\),]|(?:%[0-9a-fA-F][0-9a-fA-F]))+', content)
url_count = Counter(urls)
for url, count in url_count.items():
    print("url:", url, "count:", count)

3. 日誌分析

可以通過去重計數函數和正則表達式統計日誌中每個IP的出現次數。

import re
import requests
from collections import Counter

log_file_path = "log.txt"
with open(log_file_path, "r") as f:
    content = f.read()
ip_pattern = r"\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}"
ips = re.findall(ip_pattern, content)
ip_count = Counter(ips)
for ip, count in ip_count.items():
    print("ip:", ip, "count:", count)

四、總結

綜上所述，去重計數函數對於各種場景都是必備功能，並且有多種實現方式，可以根據實際情況選擇合適的方法。同時，我們還通過應用案例更好地理解並應用了去重計數函數。