List去除重複數據詳解

一、利用set去除重複數據

Set是Python中一種基本的無序不重複的集合，因此我們可以利用set來去除列表中的重複數據。例如，有一個包含重複數據的列表：

fruits = ['apple', 'banana', 'orange', 'apple', 'pear', 'banana', 'watermelon']
unique_fruits = set(fruits)
print(unique_fruits)

輸出結果將是一個只包含獨特元素的集合：

{'banana', 'orange', 'pear', 'apple', 'watermelon'}

需要注意的是，我們在將set()應用到列表中時，列表中的元素將被自動去重並轉換為set集合中的元素類型。

二、利用字典去除重複數據

利用字典去除列表中的重複數據是一種常見的方法。我們可以通過將列表中的元素作為鍵，將元素值設置為1，由於字典中不允許重複的鍵，因此重複的元素將被去除。例如：

fruits = ['apple', 'banana', 'orange', 'apple', 'pear', 'banana', 'watermelon']
unique_fruits = {}
for fruit in fruits:
    unique_fruits[fruit] = 1
print(list(unique_fruits.keys()))

輸出結果將是一個只包含獨特元素的列表：

['apple', 'banana', 'orange', 'pear', 'watermelon']

三、使用列表推導式去除重複數據

列表推導式是Python中的一種非常方便的語法，可以快速構建列表，同時也可以用於去除重複數據。例如：

fruits = ['apple', 'banana', 'orange', 'apple', 'pear', 'banana', 'watermelon']
unique_fruits = list(set(fruit for fruit in fruits))
print(unique_fruits)

輸出結果將是一個只包含獨特元素的列表：

['banana', 'orange', 'pear', 'apple', 'watermelon']

四、使用Counter去除重複數據

Counter是Python中的一種計數器，可以用於統計列表中每個元素出現的次數。我們可以利用Counter計數器快速去除列表中的重複數據，例如：

from collections import Counter
fruits = ['apple', 'banana', 'orange', 'apple', 'pear', 'banana', 'watermelon']
unique_fruits = [fruit for fruit, count in Counter(fruits).items()]
print(unique_fruits)

輸出結果將是一個只包含獨特元素的列表：

['apple', 'banana', 'orange', 'pear', 'watermelon']

五、使用pandas去除重複數據

pandas是Python中一種數據分析和操作的庫，其中包含了許多方便的去重和處理數據的方法。例如，我們可以使用pandas的drop_duplicates()方法快速去除列表中的重複數據：

import pandas as pd
fruits = ['apple', 'banana', 'orange', 'apple', 'pear', 'banana', 'watermelon']
unique_fruits = pd.Series(fruits).drop_duplicates().tolist()
print(unique_fruits)

輸出結果將是一個只包含獨特元素的列表：

['apple', 'banana', 'orange', 'pear', 'watermelon']

以上就是五種常用的去除重複數據的方法，你可以選擇其中的一種或多種方法來處理你的列表數據。