Python MongoDB GroupBy 实现

小蓝 • 2024-12-03 13:28 • 编程

介绍

MongoDB是一个非关系型数据库管理系统，它以BSON (Binary JSON) 数据格式，存储数据。使用MongoDB进行数据查询时，常常需要对数据进行聚合操作，这就需要用到GroupBy操作。本文介绍如何使用Python实现MongoDB的GroupBy操作。

GroupBy操作介绍

GroupBy指对一组数据进行分组，然后对每组数据进行聚合操作，最后返回每组数据的聚合结果。在MongoDB中，GroupBy操作可以通过指定一个“key”，将数据按照该key分组，然后对每组数据进行聚合操作。常见的聚合操作包括求和、计数、平均数、最大值和最小值等。

Python实现GroupBy操作

使用Python实现MongoDB的GroupBy操作需要使用PyMongo这个第三方库。PyMongo提供了对MongoDB的操作接口，可以轻松地在Python中实现MongoDB的GroupBy操作。

安装PyMongo

!pip install pymongo

连接MongoDB

在使用PyMongo之前，需要先连接到MongoDB。

import pymongo

# 连接MongoDB
client = pymongo.MongoClient("mongodb://localhost:27017/")

# 获取数据库
db = client["mydatabase"]

# 获取集合
col = db["customers"]

GroupBy操作示例

现在，我们将在上述连接的集合中实现GroupBy操作，在此之前，我们先要通过插入示例数据来模拟实际情况。

mylist = [
  { "name": "John", "address": "Highway 37" },
  { "name": "Bob", "address": "Highway 37" },
  { "name": "Mike", "address": "Lowstreet 27" },
  { "name": "Peter", "address": "Lowstreet 27" },
  { "name": "Amy", "address": "Apple st 652" },
  { "name": "Hannah", "address": "Mountain 21" },
  { "name": "Michael", "address": "Valley 345" },
  { "name": "Sandy", "address": "Ocean blvd 2" },
  { "name": "Betty", "address": "Green Grass 1" },
  { "name": "Richard", "address": "Sky st 331" },
  { "name": "Susan", "address": "One way 98" },
  { "name": "Vicky", "address": "Yellow Garden 2" },
  { "name": "Ben", "address": "Park Lane 38" },
  { "name": "William", "address": "Central st 954" },
  { "name": "Chuck", "address": "Main Road 989" },
  { "name": "Viola", "address": "Sideway 1633" }
]

# 插入数据
col.insert_many(mylist)

现在我们有一个名为“customers”的集合，其中包含上述示例数据，我们可以使用以下代码块来实现GroupBy操作。

pipeline = [
    {"$group": {"_id": "$address", "count": {"$sum": 1}}},
    {"$sort": {"count": -1}}
]

result = col.aggregate(pipeline)

for doc in result:
    print(doc)

在上述代码块中，我们通过传递一个以”$group”为键的字典，来指定GroupBy操作的键值，即将“address”作为键值进行分组，然后通过”$sum”操作来计算每组的总数。最后，我们使用了”$sort”操作来按照count字段降序排序。

结果

{ "_id" : "Highway 37", "count" : 2 }
{ "_id" : "Lowstreet 27", "count" : 2 }
{ "_id" : "Central st 954", "count" : 1 }
{ "_id" : "Green Grass 1", "count" : 1 }
{ "_id" : "Apple st 652", "count" : 1 }
{ "_id" : "Main Road 989", "count" : 1 }
{ "_id" : "Yellow Garden 2", "count" : 1 }
{ "_id" : "Park Lane 38", "count" : 1 }
{ "_id" : "Mountain 21", "count" : 1 }
{ "_id" : "Valley 345", "count" : 1 }
{ "_id" : "Ocean blvd 2", "count" : 1 }
{ "_id" : "Sky st 331", "count" : 1 }
{ "_id" : "Sideway 1633", "count" : 1 }
{ "_id" : "One way 98", "count" : 1 }}

总结

Python中使用PyMongo可以非常方便地实现MongoDB的GroupBy操作，并且返回结果非常直观易懂，对于大数据分析领域的数据处理非常有用。

原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/197233.html