在mongodb中有时候我们需要对数据进行分析操作,比如一些统计操作,这个时候简单的查询操作(find)就搞不定这些需求,因此就需要使用 聚合框架(aggregation) 来完成。在mongodb中提供了三种方式来完成聚合操作。aggregation pipeline map-reduce function, and single purpose aggregation methods,本篇文章主要讲解aggregation pipeline(聚合管道)的使用。
Aggregation Pipeline(聚合管道)
MongoDB的聚合框架基于数据处理管道的概念。文档进入一个多级管道,将文档转换为聚合结果。比如文档的投影,过滤,排序,分组,等等。此外,管道阶段还可以使用操作符来执行任务,例如计算平均值或连接字符串等等。
下图为一个简单的聚合例子(此图来自mongodb的官网)
如上图所示:先使用 $match 构建筛选出 status 等于A 的数据,然后使用 $group 构建分组数据,以 cust_id 进行分组,使用 $sum 进行分组的求和操作。
聚合管道的限制
1、文档大小限制
聚合的返回单个文档不可超过16M,但是聚合的过程中单个文档可以超过16M.
2、内存的限制
聚合阶段默认情况下可以使用100M的内存,超过则报错。如果想处理需要超过100M内存的数据,则需要将 allowDiskUse
设置成 true,让其可以写入临时文件。但是在 $graphLookup
阶段,内存还是限制到100M以内,即使设置了 allowDiskUse=true, 在此管道阶段会失效,但是如果以其他的管道阶段还是会生效的。当allowDiskUser=false,内存超出发生异常。
聚合管道阶段
$match | 用于过滤数据,用于聚合阶段的输入 |
$order | 用指定的键,对文档进行排序 |
$limit | 用于限制多少个文档作为输入 |
$skip | 跳过多少个文档 |
$project | 投影字段,可以理解为查询多少个字段,类似为 select a,b,c 中的 a,b,c |
$group | 进行分组操作,其中_id字段用于指定需要分组的字段。 |
$count | 返回这个聚合管道阶段的文档的数量 |
更多管道阶段,请点击 这里。
聚合管道操作,请点击 这里
基本语法
db.collection.aggregate( [ { <stage> }, ... ] )
准备数据
db.persons.insertMany([ {userId : '001',age : 24,salary : 5000,dept : '部门一'}, {userId : '002',age : 25,salary : 7000,dept : '部门二'}, {userId : '003',age : 23,salary : 8000,dept : '部门一'}, {userId : '004',age : 26,salary : 1000,dept : '部门三'}, {userId : '005',age : 27,salary : 2000,dept : '部门二'}, {userId : '006',age : 22,salary : 7000,dept : '部门一'}, {userId : '007',age : 25,salary : 6000,dept : '部门三'}, {userId : '008',age : 26,salary : 4000,dept : '部门三'}, {userId : '009',age : 28,salary : 9000,dept : '部门二'} ])
1、使用 $project 投影出需要的字段
* 排除 _id 字段
* 返回 age字段
* 产生一个新字段 newAge,它的值为原age字段的值 加 1
db.persons.aggregate([ {$project : {_id : 0,age : 1,newAge : {$add : ['$age',1]}}} ])
2、使用 $match 进行数据的过滤
和普通的查询条件是一样的。
db.persons.aggregate([ {$match : {age : {$gt : 22}} } ])
3、使用 $sort 进行排序
db.persons.aggregate([ {$match : {age : {$gt : 22}} }, {$sort : {age : 1}} ])
4、使用 $limit 和 $skip 进行限制数据和过滤数据
db.persons.aggregate([ {$match : {age : {$gt : 22}} }, {$sort : {age : -1}}, {$limit : 6}, {$skip : 3} ])
5、使用 $group 进行分组操作
db.persons.aggregate([ {$group : {_id : "$dept",count : {$sum : 1}}} ]);
有了以上的简单知识,我们完成一个简单的练习。
需求: 获取6个年龄大于22周岁的用户,其中如果薪水如果小于1000,直接将薪水上调到4000,前面一步做好后,需要排出年龄最大的一个,求出每个部门,相同年龄的员工的平均薪水,并得到薪水最高的三个人。
思路:1、投影出年龄(age),部分(dept),薪水(salary)字段
2、查出年龄大于22周岁的员工
3、以年龄倒叙进行排序
4、限制返回7条数据,并跳过一条数据
5、以部门年龄进行分组,并求出平均分
6、以上一步的平均分在进行倒叙排序
7、然后再返回3条数据
代码如下
db.persons.aggregate([ { $project : {age : 1,dept : 1,oldSalary : "$salary",salary : { $switch : { branches : [ { case : { $lte : ["$salary",1000] }, then : {$sum : ["$salary",4000]}} ], default : '$salary' } }} }, { $match : {age : {$gt : 22}} }, { $sort : {age : -1}}, { $limit : 7}, { $skip : 1 }, { $group : { _id : {dept : "$dept",age : "$age"},pers : {$sum : 1} , deptAvgSalary : { $avg : "$salary"} } }, { $sort : {deptAvgSalary : -1}}, { $limit : 3} ]);
运行效果
相关推荐
11、MongoDB聚合操作及索引使用详解_ev.rar11、MongoDB聚合操作及索引使用详解_ev.rar11、MongoDB聚合操作及索引使用详解_ev.rar11、MongoDB聚合操作及索引使用详解_ev.rar11、MongoDB聚合操作及索引使用详解_ev.rar...
mongo聚合框架aggregate使用,管道 $match 过滤数据,只输出符合结果的文档,$limit $skip 限制管道输出的结果个数 和 跳过制定数量的结果,并且返回剩下的结果
本文基于对“MongoDB聚合操作,索引”文档的深入分析,探讨了聚合操作如何优化数据处理流程,以及索引原理在实际应用中如何提升性能。通过具体实例,我们将了解MongoDB聚合框架的使用方法,包括各种聚合管道阶段(如...
本书是一个小册子,简介明确的介绍了Mongodb聚合基本概念和操作,适合数据分析和财务管理人员入门使用,也适合于初学Mongodb的人员使用,字数不多,但是涵盖了Mongodb聚合框架的入门,常用的高级聚合,针对数据分析...
day4:教你学会MongoDB聚合操作 day5:索引的特性及应用 day6:MongoDB实例搭建仓位管理API day7:数据模型优化及设计 day8:复制集介绍及演练 day9:海量数据分片 day10:数据库认证与授权介绍及演练 day11:MongoDB数据库...
上篇文章给大家介绍了Mongodb中MapReduce实现数据聚合方法详解,我们提到过Mongodb中进行数据聚合操作的一种方式——MapReduce,但是在大多数日常使用过程中,我们并不需要使用MapReduce来进行操作。在这边文章中,...
以上两种情况的聚合统计,分别对应与聚合框架中的 $group 操作步骤和 $project 操作步骤。 1.$group 直接看例子吧。 Case 1 测试集合mycol中的数据如下: { title: 'MongoDB Overview', description: 'MongoDB is...
"MongDB数据库操作和面试专题及答案"是一...4. **聚合框架**:学习MongoDB的聚合框架,掌握如何进行复杂的数据聚合和分析操作。 5. **数据建模**:了解MongoDB的数据建模方法,包括文档设计、嵌入式文档、引用等技术。
MongoDB数据库
一、MongoDB 聚合管道(Aggregation Pipeline) 二、MongoDB Aggregation 管道操作符与表达式 三、 数据模拟
mongodb的常用增删改查,投影、排序、统计、消除重复、各种聚合查询、索引、Python操作mongodb
最近接手一个Springboot项目,需要在原项目上增加一些需求,用到了mongodb。下面通过本文给大家分享Sprint Boot 集成MongoDB的操作方法,需要的朋友参考下吧
关于mongodb的高级操作,包括聚合、主从复制、分片、备份与恢复、MR。 一、聚合 aggregate 聚合(aggregate)主要用于计算数据,类似sql中的sum()、avg() 语法: db.集合名称.aggregate([{管道:{表达式}}]) 管道:...
常见的聚合操作跟sql server一样,有:count,distinct,group,mapReduce。 <1> count count是最简单,最容易,也是最常用的聚合工具,它的使用跟我们C#里面的count使用简直一模一样。 <2> distinct 这个操作相信...
主要介绍了MongoDB入门教程之聚合和游标操作介绍,聚合和游标可以说是MongoDB中的高级操作了,需要的朋友可以参考下
1. MongoDB 聚合管道简介 使用聚合管道可以对集合中的文档进行变换和组合,常用于多表关联查询、数据的统计。 db.COLLECTION_NAME.aggregate() 方法用来构建和使用聚合管道,下图是官网给的实例,可以看出来聚合...
MongoDB按照天数或小时聚合 需求 最近接到需求,需要对用户账户下的设备状态,分别按照天以及小时进行聚合,以此为基础绘制设备状态趋势图. 实现思路是启动定时任务,对各用户的设备状态数据分别按照小时以及天进行...
书中介绍了面向文档的存储方式及利用MongoDB的无模式数据模型处理文档、集合和多个数据库,讲述了如何执行基本的写操作以及如何执行各种复杂的条件查询,还介绍了索引、聚合工具以及其他高级查询技术,另外对监控、...