MySQL笔记:第08章_聚合函数 第08章_聚合函数
什么是聚合函数 聚合函数作用于一组数据,并对一组数据返回一个值。聚合函数类型
AVG()
SUM()
MAX()
MIN()
COUNT()
聚合函数语法
1.1 AVG和SUM函数 可以对数值型数据使用AVG 和 SUM 函数。
1 2 3 4 5 6 7 8 SELECT AVG (salary), MAX (salary),MIN (salary), SUM (salary) FROM employees WHERE job_id LIKE '%REP%' ;
1.2 MIN和MAX函数 可以对任意数据类型的数据使用 MIN 和 MAX 函数。
1 2 3 4 5 6 7 8 9 SELECT MIN (hire_date), MAX (hire_date)FROM employees;
1.3 COUNT函数
COUNT(*)返回表中记录总数,适用于任意数据类型。
1 2 3 4 5 6 7 8 9 10 SELECT COUNT (* )FROM employeesWHERE department_id = 50 ;
COUNT(expr) 返回expr不为空的记录总数。
1 2 3 4 5 6 7 8 9 10 SELECT COUNT (commission_pct)FROM employeesWHERE department_id = 50 ;
问题:用count( * ),count(1),count(列名)谁好呢? 其实,对于MyISAM引擎的表是没有区别的。这种引擎内部有一计数器在维护着行数。
Innodb引擎的表用count(* ),count(1)直接读行数,复杂度是O(n),因为innodb真的要去数一遍。但好于具体的count(列名)。
问题:能不能使用count(列名)替换count( * )? 不要使用 count(列名)来替代 count(* ) , count(* ) 是 SQL92 定义的标准统计行数的语法,跟数据库无关,跟 NULL 和非 NULL 无关。 说明:count(* )会统计值为 NULL 的行,而 count(列名)不会统计此列为 NULL 值的行。
演示代码 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 #1. 常见的几个聚合函数 #1.1 AVG / SUM :只适用于数值类型的字段(或变量) SELECT AVG (salary),SUM (salary),AVG (salary) * 107 FROM employees;#如下的操作没有意义 SELECT SUM (last_name),AVG (last_name),SUM (hire_date)FROM employees;#1.2 MAX / MIN :适用于数值类型、字符串类型、日期时间类型的字段(或变量) SELECT MAX (salary),MIN (salary)FROM employees;SELECT MAX (last_name),MIN (last_name),MAX (hire_date),MIN (hire_date)FROM employees;#1.3 COUNT: # ① 作用:计算指定字段在查询结构中出现的个数(不包含NULL 值的) SELECT COUNT (employee_id),COUNT (salary),COUNT (2 * salary),COUNT (1 ),COUNT (2 ),COUNT (* )FROM employees ;SELECT * FROM employees;#如果计算表中有多少条记录,如何实现? #方式1 :COUNT (* ) #方式2 :COUNT (1 ) #方式3 :COUNT (具体字段) : 不一定对! #② 注意:计算指定字段出现的个数时,是不计算NULL 值的。 SELECT COUNT (commission_pct)#COUNT (具体字段)FROM employees;SELECT commission_pct#具体字段FROM employeesWHERE commission_pct IS NOT NULL ;#③ 公式:AVG = SUM / COUNT(有没有空值都成立) SELECT AVG (salary),SUM (salary)/ COUNT (salary),AVG (commission_pct),SUM (commission_pct)/ COUNT (commission_pct),SUM (commission_pct) / 107 FROM employees;#需求:查询公司中平均奖金率 #错误的! SELECT AVG (commission_pct)FROM employees;#SUM也不考虑空值NULL #正确的: SELECT SUM (commission_pct) / COUNT (IFNULL(commission_pct,0 )),#等同于COUNT (IFNULL(commission_pct,1 / 2 / 3 / 4 / ))AVG (IFNULL(commission_pct,0 ))FROM employees;# 如何需要统计表中的记录数,使用COUNT (* )、COUNT (1 )\COUNT (常数)、COUNT (具体字段) 哪个效率更高呢? # 如果使用的是MyISAM 存储引擎,则三者效率相同,时间复杂度都是O(1 ) # 如果使用的是InnoDB 存储引擎,则三者效率:COUNT (* ) = COUNT (1 )> COUNT (字段)
2. GROUP BY 2.1 基本使用 可以使用GROUP BY子句将表中的数据分成若干组
1 2 3 4 5 SELECT column , group_function(column )FROM table [WHERE condition ] [GROUP BY group_by_expression] [ORDER BY column ];
明确:WHERE一定放在FROM后面
在SELECT列表中所有未包含在组函数中的列都应该包含在 GROUP BY子句中
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 SELECT department_id, AVG (salary)FROM employeesGROUP BY department_id ;
包含在 GROUP BY 子句中的列不必包含在SELECT 列表中
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 SELECT AVG (salary) FROM employees GROUP BY department_id ;
2.2 使用多个列分组
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 SELECT department_id dept_id, job_id, SUM (salary)FROM employeesGROUP BY department_id, job_id ;
使用 WITH ROLLUP 关键字之后,在所有查询出的分组记录之后增加一条记录,该记录计算查询出的所有记录的总和,即统计记录数量。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 SELECT department_id,AVG (salary)FROM employeesWHERE department_id > 80 GROUP BY department_id WITH ROLLUP ;
注意: 当使用ROLLUP时,不能同时使用ORDER BY子句进行结果排序,即ROLLUP和ORDER BY是互相排斥的。
演示代码 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 #其他:方差、标准差、中位数 #2. GROUP BY 的使用 #需求:查询各个部门的平均工资,最高工资 SELECT department_id,AVG (salary),SUM (salary)FROM employeesGROUP BY department_id#需求:查询各个job_id的平均工资 SELECT job_id,AVG (salary)FROM employeesGROUP BY job_id;#需求:查询各个department_id,job_id的平均工资 #方式1 : SELECT department_id,job_id,AVG (salary)FROM employeesGROUP BY department_id,job_id;#方式2 : 方式1 和方式2 其实是一样的(都按job_id,department_id分组) SELECT job_id,department_id,AVG (salary)FROM employeesGROUP BY job_id,department_id;#错误的! #AVG (salary)中的salary出现在组函数中,没有错 SELECT department_id,job_id,AVG (salary)FROM employeesGROUP BY department_id;#只按department_id分组Oracle中报错#由上面错误引出的结论: #结论1 :SELECT 中出现的非组函数的字段必须声明在GROUP BY 中。 # 反之,GROUP BY 中声明的字段可以不出现在SELECT 中。 #结论2 :GROUP BY 声明在FROM 后面、WHERE 后面,ORDER BY 前面、LIMIT前面 #结论3 :MySQL中GROUP BY 中可使用WITH ROLLUP #WITH ROLLUP 举例: #WITH ROLLUP :分完组后,在末尾添加整体的组函数结果 #如下面例子中,在末尾添加所有员工的AVG (salary) 6461.682243 SELECT department_id,AVG (salary)FROM employeesGROUP BY department_id WITH ROLLUP ;#需求A:查询各个部门的平均工资,按照平均工资升序排列 SELECT department_id,AVG (salary) avg_salFROM employeesGROUP BY department_idORDER BY avg_sal ASC ;#接着需求A引出以下说明: #说明:当使用ROLLUP 时,不能同时使用ORDER BY 子句进行结果排序,即ROLLUP 和ORDER BY 是互相排斥的。 #错误的: SELECT department_id,AVG (salary) avg_salFROM employeesGROUP BY department_id WITH ROLLUP ORDER BY avg_sal ASC ;
3. HAVING 3.1 基本使用 过滤分组:HAVING子句
行已经被分组。
使用了聚合函数。
满足HAVING 子句中条件的分组将被显示。
HAVING 不能单独使用,必须要跟 GROUP BY 一起使用。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 SELECT department_id, MAX (salary)FROM employeesGROUP BY department_idHAVING MAX (salary)> 10000 ;
非法使用聚合函数 : 不能在 WHERE 子句中使用聚合函数。如下:
1 2 3 4 5 6 SELECT department_id, AVG (salary)FROM employeesWHERE AVG (salary) > 8000 GROUP BY department_id;#报错: #ERROR 1111 (HY000): Invalid use of group function
3.2 WHERE和HAVING的对比 区别1: WHERE 可以直接使用表中的字段作为筛选条件,但不能使用分组中的计算函数作为筛选条件;HAVING 必须要与 GROUP BY 配合使用,可以把分组计算的函数和分组字段作为筛选条件。
这决定了,在需要对数据进行分组统计的时候,HAVING 可以完成 WHERE 不能完成的任务。这是因为,在查询语法结构中,WHERE 在 GROUP BY 之前,所以无法对分组结果进行筛选。HAVING 在 GROUP BY 之后,可以使用分组字段和分组中的计算函数,对分组的结果集进行筛选,这个功能是 WHERE 无法完成的。另外,WHERE排除的记录不再包括在分组中。
**区别2:**如果需要通过连接从关联表中获取需要的数据,WHERE 是先筛选后连接,而 HAVING 是先连接 后筛选。
这一点,就决定了在关联查询 中,WHERE 比 HAVING 更高效。因为 WHERE 可以先筛选,用一个筛选后的较小数据集和关联表进行连接,这样占用的资源比较少,执行效率也比较高。HAVING 则需要先把结果集准备好,也就是用未被筛选的数据集进行关联,然后对这个大的数据集进行筛选,这样占用的资源就比较多,执行效率也较低。
小结如下:
.
优点
缺点
WHERE
先筛选数据再关联,执行效率高
不能使用分组中的计算函数进行筛选
HAVING
可以使用分组中的计算函数
在最后的结果集中进行筛选,执行效率较低
开发中的选择: WHERE 和 HAVING 也不是互相排斥的,可以在一个查询里面同时使用 WHERE 和 HAVING。包含分组统计函数的条件用 HAVING,普通条件用 WHERE。这样就既利用了 WHERE 条件的高效快速,又发挥了 HAVING 可以使用包含分组统计函数的查询条件的优点。当数据量特别大的时候,运行效率会有很大的差别。
演示代码 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 #3. HAVING 的使用 (作用:用来过滤数据的)WHERE 也是用于过滤 #练习:查询各个部门中最高工资比10000 高的部门信息 #错误的写法: SELECT department_id,MAX (salary)FROM employeesWHERE MAX (salary) > 10000 #WHERE 声明在FROM 后GROUP BY department_id;#要求1 :如果过滤条件中使用了聚合函数,则必须使用HAVING 来替换WHERE 。否则,报错。 #要求2 :HAVING 必须声明在 GROUP BY 的后面。 #正确的写法: SELECT department_id,MAX (salary)FROM employeesGROUP BY department_idHAVING MAX (salary) > 10000 ;#要求3 :开发中,我们使用HAVING 的前提是SQL 中使用了GROUP BY 。 #练习:查询部门id为10 ,20 ,30 ,40 这4 个部门中最高工资比10000 高的部门信息 #方式1 :推荐,执行效率高于方式2. SELECT department_id,MAX (salary)FROM employeesWHERE department_id IN (10 ,20 ,30 ,40 )GROUP BY department_idHAVING MAX (salary) > 10000 ;#方式2 : SELECT department_id,MAX (salary)FROM employeesGROUP BY department_idHAVING MAX (salary) > 10000 AND department_id IN (10 ,20 ,30 ,40 );#结论:当过滤条件中有聚合函数时,则此过滤条件必须声明在HAVING 中。 # 当过滤条件中没有聚合函数时,则此过滤条件声明在WHERE 中或HAVING 中都可以。但是,建议大家声明在WHERE 中。
4. SELECT的执行过程 4.1 查询的结构 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 #方式1 : SELECT ...,....,...FROM ...,...,....WHERE 多表的连接条件AND 不包含组函数的过滤条件GROUP BY ...,...HAVING 包含组函数的过滤条件ORDER BY ... ASC / DESC LIMIT ...,... #方式2 : SELECT ...,....,...FROM ... JOIN ...ON 多表的连接条件JOIN ...ON ...WHERE 不包含组函数的过滤条件AND / OR 不包含组函数的过滤条件GROUP BY ...,...HAVING 包含组函数的过滤条件ORDER BY ... ASC / DESC LIMIT ...,... #其中: #(1 )from :从哪些表中筛选 #(2 )on :关联多表查询时,去除笛卡尔积 #(3 )where :从表中筛选的条件 #(4 )group by :分组依据 #(5 )having :在统计结果中再次筛选 #(6 )order by :排序 #(7 )limit:分页
4.2 SELECT执行顺序 需要记住 SELECT 查询时的两个顺序:
关键字的顺序是不能颠倒的:
1 2 SELECT ... FROM ... WHERE ... GROUP BY ... HAVING ... ORDER BY ... LIMIT...
SELECT 语句的执行顺序(在 MySQL 和 Oracle 中,SELECT 执行顺序基本相同):
1 2 FROM - > WHERE - > GROUP BY - > HAVING - > SELECT 的字段 - > DISTINCT - > ORDER BY - > LIMIT
比如写了一个 SQL 语句,那么它的关键字顺序和执行顺序是下面这样的:
1 2 3 4 5 6 7 SELECT DISTINCT player_id, player_name, count (* ) as num # 顺序 5 FROM player JOIN team ON player.team_id = team.team_id # 顺序 1 WHERE height > 1.80 # 顺序 2 GROUP BY player.team_id # 顺序 3 HAVING num > 2 # 顺序 4 ORDER BY num DESC # 顺序 6 LIMIT 2 # 顺序 7
在 SELECT 语句执行这些步骤的时候,每个步骤都会产生一个 虚拟表 ,然后将这个虚拟表传入下一个步骤中作为输入。需要注意的是,这些步骤隐含在 SQL 的执行过程中,对于我们来说是不可见的。
4.3 SQL 的执行原理 SELECT 是先执行 FROM 这一步的。在这个阶段,如果是多张表联查,还会经历下面的几个步骤:
首先先通过 CROSS JOIN 求笛卡尔积,相当于得到虚拟表 vt(virtual table)1-1;
通过 ON 进行筛选,在虚拟表 vt1-1 的基础上进行筛选,得到虚拟表 vt1-2;
添加外部行。如果我们使用的是左连接、右链接或者全连接,就会涉及到外部行,也就是在虚拟表 vt1-2 的基础上增加外部行,得到虚拟表 vt1-3。
当然如果我们操作的是两张以上的表,还会重复上面的步骤,直到所有表都被处理完为止。这个过程得到是我们的原始数据。
当我们拿到了查询数据表的原始数据,也就是最终的虚拟表 vt1 ,就可以在此基础上再进行 WHERE 阶段 。在这个阶段中,会根据 vt1 表的结果进行筛选过滤,得到虚拟表 vt2 。
然后进入第三步和第四步,也就是 GROUP 和 HAVING 阶段 。在这个阶段中,实际上是在虚拟表 vt2 的基础上进行分组和分组过滤,得到中间的虚拟表 vt3 和 vt4 。
当我们完成了条件筛选部分之后,就可以筛选表中提取的字段,也就是进入到 SELECT 和 DISTINCT 阶段。
首先在 SELECT 阶段会提取想要的字段,然后在 DISTINCT 阶段过滤掉重复的行,分别得到中间的虚拟表 vt5-1 和 vt5-2 。
当我们提取了想要的字段数据之后,就可以按照指定的字段进行排序,也就是 ORDER BY 阶段 ,得到虚拟表 vt6 。
最后在 vt6 的基础上,取出指定行的记录,也就是 LIMIT 阶段 ,得到最终的结果,对应的是虚拟表vt7 。
当然在写 SELECT 语句的时候,不一定存在所有的关键字,相应的阶段就会省略。同时因为 SQL 是一门类似英语的结构化查询语言,所以我们在写 SELECT 语句的时候,还要注意相应的关键字顺序,所谓底层运行的原理,就是我们刚才讲到的执行顺序。
演示代码 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 #4. SQL 底层执行原理 #4.1 SELECT 语句的完整结构 #4.2 SQL 语句的执行过程: #FROM ...,...- > ON - > (LEFT / RIGNT JOIN ) - > WHERE - > GROUP BY - > HAVING - > SELECT - > DISTINCT - > # ORDER BY - > LIMIT
课后练习 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 # 第08 章_聚合函数的课后练习 #1. where 子句可否使用组函数进行过滤? No ! #2. 查询公司员工工资的最大值,最小值,平均值,总和 SELECT MAX (salary) max_sal ,MIN (salary) mim_sal,AVG (salary) avg_sal,SUM (salary) sum_salFROM employees;#3. 查询各job_id的员工工资的最大值,最小值,平均值,总和 SELECT job_id,MAX (salary),MIN (salary),AVG (salary),SUM (salary)FROM employeesGROUP BY job_id;#4. 选择具有各个job_id的员工人数 SELECT job_id,COUNT (* )FROM employeesGROUP BY job_id;# 5. 查询员工最高工资和最低工资的差距(DIFFERENCE) #DATEDIFF SELECT MAX (salary) - MIN (salary) "DIFFERENCE"FROM employees;# 6. 查询各个管理者手下员工的最低工资,其中最低工资不能低于6000 ,没有管理者的员工不计算在内 SELECT manager_id,MIN (salary)FROM employeesWHERE manager_id IS NOT NULL GROUP BY manager_idHAVING MIN (salary) >= 6000 ;# 7. 查询所有部门的名字,location_id,员工数量和平均工资,并按平均工资降序 SELECT department_name, location_id, COUNT (employee_id), AVG (salary) avg_salFROM employees e RIGHT JOIN departments dON e.`department_id` = d.`department_id`GROUP BY department_name, location_idORDER BY avg_sal DESC ;# 8. 查询每个工种、每个部门的部门名、工种名和最低工资 SELECT d.department_name,e.job_id,MIN (salary)FROM departments d LEFT JOIN employees eON d.`department_id` = e.`department_id`GROUP BY department_name,job_id;