linuxsir首页 LinuxSir.Org | Linux、BSD、Solaris、Unix | 开源传万世,因有我参与欢迎您!
网站首页 | 设为首页 | 加入收藏
您所在的位置:主页 > Linux基础建设 >

MySQL处理重复数据实例分析

时间:2019-05-22  来源:未知  作者:admin666

MySQL限制数据重复的方式:表上增加主键(Primary Key)或增加唯一性索引(Unique)

主键对重复资料进行限制,这样资料在导入时就无法重复插入

create table primary_t(
last_name varchar(20),
first_name varchar(20),
sex varchar(8),
primary key(last_name,first_name)
)engine=innodb default charset=utf8;



show table status like 'primary_t'\G

show index from primary_t\G


模拟插入两笔有主键约束的资料
insert into primary_t(last_name,first_name,sex) values('Frank','Li','Man'),('Frank','Li','Man'),('Coco','Li','Woman');

ERROR 1062 (23000): Duplicate entry 'Frank-Li' for key 'PRIMARY'


insert into primary_t(last_name,first_name,sex) values('Frank','Li','Man'),('Frank','Cai','Man'),('Coco','Li','Woman');

mysql> select * from primary_t;
+-----------+------------+-------+
| last_name | first_name | sex   |
+-----------+------------+-------+
| Coco      | Li         | Woman |
| Frank     | Cai        | Man   |
| Frank     | Li         | Man   |
+-----------+------------+-------+
rows in set (0.00 sec)

唯一性索引对复制资料进行限制

create table unique_t(
last_name varchar(20),
first_name varchar(20),
sex varchar(8),
unique index  unique_name(last_name,first_name)
)engine=innodb default charset=utf8;

show table status like 'unique_t'\G

show index from unique_t\G


模拟插入两笔有唯一性约束的资料
insert into unique_t(last_name,first_name,sex) values('Frank','Li','Man'),('Frank','Li','Man'),('Coco','Li','Woman');

ERROR 1062 (23000): Duplicate entry 'Frank-Li' for key 'unique_name'


insert into unique_t(last_name,first_name,sex) values('Frank','Li','Man'),('Frank','Cai','Man'),('Coco','Li','Woman');
mysql> select * from unique_t;
+-----------+------------+-------+
| last_name | first_name | sex   |
+-----------+------------+-------+
| Frank     | Li         | Man   |
| Frank     | Cai        | Man   |
| Coco      | Li         | Woman |
+-----------+------------+-------+
rows in set (0.00 sec)

对资料的统计

create table count_t(
last_name varchar(20),
first_name varchar(20),
sex varchar(8)
)engine=innodb default charset=utf8;

insert into count_t values('Frank','A','Man'),
('Frank','B','Man'),
('Frank','C','Woman'),
('Frank','D','Man'),
('Frank','E','Man'),
('Frank','F','Woman'),
('Frank','G','Man'),
('Frank','H','Man'),
('Frank','I','Woman'),
('Coco','A','Woman'),
('Coco','B','Man'),
('Coco','C','Man'),
('Coco','D','Man'),
('Coco','E','Man'),
('Coco','F','Man'),
('Coco','G','Woman'),
('Coco','H','Woman'),
('Alex','B','Man'),
('ALex','C','Man'),
('ALex','D','Man'),
('Alex','E','Man'),
('ALex','F','Man'),
('ALex','G','Woman'),
('ALex','H','Woman')
;

commit;

按各个列进行分组统计
select last_name,count(*) from count_t group by last_name;


select first_name,count(*) from count_t group by first_name;


select sex,count(*) from count_t group by sex;


mysql> select last_name,count(*) from count_t group by last_name;
+-----------+----------+
| last_name | count(*) |
+-----------+----------+
| Alex      |        7 |
| Coco      |        8 |
| Frank     |        9 |
+-----------+----------+
rows in set (0.00 sec)


mysql> select first_name,count(*) from count_t group by first_name;
+------------+----------+
| first_name | count(*) |
+------------+----------+
| A          |        2 |
| B          |        3 |
| C          |        3 |
| D          |        3 |
| E          |        3 |
| F          |        3 |
| G          |        3 |
| H          |        3 |
| I          |        1 |
+------------+----------+
rows in set (0.00 sec)


mysql> select sex,count(*) from count_t group by sex;
+-------+----------+
| sex   | count(*) |
+-------+----------+
| Man   |       16 |
| Woman |        8 |
+-------+----------+
rows in set (0.00 sec)


对分组的统计在进行限定,having 大于等于8次的记录
select last_name ,count(*) from count_t group by last_name having count(*) >=8;

mysql> select last_name ,count(*) from count_t group by last_name having count(*) >=8;
+-----------+----------+
| last_name | count(*) |
+-----------+----------+
| Coco      |        8 |
| Frank     |        9 |
+-----------+----------+
rows in set (0.00 sec)

对资料进行去重操作,主要使用distinct函数

select distinct last_name from count_t;
select distinct first_name from count_t;
select distinct sex from count_t;

对已有资料的表进行去重操作

insert into count_t values('Xi','Xi','Man'),('Xi','Xi','Man');


增加主键约束,加入ignore,忽悠重复的资料

alter ignore table count_t
add primary key(last_name,first_name);

select * from count_t where last_name='Xi';



mysql> alter ignore table count_t
    -> add primary key(last_name,first_name);
Query OK, 26 rows affected (0.01 sec)
Records: 26  Duplicates: 1  Warnings: 0

mysql> select * from count_t where last_name='Xi';
+-----------+------------+------+
| last_name | first_name | sex  |
+-----------+------------+------+
| Xi        | Xi         | Man  |
+-----------+------------+------+
row in set (0.00 sec)


使用group by方式也可去除重复资料

create table count_t0 as select last_name,first_name,sex from count_t group by last_name,first_name,sex;

Linux公社的RSS地址:https://www.linuxidc.com/rssFeed.aspx

上一篇:没有了
友情链接
  • 思科报告Nexus 9000数据中心交换机,PI软件和EPN管理器中的严重
  • Google AI工程师介绍Translatotron,一种端到端的直接语音翻译模
  • SMPlayer 19.5.0发布,如何在Ubuntu中安装它
  • Racket 7.3 发布,改进了Racket
  • 使用Linux操作系统的网络安全:您需要知道的一切
  • V8 7.5 Beta 发布,WebAssembly隐式缓存
  • Wine 4.0.1 发布,44个修复
  • CentOS 7 下安装 Docker 及操作命令
  • 开发人员辩论是否为Fedora 31阻止基于密码的Root SSH登录
  • 微软开源基于近邻图的最近邻搜索算法SPTAG
  • Mozilla,Cloudflare和其他人建议使用BinaryAST以加快JavaScript
  • 如何在Mozilla Firefox中获得扩展建议
  • 如何使用Linux Sleep命令暂停Bash脚本
  • Linux新建用户配置文件 /etc/login.defs 详解
  • GCC 10支持使用SSE指令模拟MMX
  • Atom 1.37 发布,跨平台文本编辑器
  • 启用Windows10的Linux子系统并安装图形界面
  • KDE Plasma 5.16 beta发布,许多增强功能
  • Linux useradd命令添加新用户图文详解
  • VirtualBox 6.0.8 发布,Linux Kernel 3.16.35与共享文件夹一起
  • Cobbler自动化安装部署操作系统
  • Microsoft开源VS Code扩展Web Template Studio,可轻松创建全栈W
  • 英特尔的Clear Linux OS为Linux开发人员提供量身定制的工作流程
  • 如何使用Hyper-V在Windows 10上创建Ubuntu虚拟机
  • 深入理解HTTP 响应的分块传输
  • NotePad++ 正则表达式替换高级用法
  • Apple发布了iOS 12.4,macOS 10.14.6,watchOS 5.3和tvOS 12.4的
  • Linux 系统中 /etc/passwd 和 /etc/shadow文件详解
  • Windows 10安装Linux子系统(WSL)时遇到的问题及解决
  • 针对Linux 5.1内核更新的MuQSS补丁
  • NVIDIA 430.14 Linux驱动程序发布,Vulkan性能优化
  • Linux 定时任务 crontab 和 Systemd Timer 详解
  • SwiftWasm
  • Linux 桌面年是否终于到来了?
  • Oracle 中的SELECT 关键字(查询、检索)
  • IWD 0.18 发布,无线守护进程
  • Ubuntu 16.04下安装MatlabR 2017b图文详解(附完整安装包)
  • MongoDB Oplog深入理解
  • Oracle 11g 起停RAC中单个节点
  • Bash Shell字符串比较入门
  • Google和Collabora为Chrome OS设备的Linux 5.1内核进行重大更改
  • Vulkan 1.1.108 发布,两个新的扩展
  • Linux Lite用户第一个尝试Linux Kernel 5.1,以下是如何安装它
  • MySQL 中的日期时间类型
  • MongoDB 副本集搭建与管理详解
  • Oracle 12c DG库trace目录增长过快解决方案
  • Ubuntu 18.04.2下编译安装OpenCV 3.4.0 过程
  • Mozilla开源语音收集计划Common Voice,正式支持汉语普通话
  • 捕鱼1000炮
  • 网易彩票网
  • 快三平台
  • pk10盛兴开奖直播
  • 梭哈平台