如何快速删除Linux文件中的重复数据行 | 您所在的位置:网站首页 › python删除文件中的某一行 › 如何快速删除Linux文件中的重复数据行 |
当前位置:系统之家 > 系统教程 > 删除Linux中文件的重复数据行
如何快速删除Linux文件中的重复数据行
时间:2014-12-26 15:39:10
作者:qipeng
来源:系统之家
1. 扫描二维码随时看资讯
2. 请使用手机浏览器访问:
http://m.xitongzhijia.net/article/33538.html
Linux系统操作中,如果文件中的数据过多,想要删除重复数据行是非常麻烦的,查找不方便,那么有什么方法能够快速删除文件重复数据行呢?下面小编就给大家介绍下如何删除文件重复数据行,一起来看看吧。
一、去掉相邻重复的数据行 代码如下: $cat data1.txt | uniq 输出: beijing wuhan beijing wuhan 二、去掉所有重复的数据行 代码如下: $cat data1.txt | sort | uniq 注: 只有uniq命令的话,只是把相邻的重复的数据行去掉。 如果先 sort 的话,就会把所有重复的数据行变成相邻的数据行,再 uniq 的话,就去掉所有重复的数据行了。 输出: beijing wuhan 附:data1.txt 代码如下: [root@syy ~]# cat data1.txt beijing beijing wuhan wuhan wuhan beijing beijing beijing wuhan wuhan 注:在过滤日志中的IP地址很有用。 Linux下删除大数据文件中部分字段重复的行 最近写的一个数据采集程序生成了一个含有1千多万行数据的文件,数据由4个字段组成,按照要求需要删除第二个字段重复的行,找来找去linux下也没找到合适的工具,sed/gawk等流处理工具只能针对一行一行处理,并无法找到字段重复的行。看来只好自己python一个程序了,突然想起来利用mysql,于是进行乾坤大挪移: 1. 利用mysqlimport --local dbname data.txt导入数据到表中,表名要与文件名一致 2. 执行下列sql语句(要求唯一的字段为uniqfield) 代码如下: use dbname; alter table tablename add rowid int auto_increment not null; create table t select min(rowid) as rowid from tablename group by uniqfield; create table t2 select tablename .* from tablename,t where tablename.rowid= t.rowid;《/p》 《p》drop table tablename; rename table t2 to tablename; 上面就是Linux删除文件重复数据行的方法介绍了,本文介绍了多种情况下删除文件重复数据行的方法,希望对你有所帮助。 标签 文件数据 分享到:Linux下文件I/O操作的相关知识 下一篇 > 如何限制Linux用户的访问权限 相关教程 Win11选专业版还是专业工作站?Win11专业工作... Win10电脑怎么连接打印机 Win10电脑连接打印... Win10系统lol配置够但是fps太低怎么解决 Win11更新后掉帧严重的解决方法 Windows10开机进入桌面黑屏怎么处理?Win10进... Win11通知中心不见了怎么办?Win11通知中心不... Win11蓝屏文件如何查看?Win11蓝屏文件查看的... 怎么删除流氓软件的dll文件?强制删除dll流氓... dll文件已打开删不掉怎么办 怎么删除正在运行... 惠普Win11怎么恢复出厂设置?![]() CentOS系统怎么安装?CentOS Linux详细安装教程 ![]() Linux系统怎么查看电脑的磁盘空间? ![]() UOS系统怎么查找添加连接打印机?UOS系统连接打印机教程 ![]() UOS系统怎么获取root管理员权限? 发表评论共0条 ![]() 评论就这些咯,让大家也知道你的独特见解 立即评论以上留言仅代表用户个人观点,不代表系统之家立场 |
今日新闻 |
推荐新闻 |
专题文章 |
CopyRight 2018-2019 实验室设备网 版权所有 |