• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • vbs
  • DOS/BAT
  • hta/htc
  • python
  • perl
  • VBA
  • ColdFusion
  • ruby
  • PowerShell
  • Lua
  • Golang
  • linux shell
您的位置:首页 > 脚本语言 >linux shell > shell中删除文件中重复行的方法

shell中删除文件中重复行的方法

作者: 字体:[增加 减小] 来源:互联网

通过本文主要向大家介绍了shell 删除文件,shell ftp 上传文件,shell 删除文件夹,shell读取文件一行,shell文件等相关知识,希望对您有所帮助,也希望大家支持linkedu.com www.linkedu.com

Linux下文本处理工具很丰富很强大,例如这样一个文件:

1.使用uniq/sort删除重复行
注意:单纯uniq是不行的。

这里我做了个简单的测试,当file中的重复行不再一起的时候,uniq没法删除所有的重复行。经过排序后,所有相同的行都在相邻,因此unqi可以正常删除重复行。

2.使用用sort+awk命令
注意:单纯awk同样不行,原因同上。

也可以使用 awk '!i[$1]++' log;

3.用sort+sed命令,同样需要sort命令先排序。
</div>

您可能想查找下面的文章:

  • 详解shell 遍历文件夹内所有文件并打印绝对路径
  • Shell中删除某些文件外所有文件的3个方法
  • linux下采用shell脚本实现批量为指定文件夹下图片添加水印的方法
  • shell中删除文件中重复行的方法

相关文章

  • 把mysql查询结果保存到文件的shell脚本
  • Linux Shell 常见的命令行格式简明总结
  • 查看某时间段到现在的系统日志的sed命令
  • Shell脚本数组用法小结
  • Linux SHELL if命令参数说明
  • linux系统下dd命令的使用方法
  • 一个简洁的全自动安装LNMP服务器环境的Shell脚本分享
  • Centos下查看网卡的实时流量命令
  • linux dev 常见特殊设备介绍与应用(loop,null,zero,full,random)
  • linux生成(加载)动态库静态库和加载示例方法

文章分类

  • vbs
  • DOS/BAT
  • hta/htc
  • python
  • perl
  • VBA
  • ColdFusion
  • ruby
  • PowerShell
  • Lua
  • Golang
  • linux shell

最近更新的内容

    • 总结的7个shell字符串操作方法和实例分享
    • Linux Shell脚本系列教程(二):终端打印命令详解
    • Shell脚本实现上传zip压缩文件到FTP服务器
    • Shell定时删除指定时间之前的文件
    • centos中mysql备份数据库脚本分享
    • Shell实现多级菜单系统安装维护脚本实例分享
    • 什么是Shell?Shell脚本基础知识详细介绍
    • linux shell字符串内置的常用操作(获取长度、查找、替换)
    • Shell脚本中获取本机ip地址的3个方法
    • Linux Shell 常见的命令行格式简明总结

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有