md5sum sha1sum
生成校验字符串
md5sum filename
将生成的校验字符串重定向到文件
md5sum file2 file2 fileSum.md5
校验数据的完整性
md5sum -c fileSum.md5
用所有的文件来检验所有的文件
md5sum *.md5
md5sum sha1sum执行过程一样
对目录进行校验和
md5deep -rl directory_path > directory.md5
-rf -r 递归的方式 -l 使用相对路径
结合find递归计算校验和
find directory_path -type f -print0 | xargs -0 md5sum >> directory.md5
用
md5sum -c directory.md5
进行核实
排序，单一和重复sort file1.txt file2.txt … > sorted.txt
或者
sort file1.txt file2.txt … -o sorted.txt
将文件中的内容按行比较大小 输出到目标文件
cat sorted.txt | uniq > uniq.txt
找出sorted.txt中的不重复文件重定义到目标文件
按照数字进行排序
sort -n file.txt
5.txt内容
按逆序进行排序
sort -f file.txt
按月份进行排序
sort -M months.txt
检测一个文件是否排序过
#!/bin/bash
sort -C file;
if [ $? -eq 0 ];then
echo Sorted;
else
echo UnSort;
fi
要检查是否按数据进行排序，应该使用sort -nC
合并两个排过序的文件 ，并且不需要对合并文件进行再排序
sort -m sort1 sort2
依照键或列进行排序
sort -nrk 1 data.txt
-nr表明按照数字 采用逆序进行排序
sort -k 2 data.txt
依据第二列进行排序
键指的文本文件中的列
uniq(unique)
作用：用来消除重复内容 只能用于排过序的数据输入
uniq sorted.txt
sort unsorted.txt | uniq
or
sort -u unsorted.txt
只显示唯一的行
uniq -u sorted.txt
or
sort unsorted.txt | uniq -u
统计各行出现的次数
sort unsorted.txt | uniq -c
找出文中重复的行
sort unsorted.txt | uniq -d
sort unsort.txt | uniq -s 2 -w 2
-s n (或略前n个字符) -w n（比较的字符数）
uniq -z file.txt | xargs -0 rm
删除从file.txt读出的所有文件
-z包含终止符的输出
