栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

大数据术语之Linux

大数据术语之Linux

关注点:CPU、内存、磁盘IO、网络IO、磁盘大小
top    查看内存
df -h    查看磁盘存储情况
iotop    查看磁盘IO读写(yum install iotop安装)
iotop -o    直接查看比较高的磁盘读写程序
netstat -tunlp | grep 端口号    查看端口占用情况
uptime    查看报告系统运行时长及平均负载
ps  aux    查看进程
vmstat  查看cpu

wc -l filename  #输出 filename 的行数
wc -c filename  #输出 filename 的字节数
wc -m filename  #输出 filename 的字符数
wc -w filename  #输出 filename 的单词数
wc -L filename  #输出 filename 文件里最长的那一行是多少个字符数


查看文件前n行数据 head -n 数字 文件名
head -n 3 ip_china.csv

查看文件前n行数据 sed -n "开始行,结束行p" 文件名
sed -n '1,3p' ip_china.csv
sed -n '1p' ip_china.csv

从第3000行开始,显示1000行。即显示3000~3999行
cat ip_china.csv| head -n 3000 | tail -n +100

命令基本格式:
awk [optioins] {program} file
简化命令    选项    描述
-F    fs    指定行中划分数据字段的字段分隔符 「* 超高频」
-f    file    从指定的文件中读取程序
-v    var=value    定义awk程序中的一个变量及其默认值
-mf    N    指定要处理的数据文件中的最大字段数
-mr    N    指定数据文件中的最大数据行数
-W    keyword    指定awk的兼容模式或者警告登记

$0 :代表整个文本行
$1:代表文本行中的第一个数据字段(第一列)
$2:代表文本行中的第二个数据字段(第二列)
$n:代表文本行中的第二个数据字段(第n列

# 每行按空格或TAB分割,输出文本中的1、4项
awk -F , '{print $1,$4}' ip_china.csv

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/707731.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号