栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

大数据常用技术梳理

大数据常用技术梳理

大数据的就业方向:

大数据开发常接触到的技术、工具等

大数据应用流程中每个环节相关的技术介绍

数据分层

大数据常用技术梳理
名称内容
Linuxl基本命令:cd、ll、ls、pwd、cp、
shell基本命令:cd、ll、ls、pwd、cp、
python怎么连接数据库,完成基本的增、删、改、查
python读取文件和向文件中写数据
shell中怎么调用python、调用python脚本时怎么传递参数
hadoophadoop常用命令梳理
hadoop fs -ls 等等
hiveshell中怎么调用hive,调用hive传递参数
hive常见的建表语句
impalashell中怎么调用impala,调用impala传递参数
sqoopsqoop工具的使用

集群上各种软件安装

软件名称软件版本下载地址安装教程链接地址
jdk1.8
mysql5.7
hadoop2.7
hive
sqoop
spark
一、Shell语言 1.Shell语言

Shell 是一个用 C 语言编写的程序,它是用户使用 Linux 的桥梁。
Shell 既是一种命令语言,又是一种程序设计语言。

2.Shell脚本

Shell 脚本(shell script),是一种为 shell 编写的脚本程序,一般文件后缀为 .sh。
业界所说的 shell 通常都是指 shell 脚本,但 shell 和 shell script 是两个不同的概念。

3.Shell环境

Shell 编程跟 java、php、python 编程一样,只要有一个能编写代码的文本编辑器和一个能解释执行的脚本解释器就可以了。
Shell 的解释器种类众多,常见的有:
sh - 即 Bourne Shell。sh 是 Unix 标准默认的 shell。
bash - 即 Bourne Again Shell。bash 是 Linux 标准默认的 shell。
fish - 智能和用户友好的命令行 shell。
xiki - 使 shell 控制台更友好,更强大。
zsh - 功能强大的 shell 与脚本语言。
本教程关注的是 Bash,也就是 Bourne Again Shell,由于易用和免费,Bash 在日常工作中被广泛使用。同时,Bash 也是大多数Linux 系统默认的 Shell。
在一般情况下,人们并不区分 Bourne Shell 和 Bourne Again Shell,所以,像 #!/bin/sh,它同样也可以改为 #!/bin/bash。
#! 告诉系统其后路径所指定的程序即是解释此脚本文件的 Shell 程序。

4.指定脚本解释器

在 shell 脚本,#! 告诉系统其后路径所指定的程序即是解释此脚本文件的 Shell 解释器。#! 被称作shebang(也称为 Hashbang )。
所以,你应该会在 shell 中,见到诸如以下的注释:
指定 sh 解释器

#!/bin/sh

指定 bash 解释器

#!/bin/bash
5.echo

echo 用于字符串的输出。类似于Java或者python中的print()

echo -e "Hello World!"
6.注释

注释可以说明你的代码是什么作用,以及为什么这样写。
shell 语法中,注释是特殊的语句,会被 shell 解释器忽略。
单行注释 - 以 # 开头,到行尾结束。
多行注释 - 以 :<

# '这是单行注释'

:< 
7.第一个shell脚本 
echo  "Hello World!"
8.shell脚本的执行

在当前目录下执行

sh xxx.sh

在其他路径下执行

sh xxx.sh
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/680398.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号