栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Spark基础学习笔记14:Scala数据结构

Spark基础学习笔记14:Scala数据结构

文章目录

零、本讲学习目标一、数组 (Array)

(一)定长数组

1、数组定义

(1)定义数组时初始化数据(2)定义时指定数组长度,后赋值 2、数组遍历

(1)传统for循环方式(2)增强for循环方式 3、常用方法

(1)求数组中数值总和(2)求数组中的最大值(3)求数组中的最小值(4)对数组进行升序排序(5)对数组进行降序排序 (二)变长数组

1、数组定义2、数组合并3、插入元素4、移除元素 二、列表 (List)

(一)不可变列表

1、创建不可变列表2、给列表添加元素3、列表合并操作4、二维列表 (二)可变列表

1、创建可变列表2、列表合并 三、映射 (Map)

(一)不可变映射

1、创建不可变映射2、遍历不可变映射 (二)可变映射

1、创建可变映射2、修改可变映射3、查询可变映射4、添加元素5、删除元素 四、元组 (Tuple)

(一)定义元组

1、直接赋值定义元组2、创建指定长度的元祖 (二)访问元组(三)迭代元组(四)元组转为字符串 五、集合 (Set)

(一)定义集合(二)增减元素(三)集合方法

1、获取首元素2、获取去首子集合3、两个集合求并集4、两个集合求交集5、求集合的最值 六、课后作业

任务:IP地址去重

零、本讲学习目标
    掌握数组的使用掌握列表的使用掌握映射的使用掌握集合的使用掌握元组的使用

Scala集合(collection)分为可变集合(mutable collection)和不可变集合(immutable collection)。可变集合可以对其中的元素进行修改、添加、移除;而不可变集合永远不会改变,但是仍然可以模拟添加、移除或更新操作。这些操作都会返回一个新的集合,原集合的内容不发生改变。

一、数组 (Array)

Scala中的数组分为定长数组和变长数组,定长数组初始化后不可对数组长度进行修改,而变长数组则可以修改。 (一)定长数组 1、数组定义 (1)定义数组时初始化数据

自动推断数组类型
手动指定数据类型
(2)定义时指定数组长度,后赋值

先定义,后赋值
2、数组遍历

定义数组arr
可以使用for循环对数组进行遍历,输出数组所有的元素 (1)传统for循环方式

通过数组下标来遍历数组元素
(2)增强for循环方式

直接遍历数组元素
3、常用方法

Scala对数组提供了很多常用的方法,使用起来非常方便定义数组arr
(1)求数组中数值总和

调用sum方法
(2)求数组中的最大值

调用max方法
(3)求数组中的最小值

调用min方法
(4)对数组进行升序排序

调用.sorted方法
(5)对数组进行降序排序

调用.sorted.reverse方法
(二)变长数组 1、数组定义

变长数组使用类scala.collection.mutable.ArrayBuffer进行定义定义一个变长Int类型数组arr
利用+=运算符添加数组元素
遍历数组arr
利用-=运算符删除数组元素
数组中有多个值为4的元素,则从前向后删除第一个匹配的元素,本次删除,第一个4被删除了,但是第二4还依然存在。 2、数组合并

Scala支持使用++=符号将两个变长数组进行合并定义两个变长数组arr1和arr2,合并生成变长数组arr3
3、插入元素

使用insert()方法可以在数组指定位置插入一个元素在数组arr的下标为1的位置插入两个元素666
注意:一次插入多个元素是要报错的
4、移除元素

使用remove()方法可以在数组的固定位置移除指定数量的元素从数组arr的下标为1的位置开始移除2元素
如果移除起始位置+删除数量 > 数组长度,那么就会报错
二、列表 (List)

Scala中的列表分为可变列表和不可变列表,默认使用的列表为不可变列表。不可变列表也可以增加元素,但实际上生成了一个新列表,原列表不变。列表元素类型可以相同,也可以不一致。 (一)不可变列表 1、创建不可变列表

创建一个Int类型的列表- nums
创建一个混合类型的列表 - list,元素类型被系统统一为Any
2、给列表添加元素

在列表nums的头部追加一个元素0,生成一个新列表 nums2,列表nums没有变的
-在列表nums的尾部追加一个元素100,生成一个新列表 num3,列表nums没有变的
3、列表合并操作

List也支持合并操作创建两个列表list1和list2,合并生成列表list3
记得以前我们讲过Scala运算符与方法的等价性list1 ++: list2与list1.:++(list2)是等价的list1 :++ list2与list1.++:(list2)是等价的 4、二维列表

列表的列表称为二维列表定义二维列表names
遍历二维列表names
(二)可变列表 1、创建可变列表

可变List需要使用scala.collection.mutable.ListBuffer类创建列表时初始化数据
先创建空列表,然后添加数据
2、列表合并

将列表list1与列表list2合并,list1在前,list2在后
将列表list1与列表list2合并,list2在前,list1在后
注意,哪怕执行list1 :++ list2,依然是list1在前,list2在后
三、映射 (Map)

Scala中的Map也分可变Map和不可变Map,默认为不可变Map。 (一)不可变映射 1、创建不可变映射

创建不可变映射mp,用键->值的形式
创建不可变映射mp,用(键, 值)的形式
注意:Map是抽象类,不能实例化
2、遍历不可变映射

调用mp.keys的foreach实现遍历
利用for循环来实现遍历
(二)可变映射

创建可变Map需要引入类scala.collection.mutable.Map,创建方式与上述不可变Map相同。 1、创建可变映射

创建可变映射mmp
2、修改可变映射

将键02的值改为man(键02存在,执行修改操作)
将键05的值改为belle(键05存在,执行添加操作)
3、查询可变映射

查询键02的值,如果没有查到,则返回-1
查询键08的值,如果没有查到,则返回-1
4、添加元素

查看可变映射当前值
用两种方式添加元素
5、删除元素

删除存在的键 - 07 对应的元素
删除不存在的键 - 11 对应的元素,不报错,映射也没有变化
四、元组 (Tuple)

元组是一个可以存放不同类型对象的集合,元组中的元素不可以修改。 (一)定义元组 1、直接赋值定义元组

定义一个元组t
2、创建指定长度的元祖

定义指定长度的元组,其中Tuple3是一个元组类,代表元组长度为3
目前,Scala支持的元组最大长度为22,即可以使用Tuple1到Tuple22。元组的实际类型取决于元素数量和元素的类型。

(二)访问元组

使用方法_1、_2、_3访问元组的元素,与数组和字符串的位置不同,元组的元素下标从1开始。访问元组的第3个元素
访问元组的第6个元素(不存在的元素),报错
(三)迭代元组

使用元组的productIterator()方法产生全部元素构成的迭代器,然后遍历迭代器
(四)元组转为字符串

使用Tuple.toString()方法可将元组全部元素组合成一个字符串
五、集合 (Set)

Scala Set集合存储的对象不可重复。Set集合分为可变集合和不可变集合,默认情况下,Scala使用的是不可变集合,如果要使用可变集合,就需要引用scala.collection.mutable.Set类。 (一)定义集合

定义一个空的不可变集合set1
定义一个非空的不可变集合set2
(二)增减元素

与列表一样,对于不可变集合进行元素的增加和删除实际上会产生一个新集合,原来的集合并没有改变创建一个不可变集合set
添加一个集合不存在的元素
添加一个集合存在的元素1,集合里始终只有一个1
减去一个存在的元素2
减去一个不存在的元素666
(三)集合方法

创建一个集合cities
1、获取首元素

调用head方法
2、获取去首子集合

调用tail方法
3、两个集合求并集

利用++求两个集合的并集
4、两个集合求交集

利用.&或.intersect()方法求两个集合的交集
5、求集合的最值

利用max和min方法求集合最值
六、课后作业 任务:IP地址去重

在项目根目录创建ips.txt文件创建RemoveRepeatedIPs对象完成去重工作

192.168.234.21
192.168.234.22
192.168.234.21
192.168.234.21
192.168.234.23
192.168.234.21
192.168.234.21
192.168.234.21
192.168.234.25
192.168.234.21
192.168.234.21
192.168.234.26
192.168.234.21
192.168.234.27
192.168.234.21
192.168.234.27
192.168.234.21
192.168.234.29
192.168.234.21
192.168.234.26
192.168.234.21
192.168.234.25
192.168.234.25
192.168.234.21
192.168.234.22
192.168.234.21

运行程序,查看结果

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/758711.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号