IT编程 > 数据库 > 其他数据库

Spark和Scala当中的collect方法的用法和例子

19人参与2019-08-13

[学习笔记]

collect: 收集一个弹性分布式数据集的所有元素到一个数组中,这样便于我们观察,毕竟分布式数据集比较抽象。spark的collect方法,是action类型的一个算子,会从远程集群拉取数据到driver端。最后,将大量数据
 汇集到一个driver节点上,将数据用数组存放,占用了jvm堆内存,非常用意造成内存溢出,只用作小型数据的观察。*/
    val arr = res.collect();
    println("arr(0) is " + arr(0) + " arr(2) is " + arr(2) + " arr(4) is " + arr(4));
  }
}
输出结果:
map 用法  is 1,16,9,49,25
filter 用法 1,4,3
map2 用法  is 马克-to-win @ 马克java社区:2,5,4,8,6
filter2 用法 马克-to-win @ 马克java社区:4,7,5
arr(0) is 1 arr(2) is 3 arr(4) is 5
sum is 55
reducebykey 用法 (1,8),(3,12)

文章转载自原文:

您希望与广大热心网友互动!!点此进行留言回复

相关推荐

Spark和Scala当中的collect方法的用法和例子

08-13

Hive基本操作

08-13

Hbase 教程-安装

04-21

Win7 Eclipse 搭建spark java1.8(lambda)环境:WordCount helloworld例子

08-13

Flink 1.8 Basic API Concepts 基本API概念

08-18

cloudera cdh6.3 离线安装 经典大数据平台视频教程(含网盘下载地址)

08-18

重学计算机组成原理(十)- "烫烫烫"乱码的由来

08-18

重学计算机组成原理(九)- 动态链接

08-18

重学计算机组成原理(八)- 程序的装载

08-18

大数据备忘录———将数据从orcle导入impala中

06-24

最近更新

重学计算机组成原理(八)- 程序的装载

08-18

Flink 1.8 Basic API Concepts 基本API概念

08-18

重学计算机组成原理(九)- 动态链接

08-18

cloudera cdh6.3 离线安装 经典大数据平台视频教程(含网盘下载地址)

08-18

重学计算机组成原理(十)- "烫烫烫"乱码的由来

08-18

java中JDBC是什么?

08-17

ES 27 - Elasticsearch脚本的使用实践

08-16

Spark安装与部署

08-16

重学计算机组成原理(六)- 函数调用怎么突然Stack Overflow了!

08-16

重学计算机组成原理(七)- 程序无法同时在Linux和Windows下运行?

08-16

网友评论

已有0条评论