IT编程 > 数据库 > 其他数据库

Spark和Scala当中的collect方法的用法和例子

54人参与2019-08-13

[学习笔记]

collect: 收集一个弹性分布式数据集的所有元素到一个数组中,这样便于我们观察,毕竟分布式数据集比较抽象。spark的collect方法,是action类型的一个算子,会从远程集群拉取数据到driver端。最后,将大量数据
 汇集到一个driver节点上,将数据用数组存放,占用了jvm堆内存,非常用意造成内存溢出,只用作小型数据的观察。*/
    val arr = res.collect();
    println("arr(0) is " + arr(0) + " arr(2) is " + arr(2) + " arr(4) is " + arr(4));
  }
}
输出结果:
map 用法  is 1,16,9,49,25
filter 用法 1,4,3
map2 用法  is 马克-to-win @ 马克java社区:2,5,4,8,6
filter2 用法 马克-to-win @ 马克java社区:4,7,5
arr(0) is 1 arr(2) is 3 arr(4) is 5
sum is 55
reducebykey 用法 (1,8),(3,12)

文章转载自原文:

您希望与广大热心网友互动!!点此进行留言回复

相关推荐

Spark和Scala当中的collect方法的用法和例子

08-13

Cloudera环境搭建

09-21

Win7 Eclipse 搭建spark java1.8(lambda)环境:WordCount helloworld例子

08-13

Hbase入门(三)——数据模型

09-30

Hive的安装配置

04-10

HDFS基本原理

08-03

python搞搞大数据之hbase——初探

08-21

【风控】非平衡样本问题的定义和解决办法

09-04

spark 机器学习基础 数据类型

04-27

spark 机器学习 决策树 原理(一)

06-14

最近更新

Hadoop_HDFS_02

12-08

Hadoop_MapReduce_03

12-08

浅谈函数式编程

12-05

ElasticSearch如何一次查询出全部数据——基于Scroll

12-05

spark-3.0 application 调度算法解析

12-04

bayaim——听课笔记_01.Docker基础应用 10课.txt

12-02

oracle性能优化(项目中的一个sql优化的简单记录)

12-01

Hadoop_简介_01

11-30

Linux虚拟机扩容根分区CentOs6.9 VMware14

11-29

Kafka 的No kafka server to stop报错处理

11-27

网友评论

已有0条评论