IT编程 > 数据库 > 其他数据库

Win7 Eclipse 搭建spark java1.8(lambda)环境:WordCount helloworld例子

58人参与2019-08-13

[学习笔记]

win7 eclipse 搭建spark java1.8(lambda)环境:wordcount helloworld例子

lambda表达式是java8给我们带来的一个重量的新特性,借用lambda表达式可以让我们的程序设计更加简洁。

package com;
import org.apache.spark.sparkconf;
import org.apache.spark.api.java.javapairrdd;
import org.apache.spark.api.java.javardd;
import org.apache.spark.api.java.javasparkcontext;
import org.apache.spark.api.java.function.voidfunction;
import scala.tuple2;
import java.util.arrays;
import java.util.list;
public class wordcountlambda {
    public static void main(string[] args) {
        sparkconf conf = new sparkconf().setappname("wordcountlambda马克-to-win @ 马克java社区:").setmaster("local");
        javasparkcontext sc = new javasparkcontext(conf);
         javardd<string> lines = sc.textfile("e://temp//input//friend.txt");
         javardd<string> words = lines.flatmap(line -> arrays.aslist(line.split(" ")));
         javapairrdd<string, integer> wordandone = words.maptopair(word -> new tuple2<>(word, 1));
        javapairrdd<string, integer> results = wordandone.reducebykey((x, y) -> x + y);
/* 下面一句也能工作。*/       
 //       reduced.saveastextfile("e://temp//input//friend1.txt");
/*word:o1abc count:4
word:45 count:1
word:77 count:1*/       
        results.foreach(new voidfunction<tuple2<string,integer>>() {
            public void call(tuple2<string, integer> tuple) throws exception {
                system.out.println("word:" + tuple._1 + " count:" + tuple._2);
            }
        });
/*resultspair is (o1abc,4)
resultspair is (45,1)
resultspair is (77,1)*/       
        list<tuple2<string,integer>> resultspairs = results.collect();
        for (tuple2<string, integer> resultspair : resultspairs) {
    

更多请见:

您希望与广大热心网友互动!!点此进行留言回复

相关推荐

Win7 Eclipse 搭建spark java1.8(lambda)环境:WordCount helloworld例子

08-13

Hbase入门(三)——数据模型

09-30

Hive的安装配置

04-10

HDFS基本原理

08-03

python搞搞大数据之hbase——初探

08-21

【风控】非平衡样本问题的定义和解决办法

09-04

spark 机器学习基础 数据类型

04-27

spark 机器学习 决策树 原理(一)

06-14

Spark 的 python 编程环境

06-12

ElasticStack学习(四):ElasticSearch文档的CRUD使用

07-11

最近更新

Hadoop_HDFS_02

12-08

Hadoop_MapReduce_03

12-08

浅谈函数式编程

12-05

ElasticSearch如何一次查询出全部数据——基于Scroll

12-05

spark-3.0 application 调度算法解析

12-04

bayaim——听课笔记_01.Docker基础应用 10课.txt

12-02

oracle性能优化(项目中的一个sql优化的简单记录)

12-01

Hadoop_简介_01

11-30

Linux虚拟机扩容根分区CentOs6.9 VMware14

11-29

Kafka 的No kafka server to stop报错处理

11-27

网友评论

已有0条评论