IT编程 > 数据库 > 其他数据库

Win7 Eclipse 搭建spark java1.8(lambda)环境:WordCount helloworld例子

19人参与2019-08-13

[学习笔记]

win7 eclipse 搭建spark java1.8(lambda)环境:wordcount helloworld例子

lambda表达式是java8给我们带来的一个重量的新特性,借用lambda表达式可以让我们的程序设计更加简洁。

package com;
import org.apache.spark.sparkconf;
import org.apache.spark.api.java.javapairrdd;
import org.apache.spark.api.java.javardd;
import org.apache.spark.api.java.javasparkcontext;
import org.apache.spark.api.java.function.voidfunction;
import scala.tuple2;
import java.util.arrays;
import java.util.list;
public class wordcountlambda {
    public static void main(string[] args) {
        sparkconf conf = new sparkconf().setappname("wordcountlambda马克-to-win @ 马克java社区:").setmaster("local");
        javasparkcontext sc = new javasparkcontext(conf);
         javardd<string> lines = sc.textfile("e://temp//input//friend.txt");
         javardd<string> words = lines.flatmap(line -> arrays.aslist(line.split(" ")));
         javapairrdd<string, integer> wordandone = words.maptopair(word -> new tuple2<>(word, 1));
        javapairrdd<string, integer> results = wordandone.reducebykey((x, y) -> x + y);
/* 下面一句也能工作。*/       
 //       reduced.saveastextfile("e://temp//input//friend1.txt");
/*word:o1abc count:4
word:45 count:1
word:77 count:1*/       
        results.foreach(new voidfunction<tuple2<string,integer>>() {
            public void call(tuple2<string, integer> tuple) throws exception {
                system.out.println("word:" + tuple._1 + " count:" + tuple._2);
            }
        });
/*resultspair is (o1abc,4)
resultspair is (45,1)
resultspair is (77,1)*/       
        list<tuple2<string,integer>> resultspairs = results.collect();
        for (tuple2<string, integer> resultspair : resultspairs) {
    

更多请见:

您希望与广大热心网友互动!!点此进行留言回复

相关推荐

Win7 Eclipse 搭建spark java1.8(lambda)环境:WordCount helloworld例子

08-13

Hbase 教程-安装

04-21

Flink 1.8 Basic API Concepts 基本API概念

08-18

cloudera cdh6.3 离线安装 经典大数据平台视频教程(含网盘下载地址)

08-18

重学计算机组成原理(十)- &quot;烫烫烫&quot;乱码的由来

08-18

重学计算机组成原理(九)- 动态链接

08-18

重学计算机组成原理(八)- 程序的装载

08-18

大数据备忘录———将数据从orcle导入impala中

06-24

Spark集群的运行流程

02-11

[LTR] RankLib.jar 包介绍

08-03

最近更新

重学计算机组成原理(八)- 程序的装载

08-18

Flink 1.8 Basic API Concepts 基本API概念

08-18

重学计算机组成原理(九)- 动态链接

08-18

cloudera cdh6.3 离线安装 经典大数据平台视频教程(含网盘下载地址)

08-18

重学计算机组成原理(十)- &quot;烫烫烫&quot;乱码的由来

08-18

java中JDBC是什么?

08-17

ES 27 - Elasticsearch脚本的使用实践

08-16

Spark安装与部署

08-16

重学计算机组成原理(六)- 函数调用怎么突然Stack Overflow了!

08-16

重学计算机组成原理(七)- 程序无法同时在Linux和Windows下运行?

08-16

网友评论

已有0条评论