【精选】实验 RDD编程初级实践 |
您所在的位置:网站首页 › 哈马斯与法塔赫 › 【精选】实验 RDD编程初级实践 |
需求描述
本次实验需要了解到RDD编程的基础知识,明白RDD是Spark的核心概念,它是一个只读的、可分区的分布式数据集,这个数据集可全部或部分缓存在内存中,在多次计算间重用。其中包括RDD的创建、操作API、持久化和分区等。 熟悉Spark的RDD基本操作及键值对操作,然后通过所学的知识熟悉使用RDD编程解决实际具体问题的方法。 实验一,pyspark交互式编程。可到教材官网的“下载专区”的“数据集”中下载chapter4-data1.txt,该数据集包含了某大学计算机系的成绩, 然后根据给定的实验数据,在pyspark中通过编程来计算以下所给出的要求。 实验二,编写独立应用程序实现数据去重。对于两个输入文件A和B,编写Spark独立应用程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新文件C。 实验三,编写独立应用程序实现求平均值问题。每个输入文件表示班级学生某个学科的成绩,每行内容由两个字段组成,第一个是学生名字,第二个是学生的成绩;编写Spark独立应用程序求出所有学生的平均成绩,并输出到一个新文件中。 环境介绍操作系统:Ubuntu16.04 Spark版本:2.4.0 Python版本:3.8.0 数据来源描述可到教程官网的“下载专区”的“数据集”中下载所需要的数据(http://dblab.xmu.edu.cn/post/spark-python/#xiazaizhuanqu),该页面包含了所涉及到数据集。 数据上传及上传结果查看通过filezilla连接ubuntu的IP地址进行传输,在ubuntu系统主文件下载文件夹查看 |
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |
CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭 |