单词统计的是统计一个文件中单词出现的次数，比如下面的数据源

其中,最终出现的次数结果应该是下面的显示

那么在MapReduce中该如何编写代码并出现最终结果？

首先我们把文件上传到HDFS中(hdfs dfs –put …)

数据名称：data.txt，大小是size是2G

红黄绿三个块表示的是数据存放的块

然后数据data.txt进入map阶段，会以(KV对)的形式进入，K表示的是：每行首字母相对于文件头的字节偏移量，V表示的是每一行的文本。

那么我可以用图表示：蓝色的椭圆球表示一个map，红黄绿数据块在进入map阶段的时候，数据的形式为左边红色的(KV对)的形式

经过map处理，比如String.split(“”),做一次处理，数据会在不同的红黄绿数据块中变为下面的KV形式

我们在配置Hadoop的时候或设置reduce的数量，假如有两个reduce

Map执行完的数据会放到对应的reduce中，如下图

这个地方有一个简单的原理就是

Job.setNumReduce(2)会设置reduce的数量

而HashPartioner类可以利用 key.hashcode % reduce的结果，将不同的map结果输入到不同的reduce中，比如a-e开头的放到一个地方，e-z开头的放到一个地方，那么

这样的数据结果就会变成

好那么我们此时可以统计了，我开始编写代码

首先我们创建一个wordCount项目，我们创建的项目是maven项目

其中pom的配置部分

我们创建类

继承Mapper(注意注释)

编写代码

同样创建WordCountReducer，编写代码，利用前面的reduce思想理解

创建WordCountDriver类编写代码

导出项目jar

我们启动Hadoop

我们上传数据和jar包

将数据上传到hdfs上

执行下面语句

bin/yarn jar /data/wordCount/wordCount.jar com.xlglvc.xx.mapredece.wordcount_client.WordCountDriver /data.txt /outputwordcount

出了点问题，时间不同步

安装ntpdate工具

yum -y install ntp ntpdate

设置系统时间与网络时间同步

ntpdate cn.pool.ntp.org

然后重新执行，此时我们新选择个目录

bin/yarn jar /data/wordCount/wordCount.jar com.xlglvc.xx.mapredece.wordcount_client.WordCountDriver /data.txt /outputwordcount1

我们去浏览器查询

我们查看最终结果

bin/hdfs dfs -text /outputwordcount1/part-r-00000

出现我们想要的结果，统计完成

Original: https://blog.csdn.net/weixin_34138102/article/details/113312290Author: 比阿千还要可爱Title: pygame 实现打字单词的统计_Java实现单词统计

1.删除/选取某列含有特殊数值的行

import pandas as pd

import numpy as np

a=np.array([[1,2,3],[4,5,6],[7,8,9]])

df1=pd.DataFrame(a,index=[‘row0′,’row1′,’row2’],columns=list(‘ABC’))

print(df1)

df2=df1.copy()

df1=df1[~df1[‘A’].isin([1])]

print(df1)

运行结果：

2.删除/选取某行含有特殊数值的列

cols=[x for i,x in enumerate(df2.columns) if df2.iat[0,i]==3]

print(cols)

df2=df2.drop(cols,axis=1) #利用drop方法将含有特定数值的列删除

print(df2)

运行结果：

3.删除含有空值的行或列

实现思路：利用pandas.DateFrame.fillna对空值赋予特定值，再利用上文介绍的方法找到这些含有特定值的行或列去除即可。

import pandas as pd

import numpy as np

df1 = pd.DataFrame(

[

[np.nan, 2, np.nan, 0],

[3, 4, np.nan, 1],

[np.nan, np.nan, np.nan, 5],

[np.nan, 3, np.nan, 4]

],columns=list(‘ABCD’))

print(df1)

df2=df1.copy()

df1[‘A’]=df1[‘A’].fillna(‘null’) #将df中A列所有空值赋值为’null’

print(df1)

df1=df1[~df1[‘A’].isin([‘null’])]

print(df1)

df2[0:1]=df2[0:1].fillna(‘null’)

print(df2)

cols=[x for i,x in enumerate(df2.columns) if df2.iat[0,i]==’null’]

print(cols)

df2=df2.drop(cols,axis=1)

print(df2)

运行结果：

以上这篇pandas.DataFrame删除/选取含有特定数值的行或列实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持找一找教程网。

Original: https://blog.csdn.net/weixin_35822534/article/details/113507657Author: 7323Title: python删除dataframe特定列_pandas.DataFrame删除/选取含有特定数值的行或列实例

原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/346307/

转载文章受原作者版权保护。转载请注明原作者出处！