数据采集与清洗基础习题（四）Pandas初体验，头歌参考答案 |
您所在的位置：网站首页 › 数据清洗例题分析报告 › 数据采集与清洗基础习题（四）Pandas初体验，头歌参考答案 |
数据采集与清洗基础习题（四）Pandas初体验，头歌参考答案
|
数据采集习题参考答案，会持续更新，点个关注防丢失。 创作不易，一键三连给博主一个支持呗。 为了方便查找，已按照头歌重新排版，朋友们按照头歌所属门类查找实训哦，该篇为Pandas。 文章目录 实训一：Pandas初体验 第一关：了解数据处理对象--Series 编程要求 Pandas中的数据结构 第一关答案 第二关：了解数据处理对象-DataFrame 编程要求 相关知识 第二关答案 第三关：读取CSV格式数据 编程要求 相关知识 第三关答案 第四关：数据的基本操作——排序 编程要求 相关知识 第四关答案 第五关：数据的基本操作——删除 编程要求 相关知识 第五关答案 第六关：数据的基本操作——算术运算 编程要求 相关知识 第六关答案 第七关：数据的基本操作——去重 编程要求 相关知识 第七关答案 第八关：层次化索引 编程要求 相关知识 第八关答案 实训一：Pandas初体验 第一关：了解数据处理对象--Series 编程要求创建一个名为series_a的series数组，当中值为[1,2,5,7],对应的索引为['nu', 'li', 'xue', 'xi']； 创建一个名为dict_a的字典，字典中包含如下内容{'ting':1, 'shuo':2, 'du':32, 'xie':44}； 将dict_a字典转化成名为series_b的series数组。 相关知识 Pandas是为了解决数据分析任务而创建的，纳入了大量的库和标准数据模型，提供了高效地操作大型数据集所需的工具。 对于Pandas包，在Python中常见的导入方法如下： from pandas import Series,DataFrame import pandas as pd Pandas中的数据结构 Series: 一维数组，类似于Python中的基本数据结构list，区别是Series只允许存储相同的数据类型，这样可以更有效的使用内存，提高运算效率。就像数据库中的列数据；DataFrame: 二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器；Panel：三维的数组，可以理解为DataFrame的容器。了解Series 为了开始使用Pandas，我们必需熟悉它的两个重要的数据结构：Series 和DataFrame。虽然它们不是每一个问题的通用解决方案，但可以提供一个坚实的，易于使用的大多数应用程序的基础。 Series是一个一维的类似的数组对象，包含一个数组的数据（任何NumPy的数据类型）和一个与数组关联的数据标签，被叫做索引 。最简单的Series是由一个数组的数据构成： In [1]:obj=Series([4,7,-5,3])In [2]:objOut[2]:0 41 72 -53 3Series的交互式显示的字符串表示形式是索引在左边，值在右边。因为我们没有给数据指定索引，一个包含整数0到N-1这里N是数据的长度）的默认索引被创建。你可以分别的通过它的values和index属性来获取 Series的数组表示和索引对象： In [3]: obj.valuesOut[3]:array([4,7,-5,3])In [4]: obj.indexOut[4]:Int64Index([0,1,2,3])通常，需要创建一个带有索引来确定每一个数据点的Series。 In [5]:obj2=Series([4,7,-5,3],index=['d','b','a','c'])In [6]:obj2Out[6]:d 4b 7a -5c 3如果你有一些数据在一个Python字典中，你可以通过传递字典来从这些数据创建一个Series，只传递一个字典的时候，结果Series中的索引将是排序后的字典的键。 第一关答案 # -*- coding: utf-8 -*- from pandas import Series,DataFrame import pandas as pd def create_series(): ''' 返回值: series_a: 一个Series类型数据 series_b: 一个Series类型数据 dict_a： 一个字典类型数据 ''' # 请在此添加代码 完成本关任务 # ********** Begin *********# series_a=Series([1,2,5,7],index=['nu','li','xue','xi']) dict_a={'ting':1,'shuo':2,'du':32,'xie':44} series_b=Series(dict_a) # ********** End **********# # 返回series_a,dict_a,series_b return series_a,dict_a,series_b 第二关：了解数据处理对象-DataFrame 编程要求创建一个五行三列的名为df1的DataFrame数组，列名为 [states,years,pops]，行名['one','two','three','four','five']； 给df1添加新列，列名为new_add，值为[7,4,5,8,2]。 相关知识DataFrame是一个表格型的数据结构，是以一个或多个二维块存放的数据表格（层次化索引），DataFrame既有行索引还有列索引，它有一组有序的列，每列既可以是不同类型（数值、字符串、布尔型）的数据，或者可以看做由Series组成的字典。 DataFrame创建: dictionary = {'state':['0hio','0hio','0hio','Nevada','Nevada'],'year':[2000,2001,2002,2001,2002],'pop':[1.5,1.7,3.6,2.4,2.9]}frame = DataFrame(dictionary)修改行名： frame=DataFrame(dictionary,index=['one','two','three','four','five'])添加修改： frame['add']=[0,0,0,0,0]添加Series类型： value = Series([1,3,1,4,6,8],index = [0,1,2,3,4,5])frame['add1'] = value 第二关答案 # -*- coding: utf-8 -*- from pandas import Series,DataFrame import pandas as pd def create_dataframe(): ''' 返回值: df1: 一个DataFrame类型数据 ''' # 请在此添加代码 完成本关任务 # ********** Begin *********# data={'states':['Ohio','Ohio','Ohio','Nevada','Nevada'],'years':[2000,2001,2002,2001,2002],'pops':[1.5,1.7,3.6,2.4,2.9]} df1=DataFrame(data,index=['one','two','three','four','five']) df1['new_add'] = [7,4,5,8,2] # ********** End **********# #返回df1 return df1 第三关：读取CSV格式数据 编程要求将test3/uk_rain_2014.csv中的数据导入到df1中； 将列名修改为['water_year','rain_octsep','outflow_octsep','rain_decfeb', 'outflow_decfeb', 'rain_junaug', 'outflow_junaug']； 计算df1的总行数并存储在length1中。 相关知识在使用机器学习工具包对数据进行修改、探索和分析之前，我们必须先讲外部数据导入。使用Pandas导入数据比Numpy要容易。在这里我们将使用英国降雨数据，数据已下好并放在本实训的当前文件夹。 读取CSV # Reading a csv into Pandas. # 如果数据集中有中文的话，最好在里面加上 encoding = 'gbk' ，以避免乱码问题。后面的导出数据的时候也一样。 df = pd.read_csv('uk_rain_2014.csv', header=0) 这里我们从csv文件里导入了数据，并储存在DataFrame中。这一步非常简单，你只需要调用read_csv然后将文件的路径传进去就行了。header 关键字告诉Pandas哪些是数据的列名。如果没有列名的话就将它设定为 None。 数据导入pandas之后，我们该怎么查看数据呢？ 查看前n行 # Getting first x rows.df.head(5)查看后n行 # Getting last x rows.df.tail(5)查看总行数 # Finding out how many rows dataset has.len(df)修改列名 我们通常使用列的名字来在Pandas中查找列。这一点很好而且易于使用，但是有时列名太长，我们需要缩短列名。 # Changing column labels.df.columns = ['water_year','rain_octsep','outflow_octsep','rain_decfeb', 'outflow_decfeb', 'rain_junaug', 'outflow_junaug'] 第三关答案 # -*- coding: utf-8 -*- from pandas import Series,DataFrame import pandas as pd def read_csv_data(): ''' 返回值: df1: 一个DataFrame类型数据 length1: 一个int类型数据 ''' # 请在此添加代码 完成本关任务 # ********** Begin *********# df1=pd.read_csv('test3/uk_rain_2014.csv', header=0,encoding = 'gbk') df1.columns = ['water_year','rain_octsep','outflow_octsep','rain_decfeb', 'outflow_decfeb', 'rain_junaug', 'outflow_junaug'] length1=len(df1) # ********** End **********# #返回df1,length1 return df1,length1 第四关：数据的基本操作——排序 编程要求对代码中s1进行按索引排序，并将结果存储到s2； 对代码中d1进行按值排序（index为f），并将结果存储到d2。 相关知识本关我们将学习处理Series和DataFrame中的数据的基本手段，我们将会探讨Pandas最为重要的一些功能。 对索引进行排序 Series用sort_index()按索引排序，sort_values()按值排序； DataFrame也是用sort_index()和sort_values()。 In[73]: obj = Series(range(4), index=['d','a','b','c'])In[74]: obj.sort_index() Out[74]: a 1b 2c 3d 0dtype: int64In[78]: frame = DataFrame(np.arange(8).reshape((2,4)),index=['three', 'one'],columns=['d','a','b','c'])In[79]: frameOut[79]: d a b cthree 0 1 2 3one 4 5 6 7In[86]: frame.sort_index()Out[86]: d a b cone 4 5 6 7three 0 1 2 3按行排序 In[89]: frame.sort_index(axis=1, ascending=False)Out[89]: d c b athree 0 3 2 1one 4 7 6 5按值排序 Series: In[92]: obj = Series([4, 7, -3, 2])In[94]: obj.sort_values()Out[94]: 2 -33 20 41 7dtype: int64DataFrame: In[95]: frame = DataFrame({'b':[4, 7, -3, 2], 'a':[0, 1, 0, 1]})In[97]: frame.sort_values(by='b') #DataFrame必须传一个by参数表示要排序的列Out[97]: a b2 0 -33 1 20 0 41 1 7 第四关答案 # -*- coding: utf-8 -*- from pandas import Series,DataFrame import pandas as pd def sort_gate(): ''' 返回值: s2: 一个Series类型数据 d2: 一个DataFrame类型数据 ''' # s1是Series类型数据，d1是DataFrame类型数据 s1 = Series([4, 3, 7, 2, 8], index=['z', 'y', 'j', 'i', 'e']) d1 = DataFrame({'e': [4, 2, 6, 1], 'f': [0, 5, 4, 2]}) # 请在此添加代码 完成本关任务 # ********** Begin *********# s2=s1.sort_index() d2=d1.sort_values(by='f') # ********** End **********# #返回s2,d2 return s2,d2 第五关：数据的基本操作——删除 编程要求在s1中删除z行，并赋值到s2； d1中删除yy列，并赋值到d2。 相关知识删除指定轴上的项 即删除Series的元素或DataFrame的某一行（列）的意思，我们可以通过对象的drop(labels, axis=0)方法实现此功能。 删除Series的一个元素： In[11]: ser = Series([4.5,7.2,-5.3,3.6], index=['d','b','a','c'])In[13]: ser.drop('c')Out[13]: d 4.5b 7.2a -5.3dtype: float64删除DataFrame的行或列： In[17]: df = DataFrame(np.arange(9).reshape(3,3), index=['a','c','d'], columns=['oh','te','ca'])In[18]: dfOut[18]: oh te caa 0 1 2c 3 4 5d 6 7 8In[19]: df.drop('a')Out[19]: oh te cac 3 4 5d 6 7 8In[20]: df.drop(['oh','te'],axis=1)Out[20]: caa 2c 5d 8需要注意的是drop()返回的是一个新对象，原对象不会被改变。 第五关答案 # -*- coding: utf-8 -*- from pandas import Series,DataFrame import numpy as np import pandas as pd def delete_data(): ''' 返回值: s2: 一个Series类型数据 d2: 一个DataFrame类型数据 ''' # s1是Series类型数据，d1是DataFrame类型数据 s1 = Series([5, 2, 4, 1], index=['v', 'x', 'y', 'z']) d1=DataFrame(np.arange(9).reshape(3,3), columns=['xx','yy','zz']) # 请在此添加代码 完成本关任务 # ********** Begin *********# s2=s1.drop('z') d2=d1.drop(['yy'],axis=1) # ********** End **********# # 返回s2,d2 return s2, d2 第六关：数据的基本操作——算术运算 编程要求 让df1与df2相加得到df3，并设置默认填充值为4。 相关知识算术运算（+，-，*，/） DataFrame中的算术运算是df中对应位置的元素的算术运算，如果没有共同的元素，则用NaN代替。 In[5]: df1 = DataFrame(np.arange(12.).reshape((3,4)),columns=list('abcd'))In[6]: df2 = DataFrame(np.arange(20.).reshape((4,5)),columns=list('abcde'))In[9]: df1+df2Out[9]: a b c d e0 0 2 4 6 NaN1 9 11 13 15 NaN2 18 20 22 24 NaN3 NaN NaN NaN NaN NaN此外，如果我们想设置默认的其他填充值，而非NaN的话，可以传入填充值。 In[11]: df1.add(df2, fill_value=0)Out[11]: a b c d e0 0 2 4 6 41 9 11 13 15 92 18 20 22 24 143 15 16 17 18 19 第六关答案 # -*- coding: utf-8 -*- from pandas import Series,DataFrame import numpy as np import pandas as pd def add_way(): ''' 返回值: df3: 一个DataFrame类型数据 ''' # df1,df2是DataFrame类型数据 df1 = DataFrame(np.arange(12.).reshape((3, 4)), columns=list('abcd')) df2 = DataFrame(np.arange(20.).reshape((4, 5)), columns=list('abcde')) # 请在此添加代码 完成本关任务 # ********** Begin *********# df3=df1.add(df2,fill_value=4) # ********** End **********# # 返回df3 return df3 第七关：数据的基本操作——去重 编程要求 去除df1中重复的行，并把结果保存到df2中。 相关知识duplicated() DataFrame的duplicated方法返回一个布尔型Series，表示各行是否是重复行。具体用法如下： In[1]: df = DataFrame({'k1':['one']*3 + ['two']*4, 'k2':[1,1,2,3,3,4,4]})In[2]: dfOut[2]: k1 k20 one 11 one 12 one 23 two 34 two 35 two 46 two 4In[3]: df.duplicated()Out[3]: 0 False1 True2 False3 False4 True5 False6 Truedtype: booldrop_duplicates() drop_duplicates()用于去除重复的行数，具体用法如下： In[4]: df.drop_duplicates()Out[4]: k1 k20 one 12 one 23 two 35 two 4 第七关答案 # -*- coding: utf-8 -*- from pandas import Series,DataFrame import pandas as pd def delete_duplicated(): ''' 返回值: df2: 一个DataFrame类型数据 ''' # df1是DataFrame类型数据 df1 = DataFrame({'k1': ['one'] * 3 + ['two'] * 4, 'k2': [1, 1, 2, 3, 3, 4, 4]}) # 请在此添加代码 完成本关任务 # ********** Begin *********# df2=df1.drop_duplicates() # ********** End **********# # 返回df2 return df2 第八关：层次化索引 编程要求 对s1进行数据重塑，转化成DataFrame类型，并复制到d1。 相关知识层次化索引 层次化索引(hierarchical indexing)是pandas的一项重要功能，它使我们能在一个轴上拥有多个（两个以上）索引级别。请看以下例子： In[1]:data = Series(np.random.randn(10), index = [['a', 'a', 'a', 'b', 'b', 'b', 'c', 'c', 'd', 'd' ],[1,2,3,1,2,3,1,2,2,3]])In[2]:dataOut[2]:a 1 0.1692392 0.6892713 0.879309b 1 -0.6991762 0.2604463 -0.321751c 1 0.8931052 0.757505d 2 -1.2233443 -0.802812dtype: float64索引方式 In[3]:data['b':'d']Out[3]:b 1 -0.6991762 0.2604463 -0.321751c 1 0.8931052 0.757505d 2 -1.2233443 -0.802812dtype: float64内层选取 In[4]:data[:, 2]Out[4]:a 0.689271b 0.260446c 0.757505d -1.223344dtype: float64数据重塑 将Series转化成DataFrame: in[5]:data.unstack()Out[5]:1 2 3a 0.169239 0.689271 0.879309b -0.699176 0.260446 -0.321751c 0.893105 0.757505 NaNd NaN -1.223344 -0.802812 第八关答案 # -*- coding: utf-8 -*- from pandas import Series,DataFrame import pandas as pd import numpy as np def suoying(): ''' 返回值: d1: 一个DataFrame类型数据 ''' #s1是Series类型数据 s1=Series(np.random.randn(10), index=[['a', 'a', 'a', 'b', 'b', 'b', 'c', 'c', 'd', 'd'], [1, 2, 3, 1, 2, 3, 1, 2, 2, 3]]) # 请在此添加代码 完成本关任务 # ********** Begin *********# d1=s1.unstack() # ********** End **********# # 返回d1 return d1 suoying()数据采集习题参考答案，会持续更新，点个关注防丢失。 创作不易，一键三连给博主一个支持呗。
|
【本文地址】
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |