python 对excel进行合并与去重操作

2024-02-02 01:05| 来源: 网络整理| 查看: 265

前段时间爬取了京东超市的全部商品品牌；拉去下来以后发现有很多的重复的内容，打算对这些内容进行去重。。

这是对excel的合并操作

import pandas as pd import os rootpath = os.getcwd() abspath = os.path.dirname(rootpath) # 桌面创建一个excel的文件夹，把要合并的文件放在excel里面 # 这个py文件的目录是desktop/demo/thisfile.py excel_dir = abspath+'\excel' os.chdir(excel_dir) li = [] for i in os.listdir(excel_dir): li.append(pd.read_excel(i)) print('已合并'+i) # 合并完成后的excel，是放在excel文件夹下的 writer = pd.ExcelWriter('test.xlsx') pd.concat(li).to_excel(writer,'Sheet1',index=False) writer.save() print('合并完成')

合并完成以后，对excel进行去重

import pandas as pd frame = pd.read_excel('test.xlsx') data = pd.DataFrame(frame) data.drop_duplicates(['品牌'], keep='', inplace=True) # drop_duplicates用法：subset=‘需要去重复的列名’,keep=‘遇到重复的时保留第一个还是保留最后一个’,inplace=‘去除重复项，还是保留重复项的副本’ data.to_excel('out.xlsx') print('合并完成')

【本文地址】

公司简介

联系我们