Excel打不开“巨大的”csv文件或文本文件,Python轻松搞定 | 您所在的位置:网站首页 › pages灰色文件打不开 › Excel打不开“巨大的”csv文件或文本文件,Python轻松搞定 |
学习Excel技术,关注微信公众号: excelperfect 标签:Python与Excel,pandas 在某些时候,如果你尝试使用Excel打开大型csv文件或文本文件,可能无法打开它们。曾经收到一个8GB的大型csv文件,想看一下内容,但无法使用任何尝试过的程序打开它,比如记事本、Excel等。文件太大,程序甚至无法启动。 要求相对简单:打开一个8GB的大型csv文件,查看前几千行中的数据。如果当你选择了正确的工具——Python,那么这项看似不可能的任务很容易完成。 下面将首先探讨如何检查大型csv文件的内容,然后我们将大文件分解成小文件,这样数据就可以在Excel中使用。 出于演示目的,我们不会使用8GB的大型csv文件;相反,假设使用一个只有2600行数据的较小文件。 同以前一样,从导入必需的库开始,在本练习中,我们只需要pandas。 import pandas as pd df = pd.read_csv(‘large_data.csv’) df_small = pd.read_csv(‘large_data.csv’, nrows = 1000) pd.read_csv()允许将任何.csv文件读入Python,而不考虑文件大小——稍后将详细介绍这一点。csv文件是逗号分隔值的文件,基本上是文本文件。此方法有一个可选参数nrows,用于指定要加载的行数。 第一个变量df加载了csv文件中的所有内容,而第二个变量df_small只加载前1000行数据。我们可以通过调用.shape属性来检查这一点。 图1:两个数据框架的大小(行数,列数) 如上所示,“large_data.csv”文件总共包含2599行22列数据。还可以确认,在df_small变量中,只加载了前1000行22列数据。 键入df_small.head()显示df_small数据框架中的前5行数据。我们可以通过这种方式查看大文件! 图2 接下来,如果我们想只使用Excel打开数据文件,该怎么办? 虽然我们不能使用魔法让Excel打开这个8GB的文件,但我们可以通过将它分解成更小的文件来“分而治之”。例如,8个文件,每个1GB;或16个文件,每个500MB。现代版本的Excel可以轻松处理这些文件大小。 这一次,我们将以稍微不同的方式加载数据框架——使用可选参数chunksize。同样,出于演示目的,我们使用了一个小得多的文件。 df = pd.read_csv(‘large_data.csv’, chunksize = 900) 在不涉及太多技术细节的情况下,chunksize参数允许我们以块的形式加载数据,在我们的示例中,每个块的大小为900行数据。块的数量由程序自动确定。鉴于我们的csv文件包含2600行,我们希望看到2600/900=2.9,这意味着总共有3个块。前两个区块包含900行,最后一个区块包含剩余的799行。 图3 我们已经成功地加载了一个文件并将其分解为更小的部分,接下来让我们将它们保存到更小的单个文件中。 i = 1 for file in df: file.to_csv(f’file_{i}.csv’) i += 1 图4 小结 上文代码合起来: import pandas as pd df = pd.read_csv(‘large_data.csv’) df_small = pd.read_csv(‘large_data.csv’, nrows = 1000) i = 1 for file in df: print(file.shape) file.to_csv(f’file_{i}.csv’) i += 1 我们只使用了8行代码来解决在Excel中似乎无法实现的问题,怎么样,对Python有感觉了吗? |
CopyRight 2018-2019 实验室设备网 版权所有 |