遇到大型的csv文件时，pandas会把该文件全部加载进内存，从而导致程序运行速度变慢。 本文提供了批量读取csv文件、读取属性列的方法，减轻内存占用情况。

加载前100000行数据

查看每个字段占用的系统内存的情况

设置 memory_usage 的参数为 ‘deep’ 时，深度检查对象中的内存使用情况，包括对象中可能包含的其他对象（如列表、数组或其他数据结构）。若不设置deep参数，memory_usage 只会返回一个对象的基础内存使用情况，这主要基于对象本身的内存占用，而不考虑它可能引用的其他对象。 如上图所示，前100000行数据共占用220.MB内存。

查看每列属性的内存占用情况；

针对每个属性列的字节数进行求和，使用/ (1024 ** 2)，实现1B到1MB的单位转换。验证了所有属性列的内存占用确实为 220.8MB。

内存占用从高到低降序排列：

可能我们只关心， 一整张表中的某几个属性，比如：'企业名称', '经营范围'。那么便无需把整张表加载进内存。

查看一下内存占用

只读取两个属性列，内存占用只有33MB。

pd.read_csv(input_file, chunksize=1e3, nrows=1e5)

故1e5条数据，应该由100块1e3的数据组成；

上图验证了，总共处理了1e5条数据，分成了100块进行读取。