数据太大的时候,R语言如何读取? 您所在的位置:网站首页 rstudio读TXT中文表格 数据太大的时候,R语言如何读取?

数据太大的时候,R语言如何读取?

2023-12-15 16:15| 来源: 网络整理| 查看: 265

 一般我喜欢把文件储存成csv格式,然后用read.csv读取文件。

也有的人习惯储存数据为txt格式,然后用read.table读取文件。

但是当数据太大的时候,read.csv和read.table似乎就不适用了。

首先读取慢,而且读到最后会读一个寂寞。

比如下面这个文件:

有三个多G,用read.csv读取的时候,会发生什么状况呢?

setwd("D:\\") dir() data class(data) [1] "data.table" "data.frame"

可以看到数据有25712行,71916列,这比TCGA任何一个数据库的文件都大。

文件的类型既属于table,也属于数据框。

查看一下数据:

data[1:10,1:110] > data[1:10,1:110] V1 V2 V3 V4 V5 V6 V7 V8 V9 V10 V11 V12 V13 V14 V15 V16 V17 V18 V19 V20 1: RP11-34P13.7 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2: FO538757.2 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 3: AP006222.2 1 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 1 1 4: RP4-669L17.10 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 5: RP5-857K21.4 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 6: RP11-206L10.9 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 7: FAM87B 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 8: LINC00115 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 9: FAM41C 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

用fread读取出来的数据,也是可以使用美元符提取列的,当然也可以进行数据匹配。

那么什么情况下会用到大样本的数据呢?

比如我们要用GTEx数据库进行分析正常人的组织样本测序数据。

又比如我们要分析单细胞的测序数据等。



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有