mongodb磁盘满故障

mongodb磁盘满

cat /var/log/mongodb/mongodb.log

关键的错误日志： ERROR: Insufficient free space for journal files Please make at least 3379MB available in /var/lib/mongodb/journal or use --smallfiles exception in initAndListen: 15926 Insufficient free space for journals, terminating

查了一下 ERROR: Insufficient free space for journal files 原因是因为 mongo 的 journa 目录下空间小于3379MB。磁盘至少要保证journal目录下有3379MB空间可用。 journal 至少以2G的数量进行增长，当磁盘空间不足时，就会报该错误。 看了一下磁盘占用满了： df -h /dev/sda1        91G   83G  2.8G  97% /

首先按照错误日志中解决的办法是使用 --smallfiles参数，尝试启动数据库服务。 --smallfiles 选项会减少数据文件的初始大小，并将最大大小限制为512MB。 smallfiles也会将每个日志文件的大小从1GB减少到128MB。 如果你有大量的数据库，每个数据库都包含少量的数据，那么建议使用--smallfiles 选项。 smallfiles选项可以引导mongod实例创建大量文件，这会影响较大数据库的性能，实际使用时慎重选择。

如果 journal 目录下日志文件占用空间比较大，可以关闭journal功能、删除journal目录下的文件： vim /etc/mongodb.conf nojournal = true smallfiles = true noprealloc = true 

rm -rf /var/lib/mongodb/journal/* 

重启数据库 service mongodb start

我journal本来就占用不大，主要还是数据库占用磁盘太大。因此我直接先采用日志推荐的--smallfiles启动试试：

在mongodb.service启动参数中加 --smallfiles 参数 vim /lib/systemd/system/mongodb.service ExecStart=/usr/bin/mongod --unixSocketPrefix=${SOCKETPATH} --config ${CONF} $DAEMON_OPTS   --smallfiles 

修改服务配置文件后，重新加载一下服务配置文件 systemctl daemon-reload

重新启动mongodb服务，启动成功 service mongodb start 重启数据库服务成功，但df查看磁盘占用仍然还是很高，继续尝试解决根本的磁盘占用高的问题。

查看mongodb数据库大小的几种方法： 方法1：show databases，可查看不同数据库的大小 # mongo > show databases; admin      0.078GB db01       63.923GB local      0.078GB mytestdb  16.071GB test       0.578GB 可以看到主要db01和mytestdb数据库比较大。

查看指定数据局的详情： > use mytestdb > db.stats() {         "db" : "mytestdb",         "collections" : 34,         "objects" : 8147600,         "avgObjSize" : 261.48154941332416,         "dataSize" : 2130447072,         "storageSize" : 13551329264,         "numExtents" : 138,         "indexes" : 32,         "indexSize" : 286724144,         "fileSize" : 17239638016,         "nsSizeMB" : 16,         "dataFileVersion" : {                 "major" : 4,                 "minor" : 5         },         "extentFreeList" : {                 "num" : 3,                 "totalSize" : 761118720         },         "ok" : 1 }

方法2：db.serverStatus().mem # mongo > db.serverStatus().mem {         "bits" : 64,         "resident" : 115,         "virtual" : 165558,         "supported" : true,         "mapped" : 82666,         "mappedWithJournal" : 165332 }

mapped：映射到内存的数据大小，大小等同于数据库文件的大小 visze：占用的虚拟内存大小 res：占用的物理内存大小

方法3：mongostat # mongostat connected to: 127.0.0.1 insert  query update delete getmore command flushes mapped  vsize    res faults  locked db idx miss %     qr|qw   ar|aw  netIn netOut  conn       time      *0     *0     *0     *0       0     1|0       0  80.7g   162g   111m      0  test:0.0%          0       0|0     0|0    62b     3k     1   20:56:29      *0     *0     *0     *0       0     1|0       0  80.7g   162g   111m      0  test:0.0%          0       0|0     0|0    62b     3k     1   20:56:30      *0     *0     *0     *0       0     1|0       0  80.7g   162g   111m      0  test:0.0%          0       0|0     0|0    62b     3k     1   20:56:31 

方法4：直接查看数据库文件路径目录文件的大小 # du -sh /var/lib/mongodb/ 81G     /var/lib/mongodb/ 主要是数据库文件较大

接下来主要考虑如何回收磁盘空间。 注意：mognodb删除数据后不会释放占用的磁盘空间给操作系统，即使 drop collection 也不行，除非drop database。 删除数据以后，dbshell 中用命令 db.serverStatus().mem 可以看到磁盘空间占用显示虽然已经释放，但df命令查看OS的空闲磁盘空间没变化，mongodb并没有释放给OS。

准备工作： 方案中可能涉及到有足够的磁盘空间来操作，可以考虑给虚机增加新的磁盘，如果没有条件，也可以考虑ssh mount远程主机磁盘到本地。 我使用ssh mount方式，sshfs安装和远程mount的详细操作方法可以参考：https://blog.csdn.net/sunny05296/article/details/77722081

安装sshfs apt-get install -y sshfs # for ubuntu, 查看是否已安装：dpkg  -l |grep wget yum install -y fuse-sshfs # for fedore yum install -y epel-release & yum -y install fuse-sshfs # for Centos

挂载远程网络硬盘 mkdir /remote_dir sshfs -o rw [email protected]:/data/  remote_dir/

如果要卸载移除网盘使用： fusermount -u /remote_dir

方案1：备份恢复（mongodump & mongorestore）【我采用了该方式】 备份 # mkdir -p /remote_dir/mongo_dump_dir # mongodump -d mytestdb -o /remote_dir/mongo_dump_dir

备份后，目录下会生成数据库文件夹mytestdb，查看一下备份后的实际文件夹大小： # cd /remote_dir/mongo_dump_dir # du -h 1.6G    ./mytestdb 源库16G备份删除碎片数据以后，空间占用缩小到1.6G，可见源库中存在大量的删除数据

删除源库 # echo 'db.dropDatabase()' | mongo mytestdb

恢复源库 # mongorestore -d  mytestdb  /remote_dir/mongo_dump_dir/mytestdb

用同样的方法，我处理完 db01 库会后，大小从 61G 减少到 19G。 如果数据量不大、dump时间不长，或者经常备份有dump文件的情况的下，这种方法很简单方便。

方案2：db.repairDatabase() 【我剩余空间太少，没有尝试该方式】

官方介绍说用：删除数据库的数据以后，需要 dbshell 进入删除了数据的 db 后，执行 db.repairDatabase() 可以回收硬盘空间。 但是要注意风险： 1.在生产上操作如果意外停止可能会造成数据无法恢复的危险。 2.如果磁盘空间不足，小于现在这个db时间占有的空间，这种情况是用不了 db.repairDatabase() 的。 需要注意，db.repairDatabase() 能否执行成功，主要处决于：释放出来的磁盘空间小于释放执行前当前OS剩余的磁盘空间，则能释放成功，否则释放失败。 而我声誉磁盘空间只有2.8G，空闲磁盘太少了， 删除数据再db.repairDatabase()的话，估计失败的概率很大。所以，我直接放弃下面的命令执行：

# mongo db01 mongo> db.repairDatabase() 或者执行 mongo> db.runCommand({ repairDatabase: 1 })  后面这种方法还支持带更多的参数，这里就先不详细介绍了。

方案3：db.copyDatabase 【由于我只有一个mongodb，所以没有采用该方式】 mongo> db.copyDatabase("db_src","db_src_copyed","127.0.0.1:27017") 如果是同一个mongodb拷贝，可以直接用：db.copyDatabase("db_src","db_src_copyed") mongo> use db_src mongo> db.dropDatabase()

完整的语法：db.copyDatabase(fromdb, todb, fromhost, username, password, mechanism) fromdb：源db名，用户必须能够对这个db进行鉴权 todb： 复制到目的mongod的名字,名字可以跟原名字不一样 fromhost： ip:port 如果是同一个mongodb拷贝，这个参数可不要 username： 用户名 password:  密码 mechanism：鉴权方式，MONGODB-CR or SCRAM-SHA-1，如果 db.isMaster().maxWireVersion >= 3，那默认就是 SCRAM-SHA-1，否则默认就是 MONGODB-CR

执行数据库拷贝，源库可能是已经删除过数据的库，由于磁盘不释放，造成磁盘空间的浪费。 通过数据库拷贝命令，拷贝到目的库，不会拷贝碎片，会生成一个最小占用的库（数据库目录下也会同步生成新库的文件）。 拷贝库成功后，就可以使用 db.dropDatabase() 删除源库了。