Fastdfs数据迁移方案 | 您所在的位置:网站首页 › 华为云数据迁移工具MySQL迁移到obs › Fastdfs数据迁移方案 |
出处: https://www.cnblogs.com/dreammer/p/14449282.html 1. 方案背景描述环境迁移,需要迁移旧环境的fastdfs集群的数据到新环境,由于之前数据迁移仅仅是针对mysql和mongodb,对fastdfs数据的迁移了解甚少,本文档主要是针对fastdfs数据迁移和恢复的几种方式以及具体操作流程做详细阐述。 2. 方案实现的目标实现fastdfs集群数据完整迁移,保证在新环境正常使用,以及保证fastdfs集群高可用。 3. 方案说明Fstdfs 整体架构
Fastdfs 数据迁移 数据迁移是指旧的fastdfs可以继续正常运行的情况下,将旧环境的fastdfs的数据恢复到新的环境fastdfs服务中。 同IP 数据迁移 1) 首先关闭fdfs_storage和fdfs_tracker服务。 2) 拷贝fdfs_storage目录中的所有数据到新目录。 3) 修改storage配置文件中的store_path和base_path到新位置。 4) 修改mod_fastdfs.conf配置文件中的store_path和base_path到新位置。 5) 根据情况,选择是否修改client配置文件。 6) 重启fdfs_tracker和fdfs_storage服务 不同IP 数据迁移 不同IP之间迁移采用FastDFS的扩容机制。 1) 在新服务器安装FastDFS。 2) 将新FastDFS的storage服务实例关联到以前的tracker服务。 3) 拷贝以前的storage服务配置为新服务实例的配置文件。 4) 启动storage服务。 FastDFS会自动同步以前服务器上的数据 5) 停止storage服务,将storage配置文件中的tracker地址修改为新的tracer 地址,同时修改storage 中 /data/fast_data/data/.data_init_flag文件,sync_src_server=空即可。 6) 启动新的tracker服务和storage服务。 Fastdfs 数据恢复 数据恢复是指旧的FastDFS服务已经不能运行,需要将已有的FastDFS数据恢复到新的FastDFS服务中。 1) 如果FastDFS服务使用了V4的ServerID特性,修改storage_ids.conf文件,调整对应关系即可。 2) 如果采用IP地址进行标识,则需要修改tracker 和storage下data目录中的数据文件中的ip地址。 tracker server需要修改 : tracker/data/storage_groups_new.dat tracker/data/storage_servers_new.dat tracker/data/storage_sync_timestamp.dat storage server需要修改: storage/data/.data_init_flag storage/data/sync/${ip_addr}_${port}.mark 4. 数据同步以及验证本次迁移考虑到我们旧环境依旧可以使用并且是不同网段之间的fastdfs集群,所以采用的是FastDFS的扩容机制来迁移fastdfs的数据。 查看数据同步的进度: 在旧环境storage服务base_path 目录下有一个 data/sync目录,里面的文件如下: 10.10.101.135_23000.mark 这个是 new_storage 的同步数据的情况 binlog.000 旧tracker的binlog binlog.index 记录着当前正在使用哪个 binlog 文件 查看 10.10.101.135_23000.mark 的文件内容就可看到 数据同步的情况,从 scan_row_count 和 sync_row_count 的数量对比可以知道同步的进度,当两者一致的时候同步完成。 binlog_index=0 binlog_offset=1689076 binlog.xxx的偏移量,可以从这个偏移量获取下一行记录 need_sync_old=1 本storage是否是对侧storage(110.119.19.21)的源结点,同时是否需要从起点同步所有的记录 sync_old_done=1 是否同步完成过 until_timestamp=1614235090 上次同步时间结点 scan_row_count=29122binlog总记录数 sync_row_count=29122同步的binlog行数 5. fastdfs文件上传下载以及基础操作命令 文件上传测试1) 修改Tracker服务器客户端配置文件 cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf vim /etc/fdfs/client.conf 修改以下配置,其它保持默认 base_path=/data/fastdfs/tracker tracker_server= 10.10.8.85:22122 # tracker服务器IP和端口 tracker_server= 10.10.8.86:22122 #tracker服务器IP和端口 2) 执行文件上传命令 #/root/test.png 是需要上传文件路径 /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/test.png返回文件ID号: group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg (能返回以上文件ID,说明文件已经上传成功) 基础操作命令: 查看集群信息:/usr/bin/fdfs_monitor /usr/local/storage.confStorage节点都启动之后,可以在任一 Storage 节点上使用如下命令查看集群信息。 上传命令:fdfs_upload_file /etc/fdfs/client.conf [文件名称](需全路径) 或 /usr/local/bin/fdfs_upload_file [文件名称](需全路径) 下载命令:fdfs_download_file /etc/fdfs/client.conf [filename] filename:为保存到fdfs的文件;上传的时候返回的路径是什么,这边filename就写什么;默认下载到当前执行命令的目录 删除命令:fdfs_delete_file /etc/fdfs/client.conf [filename] 删除storage 节点: fdfs_monitor /etc/fdfs/client.conf delete group1 [节点IP] 作者:梦想俱乐部 出处: https://www.cnblogs.com/dreammer/p/14449282.html |
CopyRight 2018-2019 实验室设备网 版权所有 |