| GNSS数据下载方法 | 您所在的位置：网站首页 › matlab导出igs › GNSS数据下载方法 |
GNSS数据下载方法
|
一直以来，GNSS观测数据、导航电文、精密轨道和钟差是GNSS研究人员常用的文件。做研究避免不了这些研究数据的下载，但最近几年GNSS的数据下载地址方式一直在发生变化，特别是NASA的CDDIS服务，从FTP下载转型成为HTTPS/FTP-TLS协议，从此数据下载涉及了多种协议模型，很多人不得不使用各种工具。 现有的GNSS数据下载工具： GAMP-GOOD周锋的GAMP-GOOD以迭代到2.1版本，源代码以C语言构成。详情可参考链接[1]。 支持的数据类型： IGS/MGEX/CUT/GA/HK-CORS/NGS/EPN/PBO观测文件各类型广播星历文件IGS/MGEX超快速、快速、最终产品CNES实时产品COD/CAS的DCB、DSB产品多家分析中心的OSB产品SINEX周解文件GIM产品ROTI产品对流层产品天线相位中心文件等。武汉大学的FASTFAST是由武汉大学常春涛等人开发的一套数据下载终端软件，源代码使用python构成，软件源代码中集成了目前GNSS学习和研究的大部分下载数据源，并且支持多线程的并行下载。以下给出Github上简单的介绍，详情见参考链接[2]。 软件特点： 多平台：同时支持windows与linux系统；资源丰富：基本囊括了GNSS科研学习中所需的数据源，目前支持17个大类、96个小类，具体支持数据见数据支持；快速：软件采用并行下载方式，在命令行参数运行模式可自行指定下载线程数，经测试下载100天的brdc+igs+clk文件只需要48.93s！易拓展：如需支持更多数据源，可在FTP_Source.py、GNSS_TYPE.py中指定所需的数据与数据源；简单易行：程序有引导下载模式与命令行带参数运行模式两种方式下载，直接运行程序便可进入引导下载模式，命令行带参数运行FAST -h可查看带参数运行模式介绍；灵活：在带参数运行模式下，用户可灵活指定下载类型、下载位置、下载时间、是否解压、线程数等，可根据自我需求编写bat、shell、python等脚本运行；轻便：windows程序包仅有18.9 MB，Liunx程序包仅有6.63 MB.支持的数据类型： 广播星历文件： GPS_brdc / MGEX_brdm观测RINEX文件: GPS_IGS_rnx / MGEX_IGS_rnx / GPS_USA_cors / GPS_HK_cors / GPS_EU_cors /GPS_AU_cors / MGEX_HK_cors精密轨道文件 : GPS_IGS_sp3 / GPS_IGR_sp3 / GPS_IGU_sp3 / GPS_GFZ_sp3 / GPS_GRG_sp3 /MGEX_WUH_sp3 / MGEX_WUHU_sp3 / MGEX_GFZR_sp3 / MGEX_COD_sp3 /MGEX_SHA_sp3 / MGEX_GRG_sp3 / GLO_IGL_sp3 / MGEX_WUH_Hour_sp3精密钟差文件: GPS_IGS_clk / GPS_IGR_clk / GPS_IGU_clk / MGEX_GFZR_clk / GPS_GRG_clk /GPS_IGS_clk_30s / MGEX_WUH_clk / MGEX_COD_clk / MGEX_GFZ_clk / MGEX_GRG_clk /WUH_PRIDE_clk /MGEX_WUHU_clk / MGEX_WUH_Hour_clk地球自转文件: IGS_erp / WUH_erp / COD_erp / GFZ_erp/ IGR_erp/ WUHU_erp / WUH_Hour_erpBias文件: MGEX_WHU_ABS_bia / MGEX_WHU_OSB_bia / GPS_COD_bia / MGEX_COD_bia /MGEX_GFZ_bia电离层: IGSG_ion / IGRG_ion / WUHG_ion / WURG_ion / CODG_ion / CORG_ion / UQRG_ion/UPRG_ion / JPLG_ion / JPRG_ion / CASG_ion / CARG_ion / ESAG_ion / ESRG_ionSINEX文件: IGS_day_snx / IGS_week_snx / IVS_week_snx / ILS_week_snx / IDS_week_snx实时文件: CNES_post / CNES_realtime天线文件: MGEX_IGS_atxDCB: GPS_COD_dcb / MGEX_CAS_dcb / MGEX_WHU_OSB / P1C1 / P1P2 / P2C2对流层: IGS_zpd / COD_tro / JPL_tro / GRID_1x1_VMF3 / GRID_2.5x2_VMF1 / GRID_5x5_VMF3SLR: HY_SLR / GRACE_SLR / BEIDOU_SLROBX: GPS_COD_obx / GPS_GRG_obx / MGEX_WUH_obx / MGEX_COD_obx /MGEX_GFZ_obx / MGEX_WUHU_obx空间环境文件: SW_EOP时间序列/速度等: IGS14_TS_ENU / IGS14_TS_XYZ / Series_TS_Plot/ IGS14_Venu / IGS08_Venu / PLATE_VenuGNSSby笔者从2020年写过一个matlab的数据下载脚本，使用wget下载FTP的观测数据，但仅局限于CDDIS和WHU两个服务器地址。而后CDDIS宣布关闭FTP服务后，wget数据下载遇到了各种花式问题，决定重写一个数据下载脚本。此外团队中的软件NetDiff是一个具备数据下载功能的高精度定位和分析软件，可作为少量的数据下载使用。 鉴于数据下载的协议的多样化，写了一个python的脚本gnssby，意在不使用外部工具的情况下，借助python本身的功能实现多种协议、可配置的数据下载和传输，具备时间替换、站名重命名、多类型替换等功能。 首先，由于最初的设计理念的差异，gnssby的脚本实现与上面两种存在区分。gnssby分为服务配置、数据列表配置、主程序脚本。功能函数脚本四部分构成。其中前三项分别在项目中命名为config.ini、listTable.ini和gnssby.py三个文件。具体源代码链接[3]。 下面给出三个文件的使用说明： config.ini 配置说明config.ini文件中需要配置数据下载的服务器、远程目录、文件类型、本地下载地址、本地重命名、解压等信息，对于用户来讲，当一个新的服务器的数据下载需求，直接配置该文件就可以生成，下面给出部分配置形式。 其中每一个" [ XXX ] "都是一个配置项，除[global]是全局配置项外，其余的配置为独立的文件下载或者服务器下载类型。 全局配置项[global]，local_dir配置的为下载到本地的主目录，overwrite是配置如果本地存在同文件名，是否复写。 下面就服务器配置说明。[HTTPS_ACs]配置的为cddis的网页端数据下载配置，具体的配置形式，用户可以自行去github上了解，已给出部分服务器的下载配置。 host:目标服务器地址remote_dir: 目标服务器的远程目录lsub_dir： 下载到本地的子目录，该目录结构会与[global]的local_dir连接，例/data1/localdata/igsArchive/[WEEK]file_pattern： 下载的文件名形式，???????????[YYYY][DDD]?????????[file_type].gz，只要符合这种文件形式配置的文件都会被下载，其中每个英文形式的“？”代表一个字符。file_type： 下载文件的类型，这里面每一个选项都会替换file_pattern或者remote_dir中的[file_type]标识。ftp_type： 目标服务器的协议，目前支持ftp/ftp-tls/https/http/SFTP四种协议，其中https仅支持CDDIS的目标服务器。step ： 每个文件下载的时间标识间隔，单位为小时，每天一个文件就是24，sinex周解文件为每周一个的时候就配置168.decompression： 是否解压rename： 是否重命名及重命名格式rename_pattern： 重命名的形式，替换rename参数中的【rename_pattern】变量，并与file_type参数的个数一一对应。需要注意的是，下面的样例配置项中出现了[WEEK] [YYYY] [DDD]等特殊字符串，表示与对应数据下载时间的替换。而 [SITE] 和 [site] 则代表了站名大小写的替换。 [global] local_dir = /data1/localdata/ overwrite = 1 ################ example: HTTPS ################ [HTTPS_ACs] # all ACs products will be downloaded. # note: using with listTable.ini host = https://cddis.nasa.gov remote_dir = /archive/gnss/products/[WEEK]/ lsub_dir = igsArchive/[WEEK] file_pattern = ???????????[YYYY][DDD]?????????[file_type].gz file_type = [01D_ERP.ERP] [15M_ORB.SP3] [30S_ATT.OBX] [30S_CLK.CLK] ftp_type = https step = 24 decompression = 1 rename = [site][WD].[rename_pattern] rename_pattern= [erp] [sp3] [obx] [clk] ################ example: HTTPS ################ ################ example: HTTP ################ [CNT_HTTP] host = http://www.ppp-wizard.net remote_dir = /products/REAL_TIME/ lsub_dir = igsArchive/cnt/ file_pattern = cnt[WD].[file_type].gz # [bia] [sp3] [clk] [obx] file_type = [bia] [obx] [sp3] [clk] ftp_type = http step = 24 decompression = 1 ################ example: HTTP ################listTable.ini 配置说明listTable.ini本意用来配置需要下载哪些测站，不区分大小写，如果没有配置具体的站名，则会将当前远程目录的所有文件名匹配的全部下载。 除此之外，仍以上一节给出的配置 [HTTPS_ACs] 为例，listTable.ini中在 [HTTPS_ACs] 条目下配置了GFZ和COD两个选项，也就是说远程目录中，以GFZ或COD开头的文件，并且符合file_pattern = GFZ????????[YYYY][DDD]?????????[file_type].gz 或 COD????????[YYYY][DDD]?????????[file_type].gz的具体日期文件都会被下载，在下载后，且因为配置rename参数，文件解压后会被重命名为 gfz[WD].[rename_pattern]或cod[WD].[rename_pattern] 的形式。 如果下载的配置是 [WHU-RNX] ，由于listTable.ini中[WHU-RNX]的下面什么都没有配置，则符合 [WHU-RNX]目标服务器下的所有文件都会被下载到本地。 可能对于GNSS数据类型不太熟悉的人比较难掌握，但脚本的可配置性增加了很多。 # [HTTPS_ACs] GFZ COD [HTTPS_RNX] iisc kat1 marg SGOC # if no special listTabel.ini for [WHU-RNX], all file will be downloaded. [WHU-RNX] [GA_RNX] admn alby alic antw apsl ard2 ardl armc armdgnssby.py 配置说明主程序就相对简单一点，需要配置的只是下载的时间和服务器名称。如下图所示，数据下载的起始时间，结束时间和具体下载哪个配置项的数据。在linux下执行python3 gnssby.py即可，或者windows下的python gnssby.py。  gnssby.py文件配置样例参考链接 [1] zhouforme0318/GAMPII-GOOD (github.com) [2] ChangChuntao/FAST: FAST Aiming at the problems of cumbersome steps and slow download speed of GNSS data, a relatively complete set of integrated multi-source data download terminal software fast is developed. The software contains most of the data sources required in the process of GNSS scientific research and learning. The way of parallel download greatly improves the efficiency of download. (github.com) [3] yeshuo25/gnssby: script for gnss download (github.com) |
【本文地址】