气象科技管理信息系统

气象科技管理信息系统

当前位置:首页 / 科技成果 / 成果展示 / 正文阅读

行业专项成果综述-气象大数据的高效应用技术研究

发布者:张岳   来源:   发布时间:2021/7/20 15:55:35   标签:   浏览次数:2607

项目编号GYHY201506025

研究周期2015年1月-2017年12月

国拨经费267万元

项目负责人沈文海

项目骨干成员沈文海 吴焕萍 徐晓莉 张金标 马廷淮 舒红平 孙超 曾乐 刘媛媛 徐拥军 刘北 宋智 李永生 田伟 罗飞 周谊

项目承担单位国家气象信息中心

项目协作单位】上海引跑信息科技有限公司 南京信息工程大学 成都信息工程学院 四川省气象信息中心 广东省气象探测数据中心 国家气候中心

主要研究成果

1)对气象大数据采集、清洗、存储、分布式计算、分析挖掘、可视化等问题进行了研究,开发了气象大数据平台原型。分布式气象大数据平台提供气象数据管理与服务,主要包含数据存储管理(分布式数据库和分布式存储)和数据共享服务。结构化数据主要包括地面、高空、海洋、地面辐射、地面农业气象、大气成分等观测等资料,提供精细化预报、城市预报、台风实况预报和旅游景区等服务产品;常规非结构化数据主要包括卫星遥感、天气雷达遥测和数值预报等资料。常规非结构化数据的存储管理要求大容量存储,可靠性强,数据存储周期长,资料内容丰富,服务方式多样,支持海量小文件数据高效检索查询;MICAPS3/4数据存储需要满足实时类用户高时效性的访问要求,同时支持高效的数据处理流程,包括模式、卫星、雷达、地面、高空等,MICAPS数据统一采用分布式数据库+分布式文件存储方式存储,在分布式数据库中完成文件数据的元数据和数据索引管理,数据实体采用分布式文件的方式存储;CIPAS 2.1数据,netCDF数据格式的基础信息、观测、再分析、预报模式、卫星等数据。提供面向气候业务应用的集约化基础数据环境,内容涵盖全时间序列的地面常规观测、指数资料、再分析资料以及数值预报产品等,并提供基于要素、层次、时间、范围、种类等查询参数的统一、简单的访问接口(API)。基于分布式气象大数据平台(原型),实现了对地面逐小时资料、雷达基数据资料、数值预报产品等数据的检索时效提高了10倍以上。

2)采用构件化、面向服务、大数据分析的思想,建立了气象分析算法模型,并实现了典型气象算法的构件化,完成了对气候业务系统常用的算法,如合成分析、线性相关分析和经验正交函数分解(EOF)等算法进行了并行化设计,封装成构件的形式供业务系统调用,开发了气象算法构件可视化开发环境与工具;

IDV技术和构件技术引入气象大数据的可视化中,对IDVWeb应用模式、气象服务产品可视化生成、IDV动态配置文件整合、数据同化和模式同步、可视化构件等关键问题进行了研究,开发了图形化引擎、报表引擎、页面可视化开发工具和各类图形化构件,实现了基于IDV的气象大数据显示。同时研究了Web页面的生成技术,开发了Web界面可视化开发工具;

形成涵盖数据预处理、模型训练、预测分析和图形展示各环节的数据挖据平台。

3)开发了WebCIPAS系统建设,该系统基于WEB完成CIPAS中“合成分析-距平百分率”、“线性相关”、“EOF”三种交互式气候诊断功能,实现从算法调用到业务产品的输出功能;

CIPAS2.0基于云技术的省级虚拟化平台建成,并在广东、陕西、甘肃、内蒙、宁夏、青海等地方开通部署,同时开通了基于云技术的CIPAS2.0访问与应用。

4)发表论文14+篇,国外发表9篇。 

成果应用情况

项目成果气象大数据平台(原型)系统在四川省气象台、南充市气象局得到了应用,建立了面向省、市、县级气象预报业务工作的精细化预报业务平台,平台于201612月投入试验运行、20176月投入业务运行以来,逐步成为了我省各级预报业务单位开展精细化预报业务工作的核心业务平台。“气象大数据平台(原型)”省级系统定制并发布了若干个气象数据服务接口,为“四川省精细化预报业务平台”提供统一、标准、高效的气象数据支撑。尤其是抽取数值模式的格点预报和站点预报的服务接口,为业务平台实现多维度的数据应用提供了极大的方便,实现了扁平化的气象业务模式。

除此之外项目阶段性成果气象信息化软件开发平台在北京华云星地通科技有限公司、宁夏回族自治区气象信息中心得到了应用。利用气象信息集成、共享和服务构件库显著缩短了开发周期、降低了开发成本;利用基于IDV的气象信息可视化技术实现了区域自动站、地面气象观测站、探空、加密观测、农气、雷达、和卫星等各类气象信息的可视化显示;利用配置工具,实现了应用的页面配置、服务器配置、页面流配置、逻辑流配置、业务流配置和功能配置。


设为首页 | 加为收藏 | 网站介绍 | 联系我们
版权所有:中国气象局  网站维护:中国气象局气象干部培训学院
业务咨询:010-68406238 技术支持:010-68405445
地址:北京市海淀区中关村南大街46号 邮编:100081 EMAIL:kjgl@cma.gov.cn 京ICP备 15008089号-2
访问次数[54394523] 当前在线[0]