大数据助力贵州气象“气象万千”

贵州气象局
网站：http://www.gzqx.gov.cn/
组织规模：
行业：

　　pg电子官网通过云海大数据一体机和专业效劳，资助贵州气象局建设大数据立异实验室，实现气象效劳立异。

　　贵州是寒潮、冰雹、干旱、暴雨、大风等自然灾害比较密集、频发的地区，气象是“生命线”工程。气象信息事关国家建设、人民生命宁静，但保存数据量大、数据源庞大、数据需求多、价值挖掘难等问题，为贵州气象业务生长带来巨大挑战。

　　2016年，实验室的主要任务包括：搭建大数据情况、云平台情况、虚拟化情况等，确定气象大数据整体技术路线，对前沿云及大数据技术进行验证，为气象大数据生产情况提供技术支持和指导。

　　气象大数据应用立异云实验室，是应气象大数据应用立异中心的预研要求而建立的，主要开展跟气象大数据相关立异研究的实验室。pg电子官网通过云海大数据一体机和专业效劳，用软硬一体化的解决计划资助贵州气象局建设大数据立异实验室，实现气象效劳立异。

　　

　　大数据情况的搭建及优化

　　装置漫衍式系统族群软件，包括：HDFS、MapReduce、HBase、Hive、Pig、ZooKeeper等；装置成熟内存数据库；对开源系统进行功效、性能验证并进行参数优化；形成系统装置、使用报告。

　　NoSql数据库建模及开发规范测试

　　1.论证NoSql数据库表的建模要领、模型优化原则和规范等。

　　2.全面测试、比较NoSql数据库与关系型数据库基于差别业务，在性能、功效等方面的差别性，确定两种数据库划分适合的业务领域。

　　3.提供书面的NoSql数据库表建模参考文档，指导新增气象业务表模型建设。

　　4.设计气象业务模拟场景，进行基于NoSql数据库的大数据存取性能测试，并形成测试报告。

　　气象大数据云平台的搭建及测试事情

　　1.装置应用引擎软件，并验证项目自动编译、自动安排功效。

　　2.设计并验证基于开源软件Web容器自动扩展、自动负载功效。

　　3.提供书面装置及测试报告。

　　支撑情况选型测试

　　1.验证并测试虚拟化的相关功效。

　　2.测试应用引擎软件划分基于虚拟机和物理机运行的可行性及性能参数，并进行比较。

　　3.应用引擎与开源资源分派工具（如：cgroup等）的集成研究及应用。

　　通用效劳验证

　　1.对广泛使用的开源搜索框架、开源消息中间件、开源日志组件进行功效、性能、兼容性等方面的测试，确定开源版本。

　　2.设计适用于气象大数据云平台的统一用户认证计划，并验证其可行性。

　　编写气象大数据平台技术白皮书

　　面向第三方，编写气象大数据云平台技术白皮书。涵盖包括：应用系统技术框架约定，使用NoSql数据库及漫衍式系统的要领及示例程序，编程规范，目录结构规范（包括用户可自由计划的目录），各平台软件的版本及后期集体升级的思路、步伐等内容。

　　灾难测试

　　对漫衍式系统治理节点和数据节点进行灾难测试，包括节点恢复、数据恢复、磁盘恢复等测试。

　　大数据系列软件功效扩展开发

　　对大数据软件的功效进行扩展开发，包括HBase二级索引计划的设计及实现，并进行性能影响性剖析。

　　气象大数据应用立异实验室吸引了行业优秀的专家学者和社会优秀人才配合开展气候大数据立异研究，担负了产品选型测试、软硬件测试、宁静和危害测评、立异应用开发、新应用上线测试等任务，为气象大数据应用立异提供实验基地，为气象大数据焦点技术实验和落地实施提供可靠包管，为贵州省气象大数据平台建设全面铺开涤讪基础。