基于Spark云网络的海洋大数据主从索引系统及方法
专利号：CN105117497B
成果方：上海海洋大学
成果类型：发明授权
发明人：黄冬梅; 赵丹枫; 孙乐; 郑小罗; 徐慧芳; 许琼琼
授权日：2018-12-07
价值预估：请联系我们获取最新价值
本发明涉及一种基于Spark云网络的海洋大数据主从索引系统及方法，尤其适用于具有空间自相关性、强相似性、实时等特点的海洋大数据；将大数据时代物联网、云计算等技术应用于分布式索引领域，以物联网作为海洋信息采集的触角，依托聚类思想设计数据划分策略，并将数据分布式部署和存储到各物理云；结合多层主从索引结构实现多源海洋数据快速一站式调用，满足各类海上预警及应急模型中高性能计算、强实时反馈、高频度查询等需求。采用该种结构的基于Spark云网络的海洋大数据主从索引系统及方法，以物理云存储为基础，保证了多源数据毫秒级查询响应需求，从而聚焦快速实时灾害反演及预警，加快了海洋防灾减灾等的数字化和信息化进程。