北部湾位于中国大陆海岸带西南端、南海西北部,毗邻东盟和粤港澳大湾区,也是西部陆海新通道平陆运河入海地,战略地位十分突出。然而,北部湾海域自然灾害凸显,热带气旋活动与藻华频发,给海洋生物带来了不容小觑的损害,而且广西贝类支柱产业的钦州大蚝春季死亡灾害的发生与环境盐度长期过高有关。因此,亟需打造融合监测、预警、溯源、防灾、生态休闲和线上交易的全产业链智慧海洋牧场服务平台 ,为北部湾海洋牧场生态环境监测和海洋渔业发展提供技术支撑。
1平台系统设计与开发
随着海洋环境感知和信息传输技术水平的提升,海洋时空数据资源得到了极大丰富,这对海洋数据组织管理方法提出了更高的要求,基于网格模型的时空数据组织方法为海量、多源异构和动态的海洋大规模时空数据的高效管理提供了途径。而根据北斗网格位置码(GB/T39409-2020),万世万物的区域时间和位置均可在国家地球剖分型域时空框架下赋值、定义,建立融合时空数据的北斗网格码索引将大幅提高海洋空间信息的查询、组织与管理效率。
1.1 平台系统设计技术原理
本服务平台的技术原理主要包括通讯机制设计、时空大数据预处理和服务平台开发3部分,保障海洋牧场示范区数据的采集、传输、融合、衔接与展示。
服务平台不但要求实现海洋地理时空网格化数据的自动采集、远程传输、处理入库,满足应用示范的要求,而且在此基础上还需要实现远程修改遥测站运行的参数和通讯参数。通讯机制总体设计为:(1)建立了以控制中心为核心的一体化信息系统;(2)提供了各分中心自动控制本辖区海上海下采集的操作平台,通过通信监控前置机,自动采集所有遥测站的数据并按照设定的工作方式发送到中心;(3)可以对所有运行遥测站进行运行参数设置,控制采集站的运行;(4)通过移动技术信道(4G)远程自动同时提取所有遥测站的历史固态数据。基于移动4G技术的远程数据采集技术,实现对远程海洋生态传感器实施实时监控与数据采集。
时空大数据的管理过程具备一系列的标准约束,以现有大数据行业标准为基础,经过一系列对比与分析,筛选出适合海洋牧场大数据处理的行业标准,并通过参考现行国际通用标准编制海洋牧场数据处理新标准,以补充完善海洋大数据管理标准体系。依照标准,结构化数据(关系数据库)存入Hbase数据库,半结构化数据(JSON日志)和二进制数据(视频、音频)等存入HDFS文件。
平台数据主要包含2类: (1)即测数据与存储 ,包括北斗时空网格化数据,海洋(水上/水下)高精度导航定位数据,布设示范区域海洋大地测量基准(信标)与应答感知设备数据,海上/海下位置服务原型系统数据,数字海洋综合业务系统运行数据等;(2)历史调查数据 ,包括“908专项”中国近海海洋综合调查与评价资料,其中包含近岸海域、海岸带、海岛、沿海地区社会经济等基础调查数据信息。对数据跨越数据库、格式、应用等多层次差异的融合管理,将提高数据信息的整合与管理水平。
1.2服务平台的开发
数据库、视频、音频和日志等海洋多源异构数据经数据清洗、转换、质检等步骤按照HDFS、Hcatalog、Hbase、Redis等目标存储库进行分类写入储存,以web或日志模块进行数据抽取与展示。运用ETL工具进行数据的清洗与整合,使离散、凌乱的数据得以有序入库。
基于海洋数据信息来源广泛、形式复杂多样等特点,本研究引入Hadoop2.2.0框架应用于海洋多源异构数据的存储、提取、整合与分析等方面。在该集群环境下,海洋环境感知系统与数据库通过JBoss服务器并结合MapReduce编程模型,将符合查询条件的数据映射给可视化展示平台。同时,平台采用J2EE架构,基于restapi设计风格,持久层采用hibernate、mybatis等相关框架设计,主要使用Java编程语言和服务器端Java技术,通信数据包采用轻量级的JSON格式,业务应用系统和数据集成平台均基于Hadoop2.2.0及oracle11g(或以上)大型数据库上,平台至少集成HBase、Hive、Im-pala、Sqoop、Phoenix组件。基于Html5体系和开源ECharts、webGL展现海洋大数据。北部湾海洋牧场地理时空数据网格化智慧服务平台的总体开发框架如图1所示。
■北部湾海洋牧场地理时空数据网格化智慧服务平台
为了提高信息服务质量,平台运用了WebService客户端和服务器使异地用户自由HTTP通信;引入控制反转和依赖注入消除组件或者模块间的直接依赖,使得软件系统的开发更具扩展性;提升数据检索技术,保证检索性能和检索速度,从海量数据中提取信息依然流畅。
2平台功能与应用
2.1 平台主页面
本研究搭建的北部湾海洋牧场地理时空数据网格化智慧服务平台web主页面(图2)以深蓝色色调为主,查询登录网站为:http://47.92.145.187:8081/front/index,现已免费开放给科研工作者和养殖户,为北部湾海洋牧场提供海洋生态数据与灾害预警信息。
■北部湾海洋牧场地理时空数据网格化智慧服务平台web主页面
2.2 平台主要模块
(1)海洋牧场高精度位置服务。 依托海洋大地测量基准信标与应答感知设备,为水面船舶、观光垂钓平台、网箱、筏架、蚝排、水下鱼礁、AUV、ROV等海洋牧场生产设施设备提供高精度的位置信息服务。
(2)邻近海域大地水准面模型分析。 依托海洋大地测量基准信标与应答感知设备,通过解算,在平台上显示海洋牧场邻近海域网格化的大地水准面数值。
(3)示范区水动力数值模型分析。 显示水动力要素的网格化空间分布和时间变化,形象生动地表达计算结果,为研究近海区域波浪、潮流、泥沙运动规律提供科学决策依据。
(4)海洋科学数据智能查询。 通过北部湾经济区科学数据智能查询系统和北部湾经济区科学数据辅助分析决策系统,进行气候资源、地质信息、水文信息等数据的可视化、浏览、查看、统计展示。
(5)浮标信息监测与分析。 通过浮标采集风向、风速、表层流速、表层流向、平均波高、波数、气温等海洋物理监测数据以及水温、电导率、盐度、溶解氧、叶绿素浓度、pH等海洋理化监测数据,丰富海洋牧场环境信息要素。
(6)北部湾海洋牧场雷达监控系统。 通过雷达远距离探知北部湾海域民用船舶航行路线,对危害海洋牧场的偷窃作案船只或肇事船只进行追踪,保障安全生产。
(7)精细化管理与快速监测预警。 实现示范区内海洋产业的精细化管理,为水面船舶、观光垂钓平台、网箱、筏架、蚝排、水下鱼礁、AUV、ROV等海洋牧场生产设施设备提供高精度的位置信息服务和属性管理,实现管理者心中有数、智能决策。同时,实现动态监测预警,通过计划模块和监测模块提供的数据进行对比分析计算和评分,快速判断是否进行超标预警,并以不同的方式展示计划与监测的现状数据用于辅助决策。
(8)大蚝交易系统与趋势分析。 通过交易系统,统计查询存放、展示、销售的大蚝产品,记录存放的货物信息,由于需要充分利用存放空间,把不同农户的商品存放在同一区域,需要精确查找识别不同农户存放的货品。对所有电商的在库商品进行统计分析,对有保质期的商品进行有效期检查,如有发现即将到期的商品,系统将有提示,电商还可以查询到商品出货情况。
3讨论
北部湾海洋牧场地理时空数据网格化智慧服务平台在开发了示范区全域时空北斗网格码的网格化算法基础上融合了环境数据时空演变、北斗抗干扰多功能数据采集、海洋承灾体脆弱性调查与评价模型、陆海综合体核心数据库及入库标准、水动力数值模拟模型、海洋大地测量基准(信标)与应答感知设备等多项关键数据信息与软硬件内容,同时通过优化检索算法增加了网格数据索引效率,提升了对海洋牧场生态环境、生物资源、气象、水动力等多源异构数据的感知与管理水平 ,可为业内从业者提供借鉴。该平台示范区位于钦州茅尾海钦州大蚝主产区,平台由海洋生态环境监测、浮标信息监测与分析、北部湾海洋牧场雷达监控等多元系统组成 ,通过连入相应系统,可立体监测海洋牧场蚝排生产运营状况与潜在生态安全威胁。
在当今科技高速发展的形势下,海洋数据感知与传输能力不断提升,海洋数据呈现爆炸式增长,但海洋数据来源众多、处理分析复杂,海洋牧场数据管理的信息化水平有待提升。基于海洋大数据强时空关联、高耦合等特点,引入基于北斗网格码的地理时空数据组织方法,为海洋大数据的高效管理提供助力,同时可为实现现代海洋牧场广域生态环境多维信息化监控、发展现代化海洋牧场甚至全域型海洋生态牧场奠定基础。随着我国海洋牧场战略空间不断扩大,在“生态、精准、智能、融合”的海洋牧场新阶段战略构想理念指导下,通过科学选址、资源修养护、安全保障等手段构建现代海洋牧场多维动态立体监测体系,打造融合监测、预警、溯源、防灾、生态休闲和线上交易的全产业链现代化海洋牧场信息管理平台,从而达到“提品牌、增效益、止损失”目标,促进产业转型升级。
4 结论
(1)构建了集海洋科学数据在线采集分析、海洋灾害监测预警、海产品全域溯源线上交易功能的智慧服务平台。 实现对海洋牧场及其周边区域地理时空网格化数据转换、存储与展示,形成一套对应的生态、产业和生活复杂陆海监管信息采集与分析系统,对海洋牧场进行精细化管理以及监测预警。
(2)服务平台引入了北斗网格码算法和北斗/GPS信号水下盲区的海洋牧场水下高精度位置服务,是该服务平台的重要特点。 依托全球剖分网格,将传统的多边形空间求交检索算法转化为网格编码数值匹配检索算法,大幅降低空间检索的计算复杂度并提升了空间数据的检索效率。依托水下的海洋大地测量基准信标与应答感知设备,通过海上海下一体化高精度定位算法的解算,建立区域海洋大地测量基准与海上/海下综合位置服务系统,为区域内用户提供高精度的位置服务。
(3)服务平台促进了产业融合。 平台主要服务于钦州“龙门蚝湾”养殖产业示范区,产业融合上从海上渔业向多产业融合转变,覆盖广西钦州本地优势天然蚝苗的繁殖、大蚝养殖与交易,促进了产业增值和生态保护的结合。在传统海洋数据管理信息系统基础上,利用网络数据库、数据快速检索、数据网络分析、北斗网格码、可视化等技术手段与方法构建了北部湾海洋牧场地理时空数据网格化智慧服务平台(查询登录网站为http://47.92.145.187:8081/front/index)。该服务平台具有界面友好美观、分辨率高、检索速度快等特点,可为北部湾海洋牧场提供切实有效的信息服务与决策支持,促进北部湾海洋经济健康发展。
来源 | 本文原刊于南宁师范大学学报(自然科学版)2023年第2期