在农业信息化工作中,绕不开的一个词“农业大数据系统”。
“农业大数据系统”是什么?
“农业大数据系统”有哪些应用场景?
“农业大数据系统”如何建设?
跟着小编一起来进行普及吧
1.什么是“农业大数据系统”
当前农业行业,持续多年的行业建设,其实已经积攒了大量的农业数据,比如:前面几篇文章介绍的“三调数据”、“确权数据”、“高标农田数据”等等,还有很多各地zf建设的业务系统,而留存的数据,如“农事操作数据”、“农产品价格数据”等等,更甚至,还有“卫星遥感数据”、“无人机操作数据”等等。
当前现状是,这些数据零散的分布与各个系统,甚至一些数据只是静静的躺在zf的存储电脑硬盘中,并没有发挥气重大作用。
2019 年 10月,我国的十九届四中全会首次将数据纳入生产要素范畴,这也代表了“数据要素”这一概念正式诞生,同时也意味着数据与土地、劳动、资本、技术等传统生产要素“平起平坐”。
今年1月初,国家数据局等17个部门联合印发《“数据要素×”三年行动计划(2024—2026年)》,进一步推动发挥数据要素乘数效应,释放数据要素价值,赋能经济社会发展。
数据要素日渐在各个领域中发挥重大作用,而如何建设一个系统,让数据采集、汇聚、存储、分析、治理、共享从而产生重大作用,就是大数据系统该承担之责。。
农业大数据系统是一个涉及农业全过程的数据收集、处理、分析和应用的系统。它利用遥感、地理信息系统、定位系统、计算机技术、通讯和网络技术、自动化技术等高新技术,实现对农作物从规划、投入、生产到收获、加工、营销等全过程的模拟、监测、判断、预测和建议等。
这个系统的主要目的是提高资源利用率,降低成本,提高生产效率和产品质量,改善生态环境。它通过对多维和海量数据的组合和优化,为生产操作和经营决策提供依据,并实现部分自动化控制和操作。同时,它还可以用于指导农事生产、辅助农业决策,以此达到规避风险、增产增收、管理透明等预期目标,拉动农业产业整体内需,大幅提高农业整条产业链的效率。
2.“农业大数据系统”如何建设
农业大数据系统架构图
(1)基础设施层
基础设施层为大数据平台提供必要的运行基础,基础设施包括前端各类智能采集设备以及政务云既有的基础设施,其中政务云基础设施包括网络设施以及计算资源设施、存储资源设施、安全资源设施和软件资源设施等。
基础设施层,既包含软件系统运行所需要的各种服务端环境,根据应用的不同环境,应为大数据平台提供不同的网络环境,确保不同应用环境下的用户能正常访问大数据平台,网络设施包括电子政务网、互联网等通信网络。
也包含各种智能设备采集所需要的硬件与网络支撑。智能采集设施 通过在数字农业种植、养殖等前端部署的物联网设施设备和移动采集设备,实现各类监测数据的在线收集,如气象监测设施、土壤监测设施、水质监测设施等。
(2)数据层
依托基础运行环境提供的基础软硬件资源,大数据平台应通过一定的技术手段采集相关数据资源,经过数据治理,形成大数据平台管理资源库。
平台数据架构设计应考虑数据资源的六个统一,即统一规划、统一存储、统一服务、统一接入、统一治理。再根据数据应用环境、用户需求和平台要求设计的数据安全体系,实现数据架构服务于平台整体系统架构。
数据层,是大数据系统的核心,数据层将散落与网络或孤立的系统中的各项数据通过“采集”、“存储”、“治理”、“计算”等一系列操作,从而实现数据的标准化,从而为农业的各项决策提供数据支撑与预测。
大数据系统的数据处理流程
- 数据采集层:负责从各种数据源收集数据,包括结构化数据(如关系型数据库)和非结构化数据(如日志文件、社交媒体数据等)。数据采集可以通过API接口、数据库连接、MQ、ETL工具等方式实现。
- 数据存储层:负责将采集到的数据存储在分布式文件系统(如HDFS)或分布式数据库(如HBase)中。数据存储层需要支持高并发、高可用、低延迟的访问需求。
- 对于数据源的原始数据直接存储在前置库中,此时需要根据数据形式采用不同的存储组件。如关系型数据、非结构化数据、gis数据、物联网时序数据等
- 数据存储层同样需要考虑经过数据处理后的数据,此类数据统一存放在后置库中。此库同样需要根据数据形式采用不同存储组件
- 数据处理层:负责对存储在数据存储层的数据进行清洗、转换、聚合等操作,以便后续的分析和应用。数据处理层可以采用批处理框架(如Hadoop MapReduce)或实时流处理框架(如Apache Flink)。
- 数据共享层:采集处理得到的数据,需要再提供给业务系统所使用才有价值,所以大数据平台需要提供一套完整的数据共享接入机制。可以考虑类似openAPI开放平台的接口提供方式,提供数据接口。该层需要提供完整的接入管理、接口鉴权、流量控制、权限分发等系列openAPI平台应该具备的功能
- 数据监控:部署监控系统(如Prometheus、Grafana等),实时监控系统的运行状态,对于各个环境的数据、处理、任务等操作,进行安全监控。最好能提供一套可视化界面和配置,能够更加轻松的观察系统状态。
(3)数据标准
网络的数据大多零散,杂乱。导致数据的可阅读性,较低,在大数据系统中,一个重要职责,就是定义数据的数据标准,从而让零散杂乱的网络数据,变得清晰有条理。
农业数据共享是指不同来源、格式和标准的农业数据能够在一定范围内进行共享和交换,以提高数据的使用效率和价值。为了实现农业数据共享,需要建立统一的数据标准和规范,包括数据格式、数据质量、数据安全等方面的要求。同时,还需要建立数据共享平台和数据共享机制,促进数据的有效流通和利用。
农业数据标准化是指对农业数据进行规范化、标准化的处理,使其符合一定的标准和规范,以便于数据的共享、交换和应用。农业数据标准化的过程包括数据元标准化、数据分类编码标准化、数据采集标准化、数据处理标准化等方面。通过数据标准化,可以提高数据的质量和可靠性,减少数据冗余和错误,提高数据的使用效率和价值。
3.“农业大数据系统”实际应用场景
大数据在农村发展方面有许多实际案例和应用场景。以下是一些具体的例子:
- 智能农场管理系统:通过传感器、无人机、摄像头等设备采集大量农场数据,如土壤湿度、温度、气象条件、庄稼生长状态等。这些数据通过人工智能分析后,可以为农场主提供决策建议,帮助他们提高农业生产效率。
- 农产品溯源系统:利用区块链技术,记录每个农产品的生产、加工、流通等过程,确保农产品的真实性和安全性。消费者可以通过扫描二维码获取农产品的详细信息,增加农产品的透明度和信任度。
- 农业风险评估系统:通过分析气象、地理、地形等数据,预测自然灾害和疫情等风险,帮助农民提前做出应对措施,降低农业生产损失。
- 农村金融普惠平台:基于大数据技术,为农民提供贷款、保险等金融服务,解决他们融资难、融资贵的问题,促进农村金融的可持续发展和普及。
- 种植过程大数据应用:通过参数传感器实时监测大棚内的环境数据,如空气温度、湿度及土壤干燥度等,并设置预警信号。同时,将作物生长、病虫害等信息实时上传到云端系统,帮助农户及时做出判断和处理,提高种植效率和质量。
评论留言