农业大数据平台科学数据建设探讨
- 格式:pdf
- 大小:1.26 MB
- 文档页数:3
推进农业农村大数据应用平台建设实施方案随着互联网和信息技术的快速发展,农业农村大数据应用平台的建设对于实现农业的现代化和农村的信息化具有重要意义。
农业农村大数据应用平台可以为农业决策提供科学的依据,提高农业生产效率和质量,促进农村经济的发展。
以下是推进农业农村大数据应用平台建设实施方案的主要内容:一、目标与原则:1.目标:建设功能全面、服务便捷、数据安全的农业农村大数据应用平台,提供全面、准确、实时的农业决策支持和农村经济发展信息服务。
2.原则:科学性、实用性、开放性、共享性、安全性。
二、基础建设:1.建立完善的信息采集体系:利用物联网、传感器等技术手段,对农田、天气、农作物生长情况等进行实时监测与数据采集。
2.构建可靠的数据存储和处理平台:建立云计算平台和大数据存储系统,实现大数据的搜集、融合、分析和处理。
3.建立全面的数据标准和规范:制定农业农村大数据的标准和规范,确保数据的一致性和可比性。
三、功能建设:1.农业生产决策支持:根据大数据分析结果,提供农业生产的种植、养殖、施肥、灌溉等方面的科学决策支持,提高农业生产效率和质量。
2.农产品市场预测和规划:通过大数据分析市场需求,预测农产品的供求情况和价格变动趋势,为农民和企业提供农产品销售的参考意见和市场规划。
四、支撑与保障:1.技术支持:加强技术研究和创新,推动大数据相关技术的发展与应用,提高农业农村大数据的采集、存储、分析和应用能力。
2.政策支持:制定相关政策和规定,鼓励农民和企业参与农业农村大数据建设的积极性,提供资金和技术支持。
3.数据安全保障:加强数据安全管理,确保农业农村大数据的安全性和隐私保护,防止数据泄露和滥用。
4.人才培养与培训:加强对农业农村大数据应用平台的人才培养和培训,提高专业人员的技术水平和应用能力。
五、推进措施:1.加强组织领导:成立农业农村大数据应用平台建设的专门机构,统一协调推进工作。
2.加大投入力度:增加农业农村大数据应用平台建设的财政投入,鼓励社会资本参与。
农业数据库建设的现状及发展趋势农业数据库建设的现状及发展趋势农业数据的获取和处理是农业发展的关键,如何建立农业数据库以有效地支撑农业管理和决策是一个十分重要的研究课题。
农业数据库是一个容纳农业数据的结构化信息系统,它能够存储农业数据,分析农业数据,以及发挥农业数据的最大价值。
本文从农业数据库建设的现状入手,探讨农业数据库建设的发展趋势以及发展策略。
一、农业数据库建设的现状目前,农业数据库的建设已经取得了长足的进步。
农业数据库已经成为农业信息化发展的重要组成部分,为农业发展提供了强有力的支撑。
1.信息采集现代化的农业数据库建设需要依靠信息采集技术的支持,包括网络或传感器采集用于收集海量智慧农业数据、远程监测采集用于获取远程地理空间信息,以及多媒体信息采集等。
2.信息整合农业数据库建设需要对信息进行整合,以实现数据的有效共享和交换。
其中,数据整合技术是农业数据库建设的重要组成部分,它可以将不同数据源的农业数据进行整合,使农业数据更具有科学性和合法性,以助力农业的可持续发展。
3.信息存储农业领域的大数据也有着各自独特的特征和要求,对于农业数据库的存储也越发重要。
农业数据库需要运用先进的数据库管理技术,在较短的时间内提供更高效的存储。
二、农业数据库建设的发展趋势随着信息技术的发展,农业信息化的发展趋势有所变化。
农业数据库的建设也需要实现更多的服务,使其更加精准、智能化、模块化、智慧型。
1.信息模型为了使农业数据库更具有科学性和合理性,需要建立一种有效的数据模型,以便有效地收集和管理农业数据。
针对不同类型的农业数据需要建立不同的数据模型。
2.信息分析农业数据库的建设需要对农业数据进行分析,通过对农业数据进行挖掘、分析和预测,可以更好地支撑农业可持续发展。
3.应用发展农业数据库的建设不仅仅是信息的存储和分析,更是将信息资源转化为应用,为农业管理决策提供支持。
因此,将农业数据库纳入应用平台,以满足农业现代化管理的需求,是农业数据库建设发展的趋势。
智能农业大数据平台设计与实现随着科技不断发展和社会经济的不断进步,传统农业生产模式日渐落后,人们对智能农业的需求越来越强烈。
智能农业技术的突破,导致了数据的大爆发,数据有了广泛的采集、处理和应用,这背后需要一个高效可靠的智能农业大数据平台。
一、智能农业大数据平台的设计方案智能农业大数据平台的设计方案分为三个部分:数据采集系统、数据处理系统和数据应用系统。
1. 数据采集系统数据采集系统是智能农业大数据平台的第一步,农民通过种植设备采集有关作物生长、环境、气象和气候数据。
这些数据包括土壤温度、湿度、空气温度、经度和纬度等多项参数,各项数据会通过传感器向数据处理系统发送实时数据和历史数据。
数据采集包含物理和无线两种方式,可以通过物联网通信、RFID和无线传感器等技术实现。
2. 数据处理系统数据处理系统是智能农业大数据平台的第二步,它负责处理采集的数据,进行分析、计算和建模。
数据处理系统采用数据仓库和数据挖掘等技术,将各种数据源的数据进行收集、整理和分析。
在处理数据的同时,系统还会构建一些模型和算法,如分类、聚类、关联规则挖掘以及机器学习等。
在这一步中,会将原始数据转换成结构化的、可研究的数据,进而能够在数据应用系统中进行更多的数据应用。
3. 数据应用系统数据应用系统是智能农业大数据平台的第三步,它是最终的数据应用环节。
该系统可以为农民、种植企业、科学家、政府和投资者提供数据服务,从而实现更高的效益。
数据应用系统结合大数据和人工智能技术,通过数据分析、监测、预测、诊断和决策等方式,帮助农业生产者快速准确地获得当前和未来的信息,为其提供精细化、科学化、智能化的决策支持。
二、智能农业大数据平台的实现方法智能农业大数据平台是一种应用广泛的系统集成平台,它涉及到多个领域的技术,需要多个部门进行协同。
实现智能农业大数据平台的方法包括以下5个步骤:1. 需求分析需求分析是智能农业大数据平台实现的第一步,通过调研市场和用户需求,了解该平台需要满足的功能和需求,并进行需求优先级评估。
大数据技术在农业科学中的应用现状及未来随着科学技术的不断进步,大数据技术已逐渐成为人们生活中不可或缺的一部分。
由于其强大的数据处理能力,大数据技术开始在许多领域中发挥作用,农业领域也不例外。
本文将探讨大数据技术在农业科学中的应用现状及未来。
一、大数据在农业科学中的应用现状大数据技术在农业科学中的应用广泛而深入。
在农业生产过程中,大数据技术被用于数据分析、决策支持、智能诊断等方面。
具体而言,大数据技术在以下方面发挥了重要作用。
1.农业生产过程中的数据收集和分析农业生产过程中涉及到大量的数据,如气象信息、土壤信息、作物信息等。
这些数据的收集、整理和分析对于农业科学研究和生产管理至关重要。
传统的数据收集方式将会浪费大量时间和人力,因此,大数据技术成为了数据收集和分析的重要手段。
通过使用传感器、物联网等技术,可以实现对于全球农业物联网的数据采集、存储、管理和分析,为农业科学研究和生产管理提供数据支持。
同时,通过利用数据挖掘等技术,可以对农业生产中的各种数据进行分析、处理和推断,帮助农业工作者更好的进行生产管理和决策制定。
2.农业品种及农田适应性研究随着人们对于城市化的需求不断扩大,农村资源和土地资源日趋稀缺。
因此,在农业科学中研究新品种的适应性以及农田的适宜性也成为了一项重要任务。
大数据技术在这一领域中的应用可以实现对不同品种的生长条件和环境影响的研究,从而为农业生产管理提供科学依据。
3.智能农业管理传统的人工流程不仅耗时耗力,而且容易出现错误和偏差。
因此,智能农业管理越来越受到农业生产者的青睐。
大数据技术在农业管理中可以实现自动化和智能化,从而提高生产效率、降低成本和减少人力投入。
例如,利用互联网和大数据技术可以实现对于农田的全天候监测和远程控制,帮助农民实现对农业作物的自动化种植和管理。
二、大数据技术在农业科学中的未来前景随着科学技术的不断创新和发展,大数据技术在农业科学中的应用也将继续扩大和深入。
大学生毕业论文范文探讨大数据技术在农业领域的应用大学生毕业论文范文:探讨大数据技术在农业领域的应用摘要:随着科技的不断发展,大数据技术已经广泛应用于各个领域。
本文旨在探讨大数据技术在农业领域的应用,并分析其对提升农业生产效率、改善农业发展模式、推动农村发展等方面的积极作用。
通过对相关数据的收集、分析和利用,农业产业链的各个环节可以得到优化和提升,从而实现可持续农业发展。
然而,大数据技术在农业领域的应用也面临一些挑战,如数据安全性、技术门槛和农民素质等方面。
因此,在推动大数据技术在农业领域应用的同时,也需要解决相关问题,为农业发展提供可行的方案。
一、引言随着农业产业化和现代化的不断推进,农业领域也需要引入新技术以提高生产效率和农民收入。
大数据技术凭借其丰富的数据资源和强大的数据分析能力,成为农业领域的新宠儿。
本文将详细探讨大数据技术在农业领域的应用,并分析其对农业发展的积极作用。
二、大数据技术在农业生产中的应用1. 数据收集与分析大数据技术可以通过传感器和监测设备等手段,实时收集农田、气象、水质等各类农业数据。
通过对这些数据进行分析,可以帮助农民了解种植环境、作物状况和病虫害发生情况,从而调整种植策略和采取相应措施。
2. 农业生产决策支持系统基于大数据技术的农业生产决策支持系统可以利用历史数据和实时监测数据,为农民提供科学合理的决策建议。
例如,根据气象预测和市场供求情况,系统可以提前预测作物产量和市场价格,指导农民种植和销售计划。
3. 智能化农机装备大数据技术可以帮助实现农机的智能化管理和操作。
通过传感器和无人机等装备,农民可以实时了解农机的运行状态和作业效果,从而及时调整农机操作方式,提高农机利用率和作业效率。
三、大数据技术对农业发展的影响1. 提升农业生产效率通过大数据技术的应用,农民可以根据准确的数据分析结果选择合适的作物种植、施肥和灌溉方式,提高农业生产效率和产量。
同时,预测市场需求和价格变化,帮助农民合理制定销售计划,提高农产品附加值。
农业现代化农业大数据平台整体解决方案第一章:项目背景与目标 (2)1.1 项目背景 (2)1.2 项目目标 (3)第二章:平台架构设计 (3)2.1 总体架构 (3)2.2 技术架构 (4)2.3 数据架构 (4)第三章:数据采集与整合 (4)3.1 数据来源与类型 (4)3.2 数据采集方法 (5)3.3 数据整合策略 (5)第四章:数据处理与分析 (6)4.1 数据预处理 (6)4.2 数据挖掘与分析 (6)4.3 数据可视化 (6)第五章:农业生产管理模块 (7)5.1 作物种植管理 (7)5.1.1 模块概述 (7)5.1.2 功能介绍 (7)5.2 农业气象管理 (7)5.2.1 模块概述 (7)5.2.2 功能介绍 (7)5.3 农药与化肥管理 (8)5.3.1 模块概述 (8)5.3.2 功能介绍 (8)第六章:农产品质量追溯 (8)6.1 追溯体系构建 (8)6.1.1 追溯体系设计原则 (8)6.1.2 追溯体系构建步骤 (9)6.2 追溯信息管理 (9)6.2.1 追溯信息采集 (9)6.2.2 追溯信息存储与处理 (9)6.3 追溯查询与展示 (9)6.3.1 查询方式 (9)6.3.2 展示方式 (10)第七章:农业市场分析与预测 (10)7.1 市场数据分析 (10)7.2 市场趋势预测 (10)7.3 价格波动分析 (11)第八章农业政策与决策支持 (11)8.1 政策数据整合 (11)8.2 决策模型构建 (11)8.3 决策建议输出 (12)第九章:平台安全与运维 (12)9.1 数据安全 (12)9.1.1 数据加密 (12)9.1.2 数据备份与恢复 (12)9.1.3 访问控制 (13)9.1.4 安全审计 (13)9.2 系统运维 (13)9.2.1 系统监控 (13)9.2.2 系统维护 (13)9.2.3 系统优化 (13)9.3 故障处理 (13)9.3.1 故障分类 (13)9.3.2 故障处理流程 (13)9.3.3 故障处理策略 (14)第十章:项目实施与推广 (14)10.1 实施计划 (14)10.1.1 项目前期准备 (14)10.1.2 项目实施阶段 (14)10.1.3 项目后期运维 (15)10.2 推广策略 (15)10.2.1 政策支持 (15)10.2.2 技术培训与交流 (15)10.2.3 合作联盟 (15)10.2.4 宣传推广 (15)10.3 效益评估与优化 (15)10.3.1 效益评估 (15)10.3.2 优化建议 (15)第一章:项目背景与目标1.1 项目背景我国农业现代化进程的加快,农业大数据的应用已成为推动农业产业升级、实现农业生产智能化的重要手段。
农业大数据的分析与精准农业应用研究随着科技的不断进步和信息时代的到来,农业领域也逐渐引入了大数据分析技术,并将其应用于农业生产的各个环节中,以实现精准农业的目标。
农业大数据分析与精准农业应用的研究,对于提高农业生产效益、减少资源浪费、改善农业生态环境具有重要意义。
本文将探讨农业大数据分析的意义、方法和应用,并剖析精准农业在农业发展中的影响。
一、农业大数据分析的意义农业大数据是指通过传感技术、云计算、物联网等手段收集的大量农业生产和农村经济相关的数据。
这些数据可以包括气象数据、土壤数据、植物生长数据、病虫害数据、农产品销售数据等。
农业大数据具有以下几个重要的意义:1. 指导决策:通过对农业大数据的分析,可以帮助农业从业者了解农作物种植的最佳时间、最佳土壤养分配置、最佳施肥量等,为农业生产提供科学依据,指导决策。
2. 提高生产效益:农业大数据分析可以发现农产品生产中存在的问题,并提供相应的解决方案。
通过优化农业生产流程、降低成本,提高生产效率,实现农产品的高质量和高产量。
3. 减少资源浪费:通过农业大数据的分析,可以精确把握农田的肥力状况、农作物对水分的需求量等信息,合理利用资源,避免过量使用化肥和水资源,减少资源的浪费。
4. 促进农业可持续发展:农业大数据分析可以帮助监测农田的生态环境变化,提前发现土壤污染、病虫害等问题,并采取相应的预防措施,促进农业可持续发展。
二、农业大数据分析的方法农业大数据分析涉及到众多的方法和技术,其中包括数据挖掘、机器学习、人工智能等。
以下是一些常用的农业大数据分析方法:1. 数据挖掘:数据挖掘是从农业大数据中发现隐藏的模式和关联规则的过程。
通过对农业大数据的挖掘,可以发现农作物的适应性和抗病虫能力等特征,为农业种植提供基础信息。
2. 机器学习:机器学习是利用计算机程序从数据中自动改进和学习的算法。
在农业大数据分析中,机器学习可以用于预测农田的未来产量、预测农作物病虫害的发生概率等。
智慧农业示范园区大数据平台整体建设方案一、概述二、整体架构1.前端数据采集层前端数据采集层主要负责农作物、气象、土壤、水质等数据的实时采集和传输。
可以利用传感器网络和物联网技术,将传感器布设在农田、气象站、水质监测点等各个关键位置,即时获取相关数据,并通过网络传输到中间数据处理层。
2.中间数据处理层中间数据处理层主要负责农业数据的清洗、存储和分析。
首先对采集到的原始数据进行清洗和过滤,去除异常值和噪声数据,确保数据的可靠性和准确性。
然后利用数据库技术将清洗后的数据进行存储,建立农作物、气象、土壤、水质等数据的数据库。
最后,通过数据挖掘和机器学习算法对数据进行分析,提取潜在的规律和关系,并生成相应的决策报告。
3.后端数据存储和分析层后端数据存储和分析层主要负责对中间数据处理层生成的决策报告进行存储和分析。
利用云计算和大数据存储技术,将决策报告存储在云端,并提供相应的接口供用户查询和访问。
同时,对历史数据进行分析和挖掘,提取更加宝贵的信息和知识,为农业生产提供更准确的预测和建议。
三、功能模块1.数据采集和传输模块:负责实时采集和传输农作物、气象、土壤、水质等数据。
2.数据清洗和存储模块:负责对采集到的原始数据进行清洗和存储,确保数据的可靠性和准确性。
3.数据分析和挖掘模块:利用数据挖掘和机器学习算法对农业数据进行分析和挖掘,提取潜在的规律和关系。
4.决策支持模块:根据数据分析结果生成决策报告,为农业生产提供科学决策支持。
5.数据存储和管理模块:负责将决策报告存储在云端,并提供相应的接口供用户查询和访问。
四、实施步骤1.需求分析:与示范园区相关部门和农户合作,明确需求和目标,确定要采集和分析的数据类型和范围。
2.系统设计:根据需求分析结果设计平台的整体架构和功能模块,确定数据采集方式和数据处理算法。
3.软硬件采购和布设:根据系统设计结果采购所需的硬件设备和软件工具,同时将传感器布设在关键位置,确保数据采集的全面和准确。
农业科学中的农业信息化建设1. 引言农业信息化建设是农业科学领域中一个重要的研究方向,其目标是利用信息技术提高农业生产效率、改善农产品质量、促进农业可持续发展。
本文将详细介绍农业信息化建设的内涵、关键技术、发展现状及其在农业科学中的重要作用。
2. 农业信息化建设的内涵农业信息化建设是指利用计算机技术、通信技术、物联网技术、大数据技术等现代信息技术手段,对农业生产、加工、销售等全过程进行智能化管理和优化,以提高农业生产效率、降低生产成本、提高农产品竞争力。
具体来说,农业信息化建设主要包括以下几个方面:1.农业生产信息化:通过监测土壤、气候、作物生长等参数,实现对农业生产环境的智能化管理,提高作物产量和品质。
2.农业管理信息化:利用信息技术手段对农业生产资源、生产过程、农产品销售等进行高效管理,提高农业产业链的协同运作能力。
3.农业服务信息化:通过网络平台提供农业技术咨询、市场信息、政策法规等服务,促进农业科研成果的转化和农民收入增长。
4.农业科技创新信息化:基于大数据、云计算等技术,开展农业科研数据挖掘和分析,为农业科技创新提供支持。
3. 农业信息化建设的关键技术农业信息化建设涉及众多关键技术,以下列举几个重要的技术方向:1.传感器技术:通过部署在农田、温室、养殖场等场所的各类传感器,实时采集农业环境、作物生长等信息,为农业生产提供数据支持。
2.物联网技术:利用物联网技术实现对农业生产环节的智能化管理,如智能灌溉、智能施肥、智能植保等。
3.大数据技术:对农业产生的海量数据进行挖掘和分析,为农业决策、市场预测、科技研究等提供数据支持。
4.云计算技术:通过云计算平台,实现农业资源共享、数据存储、应用服务等功能,提高农业信息化建设的整体水平。
5.人工智能技术:利用人工智能算法对农业数据进行智能分析,为农业生产提供智能决策支持。
4. 农业信息化建设的发展现状我国农业信息化建设取得了显著成果,具体表现在以下几个方面:1.政策支持:近年来,国家加大了对农业信息化建设的投入,出台了一系列政策措施,推动了农业信息化建设的快速发展。
85--农业信息•休闲农业 DOI:10.16498/ki.hnnykx.2019.009.022大数据是指所涉及的数据量规模巨大到无法通过传统的数据库和软件工具在合理时间内进行抓取、存储、管理和处理的数据集合[1],是继云计算、物联网、人工智能之后IT 产业又一次颠覆性的技术变革[2], 并且已成为发现知识、创造价值的新型服务业态[3]。
如日本总务省在公布的2013年版《信息通讯白皮书》中估算,充分利用大数据将给日本带来每年7.77万亿日元(约合777亿美元)的经济效益,其中农业新增4 000亿日元[4]。
农业大数据是大数据理念、技术和方法在农业领域的实践与应用,涉及育种、栽培、土肥、植保、收获、储运、农产品加工、销售、畜牧业生产等各环节,是跨行业、跨专业的数据分析与挖掘,对粮食安全和食品安全有着重大意义[5]。
农业大数据平台是提供农业综合服务的网络软件平台,在农业生产精准决策、农产品市场监测预警、农产品质量安全追溯和综合信息服务等方面的重要性和不可替代性日益凸显。
农业科学数据是指在农业科研中产生的数据,以及按照不同需求系统加工整理的数据产品和相关信息,包括农业科学试(实)验数据、测量数据、统计数据、基础数据、Internet 上各种公开渠道收集的数据以及通过购买或交换数据[6],它是农业大数据平台的基本资源和重要元数据的支撑。
在云计算、物联网、量子技术和5G 网络逐步普及的当代,告示大数据时代已经到来。
农业科学数据在农业大数据平台建设中作为最基本的科技资源,对科技的发展和创新具有支撑作用,大科学、定量化的研究越来越依赖于系统的科学数据。
如何对农业科学数据资源进行收集整理、有效保存、深入挖掘和共享利用是农业科研与管理部门亟待解决的问题。
为此,笔者试图从农业大数据平台的科技资源角度探讨科学数据建设的观点与建议,以供参考。
1 农业科学数据的特点1.1 来源广泛且具多样性农业科研的学科专业多、从事农业科技活动的范围广,决定了农业科学数据来源的广泛性。
农业科研包含自然科学和社会科学,既有宏观研究,又有微观 农业大数据平台科学数据建设探讨 曾晓娟1,邵 颖2,罗建军1,文红霞1 (1. 湖南省农业信息与工程研究所,湖南 长沙 410125;2. 湖南省核农学与航天育种研究所,湖南 长沙 410125)摘 要:农业科学数据是农业大数据平台重要数据资源,是农业科研与生产发展的资源宝藏,在大数据时代建设农业科学数据资源已刻不容缓。
农业科学数据建设因数据的广泛性、分散性、繁杂性、多异性等特点,造成收集和整合难度大,为此,提出建立管理制度,保障数据统一收集;建立保障制度,确保建设经费续供;建立联动机制,促进数据资源整合;规范采集标准,便捷平台接入;加强协同合作,实现数据资源共享;加强业务培训,培养专业采集人才等建设策略。
关键词:农业大数据平台;科学数据;建设中图分类号:G203 文献标识码:A 文章编号:1006-060X (2019)09-0085-03 D iscussion on Scientific Data Construction of Agricultural Big Data PlatformZ ENG Xiao-juan 1,SHAO Ying 2,LUO Jian-jun 1,WEN Hong-xia 1(1. Hunan Agricultural Information and Engineering Research Institute, Changsha 410125, PRC; 2. Hunan Institute of NuclearAgriculture Science and Space Breeding, Changsha 410125, PRC )Abstract : A gricultural scientific data is an important data resource of agricultural big data platform and a resource treasure of agricultural scientific research and production development. It is urgent to build agricultural scientific data resources in the era of big data. Agricultural scientific data construction is difficult to collect and integrate because of its universality, dispersion, complexity and diversity. Therefore, it is proposed to establish a management system to ensure the unified collection of data; establish a safeguard system to ensure the continuation of construction funds; establish a linkage mechanism to promote the integration of data resources; standardize the acquisition standard for easy platform access; strengthen collaboration to achieve data resources sharing; strengthen business training, training professionals to collect data and other construction strategies.Key words : A gricultural Big Data Platform; Scientific Data; Construction 收稿日期:2019-07-23作者简介:曾晓娟(1969-),女,湖南长沙市人,副研究馆员,主要从事图书情报信息研究。
通讯作者:邵 颖 湖南农业科学(HUNAN AGRICULTURAL SCIENCES )2019年9月86--农业信息•休闲农业研究;既有大田试验,又有室内实验。
数据来源既有研究产生的原始数据,又有统计分析的二次数据;既有相关专业的关联数据,又有人物与成果的关系数据;既有观察测量调查的一手数据,又有仪器软件分析的中间(二手)数据;既有网上搜索的知识型数据,又有购买或交换的技术型数据等。
由于专业类型多,研究的层次多、广度大、深度厚,故产生的数据从总体上来说多样性明显。
1.2 专业性强且具交叉性农业科研的学科门类较多,如一个省级农科院一般都有几十个学科专业,有的科研人员一辈只从事过一个学科专业的研究,就目前我国省级农科院和高校来说,大多数有影响的专家都是终身从事一个学科专业甚至是一个学科内一个分支的专业研究。
各学科专业均有其自身的专业特点和专业性质,如水稻育种与油菜育种,虽然都是育种,但一个是水田作物,一个是旱土作物,在试验操作和品种选育技术上完全没有可互相借鉴的经验。
说明农业科研各学科的专业性很强。
而对于多数学科专业来说,又往往脱离不了其他相关的学科专业,如作物育种、栽培脱离不了土壤、肥料和农业气象;生猪养殖脱离不了饲料(加工)等,说明多数学科是相互交叉和渗透的。
1.3 数据量大且具分散性由于农业科研的学科门类多,研究时间长,历经数十年积累的科学数据量非常巨大,其总体信息量估计已达到GB 级、TB 级甚至PB 级,数据量每年都在不断增长中。
而各学科专业研究产生的数据分布在各专业研究单位的科技档案中、各研究人员的记载本中或电脑中,且类型多、结构复杂、时空分布广。
1.4 格式不统一且具复杂性农业科学数据由于其来源不同,内容性质和储存方法多种多样,其形式包括数字、文字、语音、图片、影像、流媒体等,这些数据以不同的数据库格式、电子文件格式以及各种科学仪器产生的专有格式等多样化的格式存在。
科学数据资源的网络化管理和共享,不仅要求科学数据资源具有科学性、客观性,而且要求具有完整性和有序性。
但农业科学数据因其独特的地域差异性、部门分割性、学科复杂性、长期积累性、保藏分散性等特点,决定了其管理、共享面临着十分复杂的局面。
比如有一些科学数据甚至是手工记录,尽管通过一些简单的,比如扫描、拍照之类的技术处理汇总到专业数据库中,但是其使用效率和作用均受影响。
另外,部门分割也导致资源重复建设情况严重。
2 农业大数据平台科学数据建设的难点2.1 数据收集和整合难度大数据收集难度大主要体现在三个方面:一是数据产生单位和个人不愿提供数据。
如部分科研单位和个人受保守思想和利益关系的影响,不愿意向科技资源收集单位提供数据资源,尽管有上级主管部门发文和督促,也以各种借口拒绝提供,导致数据库资源严重不足、不全的尴尬局面。
二是数据在时空和拥有数据的单位及人员上分散面广。
数据的分散性在较大程度上造成了收集难度的加大,很难在短时间内把数据资源收全、收齐。
三是数据一致性和完备性难以保障。
如农业科学数据除了文本数据以外,还包括图文、音频、视频等多媒体数据,一些年限较久远的图片、音频视频数据收集难度大。
同时,农业数据容易受自然环境变化的影响,短期的农业采集数据波动性较大、有效性偏低,增加了“异源异构”数据资源的获取与整合的难度。
另外,在进行专业数据库管理系统录入过程中,由于数据定义、数据属性以及数据标准的不同,面临数据清理和整合、数据标准、数据代码对照以及主索引等方面的困难。
2.2 采集人员素质参差不齐采集人员在收集和整理数据时不仅要认真仔细地核实,还应该掌握一定的专业知识,首先要了解不同专业的科研单位拥有数据资源的类型特点,其次要对大量的数据进行分析提炼,尽量做到既不遗漏有用的数据,又能舍弃无效的数据。
数据采集人员的素质参差不齐,在面对类型繁多、关系复杂,特别是大量半结构化和非结构化数据时,往往难于分析处理。
2.3 数据共享有一定的局限性首先,农业科研单位和机构之间受部门利益或是体制机制等方面的制约性因素影响,资源协调力度不够,信息的共享程度严重不足。
另外,由于对数据共享的必要性和便利性以及其意义认识不足,有的单位数据,不愿共享或交换,致使难于实现数据共享。
其次是数据的广泛性、分散性、复杂性和保密性等特点,决定了其收集和整合面临着十分复杂的局面,收集、整合的难度决定了数据共享的难度。