大数据技术和应用中的挑战性科学问题-中国自动化学会控制理论专业
- 格式:pdf
- 大小:365.23 KB
- 文档页数:16
会计师如何应对大数据时代的挑战随着信息技术的迅猛发展,大数据已经成为各行各业不可忽视的一部分。
作为会计师,如何应对大数据时代所带来的挑战,成为了我们必须面对和解决的问题。
本文将从以下几个方面来探讨会计师在大数据时代的应对策略。
一、认识大数据时代的特点在进入正题之前,我们首先要对大数据时代的特点有一个清晰的认识。
大数据时代以其数据量大、种类多、速度快的特点而广受关注。
公司在日常运营和决策中产生大量的数据,如销售数据、财务数据、市场数据等等。
这些数据需要会计师来收集、分析、整理和处理。
在大数据时代,会计师需要具备批量处理数据的能力,以及从大数据中提取有价值信息的能力。
同时,大数据时代也对会计师的技术水平和专业背景提出了更高的要求。
二、提升数据处理技巧在面对大数据的挑战时,会计师需要提升自己的数据处理技巧。
首先,会计师需要具备良好的数据分析能力,能够运用专业工具和方法对数据进行分析和挖掘,以发现其中的规律和潜在问题。
其次,会计师需要学会使用数据可视化工具,将庞杂的数据转化为直观、易于理解的图表和图像,从而更好地向管理层和决策者传递信息。
此外,会计师还应该学习数据清洗和数据整合的技巧,确保所分析的数据准确、完整。
三、学习数据安全与隐私保护大数据时代,数据的安全和隐私保护成为了一个重要的问题。
会计师需要了解和掌握相关的法律法规和政策要求,确保在数据处理过程中符合相应的规定。
另外,会计师需要加强自己的信息安全意识,采取防范措施,保护公司和客户的敏感信息不被泄露。
此外,会计师还应该学习数据加密和数据备份的技术,以应对数据被恶意攻击或意外灾害导致的问题。
四、适应新技术的应用大数据时代带来了许多新技术,如人工智能、云计算、区块链等。
会计师需要学会运用这些新技术,提升自己的工作效率和精度。
比如,会计师可以利用人工智能技术来自动化处理重复性工作,如发票的识别和分类;可以利用云计算技术来存储和共享大量的数据,提高工作的灵活性和效率;可以利用区块链技术来确保数据的不可篡改性和安全性。
领导力的智能化人工智能对领导力的影响与挑战领导力的智能化:人工智能对领导力的影响与挑战随着科技的快速发展和人工智能技术的日新月异,智能化已经深入到各行各业的方方面面。
在商业领域,智能化在领导力的发展中扮演着越来越重要的角色。
本文将探讨智能化人工智能对领导力产生的影响和所带来的挑战。
一、智能化对领导力的影响1. 数据驱动的决策:智能化技术使领导者能够凭借大数据和分析能力做出更准确的决策。
通过获取和分析海量数据,人工智能可以为领导者提供详尽的信息,帮助其制定更明智的战略,并从中发现市场趋势和潜在机会。
2. 自动化的任务分配:领导者通常需要处理多项任务,而智能化的人工智能可以帮助他们自动化任务分配。
通过智能算法和自动化系统,任务可以更有效地分配给团队成员,让领导者有更多时间专注于核心业务和战略规划。
3. 增强的沟通与协作:互联网和智能化技术使得领导者能够通过各种方式更加高效地与团队成员进行沟通和协作。
无论是在线会议、协同编辑工具还是实时消息应用,智能化的工具和平台使得领导者可以随时随地与团队进行沟通,实现即时反馈和快速决策。
二、智能化对领导力的挑战1. 技能和培训需求:智能化人工智能的崛起给领导者带来了新的技能和培训需求。
他们需要具备理解和运用智能化工具的能力,以便更好地利用数据、分析和市场趋势来做出决策。
此外,他们还需要学会如何与人工智能系统协同工作,以解决可能出现的潜在冲突与问题。
2. 人际关系与沟通:虽然智能化技术提供了更多高效的沟通工具,但同时也可能对人际关系产生一定的冲击。
领导者需要意识到,沟通不仅仅是传递信息,还需要处理人际关系、增强团队凝聚力等方面。
他们需要保持与团队成员的良好互动,避免因过分依赖智能化工具而疏远员工。
3. 信息安全和隐私保护:智能化人工智能涉及大量数据的处理和存储,领导者需要更加重视信息安全和隐私保护方面的问题。
他们必须确保智能化系统的数据安全,采取有效的措施来防范潜在的数据泄露和信息被滥用的风险。
大数据时代企业管理会计面临的挑战及突破路径研究1. 内容综述随着信息技术的飞速发展,大数据时代已经到来,这对各行各业都带来了前所未有的机遇与挑战。
企业管理会计作为企业内部管理的重要组成部分,同样面临着变革的需求。
大数据时代的企业管理会计,需要在数据洪流中精准把握信息,实现高效决策与管理。
本文旨在探讨大数据时代下,企业管理会计所面临的挑战及其突破路径。
在大数据时代背景下,管理会计的首要挑战是数据处理的复杂性。
海量的数据如何筛选、整合、分析,转化为有价值的信息,成为管理会计面临的关键问题。
数据的多样性和快速变化要求管理会计具备更高的数据分析和解读能力。
随着云计算、物联网、人工智能等新技术的应用,管理会计还需适应技术变革,不断更新知识体系和技能结构。
企业管理会计也面临着企业内部和外部环境的双重挑战,从企业内部看,需要完善数据驱动的决策机制,优化管理流程,提高管理效率。
随着市场竞争的加剧和监管环境的变化,管理会计需要更精准地把握市场趋势和风险管理,以应对外部环境的不确定性。
针对这些挑战,突破路径的研究显得尤为重要。
管理会计需要强化数据分析能力,包括数据挖掘、数据分析、数据可视化等方面。
需要构建以数据为中心的管理会计体系,实现数据驱动的决策和管理。
加强人才队伍建设,培养具备大数据思维和技术能力的管理会计人才也是关键所在。
企业应建立有效的数据治理机制,确保数据的准确性和安全性。
通过技术革新和管理创新相结合,构建适应大数据时代的企业管理会计新模式。
本文还将深入探讨如何构建有效的数据分析体系、如何优化管理会计流程、如何培养新时代的管理会计人才等具体问题,以期在大数据时代为企业提供更有效的管理会计解决方案。
1.1 研究背景随着信息技术的迅猛发展,大数据时代已经到来。
大数据以其海量的数据规模、快速的数据流转、多样的数据类型和价值密度低的特点,对企业管理的各个层面产生了深远的影响。
在这个背景下,企业管理会计作为企业决策支持的重要工具,其角色和职能也在发生着深刻的变革。
李馨 郑银波 刘培 李爱梅 | 文数智时代是以数字化和智能化为典型特征的新经济时代。
数智技术的广泛应用对领导力的时代内涵和实现途径提出了更高要求。
本文深入分析了数智时代新的组织管理特征对领导力在认知、行为、人际三个方面所形成的挑战,同时指出在带来挑战的同时,数智技术也将通过硬技能和软技能赋能领导力,并据此提出,领导者可以通过认知变革、人际优化与工作设计三个方面进阶数智领导力。
只有回归领导力的初心,才能借助数智技术实现绩效、健康、福祉、向善的领导力,在科技浪潮中实现组织持续创新与发展。
数智时代领导力的挑战与进阶李馨:暨南大学管理学院博士研究生郑银波:暨南大学管理学院硕士研究生刘培:中山大学旅游学院助理教授李爱梅(通讯作者):暨南大学管理学院教授数字化和智能化为典型特征的数智时代已然到来。
根植于此时代背景,数智技术被认为是关键的生产要素,它指一系列能够自动化或半自动化执行与工作相关的复杂行为的技术或系统,包括人工智能、大数据、云计算、机器人、区块链和以算法。
随着数智技术运用的实践愈发常态化,组织管理呈现出数据驱动、柔性敏捷、协同共享等新特征。
在数智时代背景下,领导者是带领组织追赶科技浪潮的主导力量。
面对新的组织管理特征,领导力所面临的机遇和挑战是史无前例的。
57数智时代领导力的挑战与进阶转”的情况,即便是专业的技术人员也无法得知数智技术的运作逻辑和规律。
领导者要理解并应用这些新兴的数智技术并非易事。
虽然领导者并不需要成为熟练掌握技术的专业人员,但是具备一定的技术素养却是必需的。
倘若对数智技术一无所知,领导者将无法理解技术的潜力和应用场景,评估技术对组织和员工的影响时可能会出现偏差,进而影响决策。
其次,技术知识不足会导致领导无法准确地表达技术需求和期望,同时也较难理解技术团队提供的建议,由此领导将难以实现与技术团队的高效沟通与合作,这会阻碍项目推进和想法落地。
再者,不熟悉数智技术的领导难以评估甚至忽视技术所带来的风险,如数据泄露、信息安全、算法偏见等问题,这对于组织的稳定发展是巨大的隐患。
数字化时代的机遇和挑战随着科技的进步和信息技术的升级,数字化时代已经悄然而至。
在这个时代,每个人都是信息的生产者和消费者,海量数据不断被产生和存储,这些数据可以帮助我们更好地理解世界、提高生产效率以及创造更多的价值。
但是数字化时代也带来了一些挑战,例如数据隐私的泄露、人工智能的发展等等。
本文将会论述数字化时代带来的机遇和挑战。
一、数字化时代带来的机遇1. 数据分析的利用在传统的商业模式中,企业只能通过一些市场调研和数据采集之后对市场和消费者的行为进行大致的了解,但是随着数据分析技术的不断成熟,越来越多的企业开始利用大数据来深入了解市场和消费者。
企业可以通过深度学习和自然语言处理技术来对数据进行分析,然后识别这些数据中的关键信息,从而更好地满足消费者的需求和提高企业的销售额。
2. 创新的媒介渠道数字化时代也为企业创造了更多的营销渠道。
通过各种社交网络和在线市场平台,企业可以更加直接和高效地和潜在用户和购买者建立联系。
企业可以通过社交网络和在线市场来发展自己的品牌,并扩大自己业务的范围,从而在数字化时代中获得更多的成功。
3. 自动化带来的创新随着科技的不断进步,自动化在生产和服务领域的应用也越来越广泛。
自动化技术不仅提高了生产效率,减少了劳动力成本,而且还可以提高服务的质量和速度。
在未来,随着更加先进的自动化技术的出现,我们将看到更快速更高质量的生产和服务的技术应用。
二、数字化时代带来的挑战1. 数据保障的重要性在数字化时代,数据是最重要的资产。
数据的泄露和利用不当可能会给个人和企业带来很大的损失。
数据安全问题的涉及面比较广泛,包括数据的存储、传输和处理等多个环节,企业必须加强数据保障意识,采用更加安全的技术来保障数据的安全。
2. 人工智能的风险人工智能是数字化时代的一种主要技术趋势,人工智能技术可以让机器学会类人的思维和判断方法来代替人类完成工作,但是人工智能也带来了一些风险。
例如,机器可能会出错、产生误判等等。
教务教学标准化RPA财务机器人企业纳税实务课程标准化改革■ 周 颉 甘泗群(湖北科技职业学院)摘 要:大数据时代,各种信息化技术给企业的财税业务带来了深刻影响,同时也带来了巨大挑战。
特别是RPA财务机器人技术,使原本占据财务人员大量时间的繁琐工作变得简单而高效。
本文分析了RPA财务机器人技术对高等职业院校财会专业核心课程企业纳税实务的影响,探讨了在大数据背景下课程改革并实施标准化的方法和途径。
关键词:纳税实务,标准化改革,RPADOI编码:10.3969/j.issn.1002-5944.2024.10.042Exploration of the Standardization Reform of Tax Practice Course Basedon RPAZHOU Jie GAN Si-qun(Hubei Science and Technology College)Abstract:In the era of big data, various information technologies have brought profound impact on the fi nancial and tax business of enterprises, but also brought huge challenges. In particular, RPA financial robot technology makes the tedious work that used to take up a lot of fi nancial personnel’s time simple and effi cient. This paper analyzes the influence of RPA financial robot technology on the core course “Tax Practice” of finance and accounting major in higher vocational colleges, and discusses the methods and approaches of course standardization reform under the background of big data.Keywords: tax practice, standardization reform, RPA2021年3月,中共中央办公厅、国务院办公厅印发了《关于进一步深化税收征管改革的意见》,提出加快推进智慧税务建设,充分运用大数据、云计算、人工智能、移动互联网等现代信息技术,着力推进内外部涉税数据汇聚联通、线上线下有机贯通,驱动税务执法、服务、监管制度创新和业务变革,进一步优化组织体系和资源配置[1]。
大数据对会计工作的挑战及其应对措施大数据时代的到来,对各个行业都带来了全新的挑战和机遇,会计职业也不例外。
由于大数据的涌现,会计工作面临了多个方面的挑战,如大数据对会计职责的重新定义、会计技能的升级、会计工作流程的改变等。
为了应对这些挑战,会计人员需要采取相应的应对措施,以适应大数据时代的要求。
大数据给会计职责带来了一定的重新定义。
传统上,会计主要负责账务核算、财务报告、纳税申报等工作,对会计人员的要求主要是熟悉财务知识和会计准则。
随着大数据的出现,会计的职责已经不再局限于此,会计人员需要具备更广泛的能力。
他们需要能够通过大数据分析对企业的经营情况进行深入了解,为企业的决策提供支持和建议。
会计人员还需要具备数据挖掘和机器学习等相关技能,以便更好地进行数据处理和分析。
会计人员需要不断学习和提升自己,以适应新的职责定义。
大数据对会计技能提出了更高的要求。
在大数据时代,会计人员需要具备较强的数据分析和处理能力,能够有效地处理大量的数据。
他们还需要了解数据分析的方法和工具,如数据挖掘、数据可视化等,以便更好地应用于实际工作中。
会计人员还需要具备较强的信息技术能力,能够运用各种软件和技术工具进行数据管理和分析。
会计人员需要通过学习和培训不断提升自己的技能,以适应新的要求。
大数据对会计工作流程带来了改变。
传统上,会计工作主要依赖手工操作,人工收集、整理和分析数据。
随着大数据的涌现,会计工作已经不再依赖手工操作,而是更多地依靠计算机和软件进行自动化处理。
会计人员可以通过大数据平台自动收集和整理数据,然后利用数据分析工具对数据进行分析和挖掘。
这不仅提高了会计工作的效率,还减少了人为错误的发生。
这也对会计人员提出了更高的要求,他们需要掌握和运用相关的软件和工具,熟悉数据分析的方法和流程。
会计人员需要不断学习和适应新的工作流程,以保持自身竞争力。
针对以上挑战,会计人员可以采取一系列的应对措施。
会计人员应该不断学习和提升自己的专业知识和技能,了解大数据的相关知识和技术。
项目基金:本文系科技部“面向2021—2035年国家中长期科技发展规划面向社会征集研究单位开展重大问题研究”项目“面向2035年的科技伦理问题与应对措施研究”研究成果。
作者简介:杨博文,女,1983年生,助理研究员,研究方向:科技政策与科技管理。
伊彤,女,1967年生,研究员,研究方向:科技创新战略、科技政策。
江光华,女,1973年生,副研究员,研究方向:科技文化、科技政策。
2021年第1期 科技智囊67现代科技发展具备的不确定性、高风险性等特点决定了科技伦理问题的产生具有必然性。
如果把科学技术视为一辆正在行驶的列车,科技伦理就是指引列车前行,用以保证科技研发与应用的方向正确的路标。
对新兴技术伦理的研究,一方面要对新技术的发展应用予以规范,另一方面又要保护和促进“负责任的研究”。
笔者以人工智能技术的发展为例,研究新兴技术伦理治理的对策。
一、人工智能发展带来的伦理挑战人工智能是引领新一轮科技革命和产业变革的战略性技术,不仅能替代人类的体力劳动,更几乎可以完全替代人类的脑力劳动[1]。
人工智能更像是智慧载体,它可以通过深度学习不断进化,它的颠覆性、复杂性以及社会关联性等特性所引发的伦理挑战和风险日趋凸显,如何应对人工智能等新技术引发的伦理挑战已经是相关研究人员所要面对的重要课题。
(一)存在性风险对人类主体地位的挑战随着信息技术、生物技术的发展,人机互动、人机协同甚至人机一体都成为人工智能发展的趋势。
尽管现阶段对人工智能技术的开发、测试、应用等都还在一个基本可控的伦理框架内,但随着人工智技术的能进一步发展,当具备无自主意识的人工智能做出超出科研人员预期的行为并产生相应的伦理影响时,现有的伦理框架及人类的思维本质将因此面临极大的挑战。
如果技术的发展推动智能机器人越来越像人类,这将会对目前社会的人际关系、家庭结构产生重大影响,甚至颠覆人类在人类活动中的主体地位。
机器人是否应享有人类的基本权利?是否应建立新的人机关系甚至人际关系的价值原则?人类的唯一主体地位或将因此受到挑战[2]。
自动化专业教学改革建议随着科技的不断进步,自动化技术已经成为社会发展的重要组成部分,而自动化专业的学生也面临着更多挑战和机遇。
为了更好地适应未来社会的需求,自动化专业教学需要进行深刻的改革。
本文将从课程设置、实践教学和专业素质培养三个方面提出关于自动化专业教学改革的建议。
一、课程设置随着自动化技术的发展,自动化专业的知识体系不断发生变化,课程设置需要与时俱进。
应该加强自动化专业前沿科技知识的教学,引导学生了解自动化技术的最新发展趋势和应用领域。
也要注重跨学科知识的融合,如物联网、人工智能、大数据等,这些都是自动化专业未来发展的重要方向。
教学目标要明确,课程设置要灵活多样,满足不同学生的需求和选择。
还要注重培养学生的实际操作能力。
在课程设置上,应该增加实践环节,将理论知识与实际应用相结合,提高学生的动手能力和解决问题的能力。
举办相关的技术竞赛和实验室实习,让学生通过实际操作来巩固所学内容,提高实际技能。
二、实践教学实践教学是自动化专业教学中不可或缺的一部分。
在实践教学环节,可以设置实验课、设计课、毕业设计等多种形式,让学生在实际操作中更好地掌握自动化技术的理论知识和应用技能。
实践教学还可以培养学生的创新精神和团队合作能力。
在实践教学中,学校可以与企业合作,引入实际项目,让学生参与项目开发,提高实战能力。
这种模式既可以为学生提供实践机会,也可以使企业感受到学生的实际能力,实现校企合作的双赢局面。
还可以建立实习基地,引导学生走出校园,到企业实习,接触实际工作环境,了解企业的运作方式和需求,为毕业后的就业做好准备。
三、专业素质培养自动化专业的学生不仅要有扎实的专业知识和实践技能,还要具备一定的综合素质。
教学改革需要加强对学生的综合素质培养。
要注重培养学生的创新能力和团队合作精神。
在课程设计和实践环节中,可以设置创新项目和团队实践,让学生在实际操作中学会解决问题、开拓创新,培养团队协作精神。
要注重培养学生的学术素养和信息素养。
会计人员如何应对新技术带来的挑战在当今这个快速发展的时代,新技术如雨后春笋般涌现,给各个行业都带来了深刻的变革,会计领域也不例外。
云计算、大数据、区块链等技术的应用,正在重塑会计行业的工作模式和业务流程。
面对这些新技术带来的挑战,会计人员需要积极应对,不断提升自己的能力和素质,以适应行业的发展趋势。
新技术给会计工作带来了诸多变化。
首先,自动化和智能化的财务软件逐渐普及,使得一些基础的会计核算工作可以由计算机快速、准确地完成。
这在提高工作效率的同时,也减少了对人工操作的需求。
例如,传统的记账、算账等重复性工作,现在可以通过财务软件自动生成,大大节省了时间和精力。
其次,大数据技术让企业能够获取海量的财务和非财务数据,并进行深入的分析和挖掘。
会计人员不再仅仅局限于处理和报告历史数据,而是要能够运用数据分析工具,为企业提供有价值的决策支持。
通过对大数据的分析,会计人员可以发现潜在的风险和机会,为企业的战略规划提供有力依据。
再者,区块链技术的出现,为会计信息的真实性和安全性提供了新的保障。
区块链的分布式账本和不可篡改的特性,能够有效防止财务数据的造假和篡改,提高了会计信息的可信度。
面对这些变化和挑战,会计人员应当从以下几个方面入手,提升自己的能力和素质。
其一,要不断学习和掌握新的技术知识。
会计人员不能满足于现有的会计理论和方法,要积极关注新技术的发展动态,学习相关的技术原理和应用方法。
可以通过参加培训课程、阅读专业书籍和文献、在线学习等途径,不断充实自己的知识储备。
其二,培养数据分析能力。
在大数据时代,数据的价值日益凸显。
会计人员要学会运用数据分析工具,如 Excel、Python 等,对财务数据和非财务数据进行整合、分析和可视化展示。
通过数据分析,发现数据背后的规律和趋势,为企业的决策提供有力支持。
其三,提升沟通和协作能力。
随着新技术的应用,会计工作不再是孤立的,而是需要与其他部门密切合作。
会计人员要能够与不同部门的人员进行有效的沟通和协作,了解他们的需求,提供准确的财务信息和分析报告。
大数据技术和应用中的挑战性科学问题第89期双清论坛论证报告大数据是人类进入信息化时代的产物和必然结果。
“大数据发展的核心动力来源于人类测量、记录和分析世界的渴望”,而这种渴望又源于人类努力改善自身生存和生活状况的无尽追求。
在人类社会发展进程中,人们观测自然现象、揭示和把握自然规律并进而用于改善自身生存和生活状况的活动从来都没有停止过。
人类揭示和运用自然规律是从观测和记录自然现象开始的,而这种观测和记录的结果要么就是数据,要么可以通过某种方法转化为数据。
人类把握和运用自然规律的能力越强,社会经济和科学技术就越发展;社会经济和科学技术越发展,人类揭示和运用自然规律的愿望和需求就越强烈,结果是获取和存储的观测数据就会越来越多。
伴随着近代传感器、无线通信、计算机与互联网等技术的迅猛发展及在各个领域的广泛应用,人类获取数据的手段和途径越来越多,成本越来越低,速度越来越快,所获数据的种类、层次和尺度也越来越多样化,这就在广度、速度和深度三个方面催生了大数据时代的到来。
一、开展大数据技术和应用研究的意义粗略地讲,大数据是指在可容忍的时间内无法用现有的信息技术和软硬件工具对其进行传输、存储、计算与应用等的数据集合。
与传统意义上的数据概念相比,大数据具有如下几个显著特征:(1)数据规模(Volume)不断扩大,数据量已从GB(109)、TB(1012)再到PB(1015)字节,甚至已开始以EB(1018)和ZB(1021)字节来计量。
“到2013年,世界上存储的数据预计能达到1.2ZB字节。
如果把这些数据全部记录在书中,这些书可以覆盖整个美国52次;如果将之存储在只读光盘上,这些光盘可以堆成5堆,每一堆都可以伸到月球上。
”(2)数据类型(Variety)繁多,包括结构化、半结构化和非结构化数据,甚至包括非完整和错误数据。
现代互联网上半结构化和非结构化数据所占比例已达95%以上。
(3)产生和增长速度(Velocity)快。
美国国际数据公司(IDC)的研究报告称,到2020年全球的数据获取能力将增加50倍,用于数据存储的服务器将增加10倍。
当今世界,各种数据采集和存储设备每时每刻都在获取和存储大量新的数据。
这些数据有时以高密度流的形式快速演变,具有很强的时效性,只有快速适时处理才可有效利用。
(4)数据价值(Value)大,且可整合与多次利用。
对于某一特定的、仅需少量数据的应用而言,大数据呈现出价值密度低的特点,但对于众多潜在的应用而言,大数据整体往往蕴藏着巨大的价值。
大数据时代的到来,撼动了世界的方方面面,从商业、科技、医疗卫生到政府、教育以及社会的其他各个领域。
大数据技术和应用一方面对社会、经济和科技的发展带来了重要机遇,另一方面也对数据获取、存储、传输、计算以及应用提出了全新的挑战。
开展大数据技术与应用研究,是时代发展的必然要求,具有无可估量的社会经济价值和巨大的科学意义。
开展大数据技术与应用研究的意义可主要概括为如下三个方:(一)大数据已渗透到每一个行业和业务职能领域,已成为继物质和人力资源之后的另一种重要资源,将在社会经济发展过程中发挥不可替代的作用。
大数据将逐渐成为现代社会基础设施的重要组成部分,就像公路、铁路、港口、水电和通信网络一样不可或缺。
资源、环境、经济、医疗卫生和国防建设等各种各样的大数据已经和物质资源、人力资源一样成为一个国家的重要战略资源,直接影响着国家和社会的安全、稳定与发展。
大数据时代国家层面的竞争力将部分地体现为一个国家拥有的数据规模、活性以及解译和运用数据的能力。
正是由于洞察到大数据无可估量的资源价值,美欧日等发达国家纷纷将大数据技术和应用提升为国家发展战略,旨在抢占大数据时代的战略制高点。
2012年3月美国发布《大数据研究和发展倡议》,旨在利用大量复杂数据获取知识和提升洞见能力。
2012年7月,日本推出《新ICT战略研究计划》,重点关注大数据应用,旨在提升日本竞争力。
我国拥有众多的大数据资源,整合与利用的前景极为广阔,尽快将大数据技术和应用提升为国家发展战略具有更为重大的战略意义。
(二)大数据的出现将部分地使科学研究从过去的假设驱动型转化为数据驱动型,从而将为科学技术的发展开辟一条新的途径。
有相当数量的科研活动是按如下两条路径展开的:(1)假设事物各组成部分及其相互关系遵从某些规律,然后通过实验或数理逻辑的方法得到该事物的整体规律;(2)假设所研究的事物集合具有某种同质性且各事物在行为演化过程中互不影响(对应统计学上的独立同分布),随机地选择该集合中的少量事物进行观测并获取相关数据,然后进行数据处理和分析,进而得出该事物集合整体上所遵循的统计规律。
第一种路径在没有已知规律可循或事物各组成部分之间的关系过于复杂而难于建立模型时失效;第二种路径在独立同分布假设不成立或采样的随机性得不到保证时失效。
需要说明的是有相当多的事物(如人口普查)集合不满足独立同分布假设,且很难做到随机采样。
“一旦采样过程中存在任何偏见,分析结果就会相去甚远。
”继第三种科研范式—“计算机模拟仿真”之后,已故图灵奖得主吉姆·格雷(Jim Gray)在2007年的最后一次演讲中将基于数据密集型的科学研究描绘为“第四范式”,并指出面对各种最棘手的全球性挑战,在传统的理论方法因过于复杂而难以解决这些问题时,数据驱动的“第四范式”可能是最有希望解决这些难题的方法。
目前,各学科的发展已越来越离不开数据。
除传统的模式识别、数据挖掘和机器学习外,基于数据的建模、预测、反演、决策与控制等已逐渐成为新的研究领域。
大数据正在部分地改变着现有的科研模式,也在逐渐地改变着人们的思维定式。
因此,面向复杂对象开展大数据处理方法及其应用研究具有重要的科学意义。
(三)大数据及相关处理技术可转化为巨大的社会经济价值,被誉为“未来的新石油”。
美英等发达国家在大数据应用方面已有许多成功的案例,例如:利用医疗卫生数据监视医疗体制的运行状况和民众健康的变化趋势,评估不同的医疗技术和治疗方案,并帮助政府选择和制定恰当的医疗改革方案;利用能源数据推动各相关部门实行节能减排方案;利用交通运输数据疏解交通拥堵;利用网络数据提供信息服务,分析舆情和保障国家安全等。
据麦肯锡全球研究所预测,单就医疗卫生一个行业,有效的数据处理和利用每年可带来3000亿美元的经济价值。
大数据已被广泛地认为是创造新价值的利器和引领下一轮经济增长的助推剂。
开展大数据技术与应用研究具有巨大的经济价值和社会意义。
二、国内外研究现状在科学研究领域,大数据的规模已经并正在迅速增长的事实同样震撼人心:斯坦福大学已经存储了350TB字节的物理实验数据, 且每年增长10PB字节, 预计到2015年将达到EB级字节;欧洲原子能研究机构的高能物理粒子加速器LHC的CMS检测器每秒产生320TB 字节的检测数据;欧洲空间卫星中心每年获取30 PB字节的空间信息数据;英国Sanger中心2002年就已拥有20TB字节的基因数据,之后每年以4倍的速度增长, 至今已达数十PB字节。
面对极大的数据规模、复杂繁多的数据类型和某些因时效性约束需要快速处理的大数据集合,传统的数据管理、特别是数据处理和分析技术已远远不能满足各种应用需求。
方法与技术上的局限性常常使人们处于数据到处“泛滥”而所获知识和价值甚少的困境。
大数据具有大价值与其价值利用率低的现实引起了世界科技界的广泛关注和各发达国家政府的高度重视。
随着大数据在世界各个领域的快速渗透和发展,2008年《Nature》出版了“Big Data”专刊,从互联网、经济、超级计算、环境科学和生物医药等多个方面介绍了海量数据带来的一系列技术问题和挑战。
自此,“大数据”开始进入学术界,逐渐成为备受关注的前沿研究课题。
2011 年,《Science》推出了数据处理专刊《Dealing with data》。
该专刊的核心观点是:有效组织和利用数据将能够进一步发挥科学技术对社会发展的巨大推动作用。
2012 年4 月,欧洲信息学与数学研究协会会刊《ERCIM News》出版专刊《Big Data》,重点讨论了大数据时代的数据管理与处理技术方面的关键问题。
IEEE计算机学会决定,从2013年开始,每年举办一次IEEE Big Data国际学术会议。
Springer等科技出版社也于近年来相继创刊了大数据方面的国际杂志。
上述情况表明,大数据已成为一门新兴科学并已受到科技界广泛重视。
发达国家政府对大数据技术与应用研究给予了高度的重视和关注。
美国于2012年3月发布了《大数据研究和发展倡议》,旨在提高人们从海量数据中提取知识的能力,加快科学发现与工程研发的步伐。
2013年4月,美国众议院科学、空间和技术委员会以大数据为专题举行了听证会;多名资深教授和国家科学基金会的高官就如何促进海量数据的分析和利用、如何利用大数据技术激励创新、美国在大数据技术领域的创新能力和研究现状等问题在听证会上发言。
2013年9月,美国国立卫生研究院(NIH)宣布,今后4年每年提供2400万美元,资助6至8个“从大数据到知识发现的卓越中心”(简称大数据卓越中心),以开发和推广大数据共享、集成、分析与管理的创新方法、软件和工具,从而帮助研究人员提升利用大规模复杂数据集的能力。
这表明美国已把大数据技术和应用研究上升为国家战略,视为推动经济复苏的关键所在。
欧盟专门设立了大数据研究征集项目(FP7 Call 8),旨在以大数据基础设施为先导,大幅度提高大数据分析算法和处理系统的效率。
日本也推出了《活力ICT日本计划》,把大数据研究和应用技术视为国家发展战略。
我国科技界及与信息技术密切相关的产业领域对大数据技术和应用的关注程度正在逐渐增强,并引起了政府相关部门的重视。
中国科学院先后于2012年5月和2013年5月组织召开了题为“大数据科学与工程”和“数据科学与大数据的科学原理及发展前景”香山会议。
国家自然科学基金委员会于2013年3月在上海召开了题为“大数据技术和应用中的挑战性科学问题”双清论坛,并将“大数据技术和应用中的挑战性科学问题”列入2014年的项目指南中,拟以重点项目群的方式支持和推动相关领域的基础研究。
国家发展改革委员会与地方政府主导的“智慧城市”计划已开始实施,部分省份已经建成或正在建设一批大数据中心。
科技部已经部署了若干个大数据及与大数据密切相关的“973”计划和专项研究计划。
近几年来,美欧将大数据研究的焦点主要集中在面向互联网的信息服务、产品推荐、舆情分析、国家安全以及公共卫生等领域的技术和应用层面。
研究思路是摈弃随机采样的传统观点,采用“样本等于总体”的策略对整个大数据集合进行计算和分析;研究目的在于发现隐藏在数据中的事物之间的相关关系而不是因果关系;研究方法仍是现有的数据挖掘、机器学习和模式识别等方法,并无显著的创新性突破;研究手段主要是分布式并行计算和云计算;研究成果主要体现在数据获取、集成、管理和系统构建、特别是成功应用并产生重大社会影响和经济效益上。