张军-大数据的理解与分布式进化计算方法
- 格式:pdf
- 大小:5.64 MB
- 文档页数:48
2020年12月第23卷第12期电力大数据2020年总目录 Dec 2020,Vol 23,No 12POWERSYSTEMSANDBIGDATAGeneralcontentsin2020《电力大数据》2020年1~12期总目录第1期□大数据专题基于集中器SIM卡状态分析的异常检测 董重重,王 吁,夏水斌,孙秉宇,何 欢,王先培(1)…………基于Q-Learning算法用户最优充电站运营研究 刘 燕,贾肇伟,高 虹(8)………………………………………基于倾角传感器及不同杆塔类型的输电线路覆冰监测研究 殷蔚翎,黄 良(14)………………………………………………基于人工智能的风机塔筒倾覆智能预警系统建设与开发 陈万勋,刘春波,赵坚强(21)……………………………………基于蛛状网拓扑智能变电站“三层一网”通信系统研究 单梦琦(28)………………………………………………………基于数据可视化的隔离开关运检辅助决策 门业堃,于 钊,宋 威,侯宇程,钱梦迪,滕景竹(37)…………基于大数据挖掘的电网监控信息智能监控研究 孙云岭,徐建建,李 飞,李少博,苏玉京,李 芸(45)…………智能变电站集中式站域测控装置设计与实现 辛明勇,杨 婧,高吉普,王 宇,张 历,汪明媚(51)…………基于大数据的电力环保数据平台建设 雒 军,唐 坚,赵 喆,王 佩,闫 强,陈 星(58)…………新能源综合服务平台及在配电网中的应用研究 王建平,李 莎,罗子昀,王永琦(64)……………………………节能灯谐波指纹的测试研究与分析于 洋,李成升(70)…………气象模拟仿真技术在电力安全应急培训中的应用与研究 陈肖龙,刘 航,李卓晖,张宝星,潘岐深,张荣鑫(78)…………基于负荷曲线的配网支线负荷电流计算研究与应用 林 元(84)………………………………………………………第2期□大数据专题基于FAHP的电网企业配电变压器供应商分级管理评价模型 代 洲,尹 华,李桧禹,毛 磊(1)……………………………贵州省近60年气温变化特征分析及对输电线路运维的影响 刘发勇,犹珀玉(9)………………………………………………基于大数据平台的点负荷近中期负荷预测及行业负荷增长 特征分析李 健,王琛,林韶生,杜佩仁(17)……………………智慧能源区块链平台及典型应用分析与设计 裴求根(26)………………………………………………………大数据技术在火电厂SCR脱硝系统中的应用 唐 坚,尹二新,路光杰,陈 鸥,张 军,刘永岩(32)…………基于电力物联网和GIS融合的变电智能运检系统研究 李 飞,赵大兴(38)………………………………………………电力领域科技查新系统的设计与实现 韦嵘晖,王庆红,孙辛博,王洪俊(46)……………………………基于RetinaNet模型的鸟巢智能检测 时 磊,杨 恒,周振峰,杨刘贵,张 辉,杜 浩(53)…………电网转型背景下地市级智能电网示范区规划研究 唐小璐,赵伟然,古 含,何 鑫(59)……………………………基于高层气象大数据的风电场中长期风功率预测研究 李 飞,纪 元(66)………………………………………………基于决策流程的电网强降雨及地质灾害应急信息系统研究 苏华英,唐延婧,夏晓玲,田连杰(73)……………………………无人机载多载荷输电线路巡检方法研究 陈科羽,王 萍,,石书山,周筑博,杨鹤猛(80)…………………面向电力物联网的电力大数据应用 王海洋,赵忠强,唐建华(87)……………………………………第3期□大数据专题基于大数据的台区行业聚合分类方法及分类特征分析 李 健,林韶生,陈 芳,杜佩仁(1)……………………………实时电价下用户侧电力需求响应模型优化策略及数字仿真 谈竹奎,汪元芹,赵 菁,刘 斌,刘 敏(10)…………………设备监控信息大数据与设备模型的互校验及实用化事件分析 高 志,樊锐轶,米 超,王大海,胡庆博,冯 超(19)…………利用大数据实现电能计量装置运行状态质量评估 妙红英,李 蒙,王艳芹,王 松,洪 虹,康 强(27)…………基于稳态波形分解与神经网络的负荷识别方法 陈伟伟,洪彬倬(34)………………………………………………基于大数据的导线悬垂面脱冰跳跃高速摄影测量方法研究 马晓红,吕乾勇,毛先胤,徐舒蓉,王建国,唐 敏(40)…………基于BP神经网络的输电线路隐患预放电识别研究 杨 旗,曾华荣,黄 欢,马晓红,毛先胤,张露松(47)…………大数据理念下的供应商分析及应用研究 方茂欢,贺绍鹏,陈金猛,李 屹,郝嘉诚(55)…………………基于Hadoop和HBase的输变电设备数据聚合平台 陈 锐,吴应双,曹 杰,刘明顺(62)……………………………基于用户行为的分时电价时段划分和价格制定 陈巨龙,黄剑平,张 裕,代 江(69)……………………………智能变电站二次系统组网结构与信息传输优化研究 唐孝舟,刘青红,孙长兰,章叶青,葛立青(77)…………………电力大数据第23卷考虑多场景新能源预测的月度机组组合研究 赵 倩,赵翔宇,苏华英,汪明清,游成彬,黄红伟(85)…………第4期□大数据专题基于故障概率的配电设备排查路径规划 马天佚,朱建明,杨 霖,张 驰(1)……………………………多源信息融合的微服务化电网事故追忆 韦洪波,曹 伟,叶桂南,韦昌福,何伊妮(8)……………………基于人工智能的电网调度操作智能防误系统建设及实践 蔡新雷,齐 颖(16)………………………………………………电力物联网中5G边缘计算技术的研究 王 亮,鲜 柯(24)………………………………………………基于LoRa技术的低压集抄系统运行可靠性分析 孙 航,梁丹丹,郝凤柱,何 毅,张 鸷(31)…………………基于规则和机器学习的核电文件分发系统研究 刘帝勇,杨 强,岳振兴(39)……………………………………基于大数据模式识别机器学习算法的热力站动态能耗指标 预测模型王 炎,张海增,胡新华,赵 隽,李 添(47)………基于XGboost的线路覆冰测量中激光测距的误差研究 曾华荣,谢百明,王 冕,林呈辉,高吉普(54)…………………多虚拟电厂接入的主动配电系统优化经济调度 邵倩文,姚 璐,谢 威,李舒佳,谢 敏,李建钊(62)…………基于预期完成率的月内滚动机组组合研究 田年杰,苏华英,刘明顺,李 赟,黄红伟,游成彬(71)…………电能表运行误差与状态评价模型研究 王晨丞,张君胜,蒲丽娟,何培东,杜 斌,赵智辉(79)…………存在反向有功电量低压用户的研判方法研究 马 浩,王立斌,武超飞,赵国鹏,马婷婷(86)…………………第5期□大数据专题基于生存分析模型的电力设备故障预测方法 王春波,陈 刚,周 融,马莉娟(1)……………………………基于人工智能技术的电网调度控制业务研究 范英乐,王 浩,白玉东,李 熙(9)……………………………基于神经棒的电力变压器离线图像识别研究与应用 曾 惜,王 冕,王林波,龙思璇,吕 飞,陈华彬(16)…………低照度液晶屏幕图像增强算法 张薇薇,王 彦,张庆伟,付龙明,黄 辉(23)…………………一种改进的RGB-DSLAM室内空间三维重建方法 余兆凯,彭晓峰,邱昌杰,李 训,常友谦(30)…………………综合能源热力潮流节点标幺值模型及算法实现 陈 晓,齐文斌,平 原,谭志海,刘兴艳(38)…………………考虑发电能力匹配性的输变电设备检修优化方法 李 豹,袁 泉,张 蔷,卢明富,张德亮,黄红伟(46)…………大数据技术在配网单线图自动成图的应用研究 何雄坤,周宏志,聂 辉,陈满超,齐志刚(54)…………………基于数据驱动的物资储检配一体化系统研究和应用 彭 坤,朱长征,高书怡,朱孝峰,潘 敏,李 刚(64)…………基于大数据的发电量预测分析数据平台建设 张睿锐,徐俊强,童 琪(72)……………………………………一种云计算数字签名技术的研究与实现 杨凯利,瞿 强,张永超,张其静,娄红红(80)…………………面向电网实时运行风险的快速定级方法研究及应用 罗 艳,陈子敬,高 浩,粟 景(86)……………………………第6期□大数据专题基于用户停车行为统计的电动汽车快速充电站最优规划 陈巨龙,刘振铭,薛 毅,廖志军,郑方鹏,徐立新(1)…………大数据环境下基于K-means聚类算法的分组负荷预测研究 史 静,南开辉,周 琪,谈 健,李 琥(9)……………………基于改进的SAE和DCT的自适应无人机巡线图像识别算法研究 王 鑫,李天睿,焦睦涵,刘萌森,刘逸涵(17)…………………基于KC-LSSVM-MAFSA的并网光伏微网系统的能量管理 黄 柯,李佳蓉,杨璐瑜,陈 爽(26)……………………………基于BP神经网络模型的输电线路造价预测模型研究 张宇晨,张宇霖,封春菲,王 晨(35)…………………………基于TOPSIS的私自增容专变电力用户排查方法 王立斌,张思为,马 浩,赵 佩,李梦宇(43)…………………基于多级属性加密的零信任访问授权控制方法研究与设计 黄 何,刘 劼,袁 辉(51)……………………………………基于大数据分析的电力用户多维价值识别精准营销投入产出 模型研究姚丹靖,褚 燕(57)……………………………………基于大数据技术的配网故障抢修分析预测系统的设计与实践 王海洋,迟兆江,蔡鹏飞(63)……………………………………数据标签研究与应用李阿勇,税 雪,宋志伟(69)………………基于泛在感知及Python编程的线损问题区间快速定位方法 黑 阳,单宇南,李文澜,张 维,郝旭东,胡一平(75)…………基于同步向量的配电网运行数据监测装置设计 曾 惜,王元峰,王林波,杨琦岑,蔡广林(85)…………………第7期□大数据专题基于FaceNet的无人值守变电站智能监控终端 宗祥瑞,王 洋,金 尧,周 斌,任新颜,庞玉志(1)…………基于大数据的电网状态估计精细化分析 刘 爽,张 硕,郑 璐,王兴才,金宜放,王 铎(9)………… 第12期《电力大数据》2020年总目录数据挖掘技术在反窃电工作中的应用研究 秦 娜,高振江,白泽明,栾德佳,李雨庭(16)…………………水火电发电权交易机制及水电市场化发展模式探究 吕 翔,吴引航,戴晓娟,卢冬雪,陈雨果(24)…………………基于随机模型预测控制的能源互联网双层协调优化调度 蒋泽甫,张 彦,高 华,何向刚,周杨林(31)…………………一种基于SQLite数据库的电网滚动规划分布式收资方法 俞秋阳,何俊峰,常宝立,王新宝(39)……………………………利用差分-花粉算法实现反时限过流优化 罗 琨,罗晨瑀,刘 丽,李正新,周 坤,郝东方(46)…………变电站双星形并联电容器组电容量快速测量方法 杨 旗,谢百明,陈沛龙,文 屹,马晓红,陈 竹(54)…………基于数据分析的MGP并网系统电气端口的谐波特性 陈巨龙,薛 毅,李庆生,张裕,何向刚(62)……………………基于聚类分析的低压配电设备误告警识别方法 冯 义,李中文,晋 斌,张腾飞(72)……………………………一种基于主站多源信息的配网故障定位方法研究 练 寅,王 荣,刘安茳,王昆伦(79)……………………………贵州火电机组机网耦合扭振典型故障分析与寿命评估 徐章福,邓彤天,李志凌,姜延灿(86)……………………………第8期□大数据专题基于电力大数据的新能源跨区域消纳研究 彭 旭,郭耀松,刘 琼,周兆南,白 鑫,高 翔(1)…………基于小波变换的多路基坑尺寸检测降噪评估 张 周,胡 科,张 鹏,林 佳,胡涤尘(9)……………………基于多层协作负荷辨识技术的新型智能电表研制及应用 田 欣,王克南,宁 蒙,邓士伟,李世洁(18)…………………考虑稳控系统动作策略的大电网实时风险评估 康 鹏,陈俊全,姚 刚,宋 弦,白宏宇,杨 帅(26)…………基于电力大数据的多源异构数据融合技术研究与应用 毛先胤,文 屹,马晓红,黄 欢,张 辉,余 容(33)…………考虑设备利用效率和规划执行情况的配电网规划投资分配模型 张 彦,高 华,刘金森,李丽娟(40)……………………………基于PSO-LSSVM的输电杆塔腐蚀失重回归拟合研究和分析 王 立,李 振,王 伟,杨世平,刘 恒(47)…………………基于营配大数据的配网故障定位系统的设计与实现 袁忠军,王 丹,段湛辉,陈业伟,李明勇,张宁欢(56)…………基于健康度与重要度的配电网线路评价 林 元(63)………………………………………………………基于新型滑模观测器的MMC子模块IGBT开路故障诊断方法 刘方艳,汤亚芳(71)………………………………………………基于电量守恒原理台区拓扑计算模型研究与应用 梁旭常,汪 毅,黄兆鹏,靳 光,刘 林,王 鹏(79)…………深度调峰工况下外圈配水湿式冷却塔模拟研究 王锁斌,邓彤天,王红波,李晨宇(86)……………………………第9期□大数据专题基于电网电厂数据交互的居民垃圾分类激励方法及效果预测 方 响,王 亿,夏 霖,孙智卿,徐祥海,侯伟宏(1)…………基于无线传感器与边缘网关的变电站全物联体系方案 朱 成,黄 娅,刘 沁,张 力,刘光程,周哲夫(10)…………基于大数据技术的电网自然灾害应急救援能力评价体系研究 秦浩然,夏银宽(18)………………………………………………基于改进粒子群算法的接地网腐蚀诊断研究 陈敬友,付 明,张 军,张 超,杨尊富,雷治炼(26)…………基于用电信息的电力能效服务潜在客户挖掘 王立斌,马 浩,杨 鹏,张 晶,张肖杰(34)…………………基于模糊聚类与互信息的电网运营指标类间筛选策略 李嘉周,尹 远,刘俊勇,王电钢,黄 林,唐 杰(42)…………基于监控PaaS的大数据治理研究 王 军,宋 尧,于全喜,宁 楠,廖清阳(50)…………………考虑抽蓄电站运行特性的电网经济调度方法 袁 泉,周 鑫,张 蔷,周毓敏,黄红伟,李 展(58)…………基于改进内点法的电热联合系统优化研究 陈 晓,谭志海,平 原,刘兴艳,李玉芬(66)…………………SPWM逆变器输出共模电压影响因素研究 江 娜,曾 鹏,艾 波,李 锦,王生平,谢明威(74)…………机网系统耦合作用下贵州火电机组轴系扭振建模与实测验证 徐章福,邓彤天,李志凌,姜延灿(85))…………………………第10期□大数据专题基于一维卷积神经网络和自注意力机制的非侵入式负荷分解 蒙 亮,于 超,张希翔,覃智君(1)……………………………弱约束关联下考虑社会属性的低压居民台区负荷预测 卢德龙,缪继东,吕培强,殷 勤,吴 阳(9)……………………基于多维特征模糊聚类的负荷用户精准用电管理策略 殷新博,王 数,陆 芸(17)……………………………………RIMA-MSFD组合模型在甘肃省水力发电量预测中的应用 成禹蓉,冶海廷(25)………………………………………………大数据思维推进光伏扶贫管理创新的实践及应用研究 罗 凡,徐兰兰,边海源,杨照逵,白闻强,王小龙(34)…………基于移动边缘计算的电力需求响应业务分配研究 胡 波,王建红(42)………………………………………………基于大数据的企业用能数据共享分析平台设计与实现 张 颖,郭思炎,张益辉(49)……………………………………电力大数据第23卷基于云计算的小水电远程集控平台的设计与实现 陈云鹏,郑黎明,邱生顺,刘德文,李晓波,杜 炜,陈庆锋(55)……基于数据中台的电力数据报表模型研究与应用 张 帆,杨 志,李文娟,胡锡双,张 乐(63)…………………基于规划工具的配电网规划现状数据分析研究 关守姝,董小虎,孙 强,冯 涛,韩天华(70)…………………南方电网发电侧运行备用容量统计研究及应用 李慧勇,杜 旭,方必武,杨 林,郭自豪,丁 刚(79)…………电力数据标签库建设及服务能力研究 郭 敏,林晓静,尹泽楠,万 凯(86)……………………………第11期□大数据专题基于电网大数据的故障风险分析研究 裴求根,杨舒涵,卢宾宾(1)………………………………………基于改进FasterRCNN的配网架空线路异常状态检测 王超洋,罗敬一(9)………………………………………………基于AI大数据技术的无人机巡线研究 王 勇,王永旺,郭建勋(17)……………………………………基于大数据的输电线路无人机巡检路径追踪方法 吴晏芳,梁智勇,陈冠胜,黄 浩,姜 南,魏子力(24)…………基于边缘计算的GIS母线热特性状态辨识研究 程占峰,夏 博,李波涛,王兴江,朱思尧(31)…………………基于大数据技术的交直流混合主动配电网规划模型构建 胡 波,赵善龙,庞伟林(38)……………………………………呼和浩特地区电网基于大数据的BP神经网络短期负荷预测 姜海洋,周芮冰,王烁罡,周定均,刘昌新,云 卿(47)…………智慧家庭储能系统配置与运行双层优化 胡厚鹏,林晓明,钱 斌,梁 雾,刘安茳,练 寅(55)…………基于出力-等值容量特性的光伏出力预测方法 吴 雨,张 宇,赵紫恒,连 欣(63)……………………………基于电力大数据分析的综合能源服务分析与服务策略制定 曹 敏,白泽洋,巨 健(72)……………………………………基于电量实时计算的市场监测数字化分析研究与应用 王林信,罗世刚,江 元,李竣业(79)……………………………基于大数据分析的火电机组节能诊断与能效管理 张 平,孙雪丽(86)………………………………………………第12期□大数据专题X射线数字成像技术与图像人工智能诊断的探索与实践 谢百明,李 波,樊 磊(1)………………………………………基于大数据多元电网动态参数应用的研究 谢怀影,于 淼,贾 威,赵 军,李 婷,王钒宇(10)…………基于CEEMDAN-WPT的台区线损组合变权预测模型研究 周 彬,李宜伦,张异殊,王国栋,蔡娇彧,牛 俊(18)…………基于大数据分析的园区综合能源企业能效评价 郭 飞,王 波,王 亮,史渊源,胡建军,李秀广(29)…………基于数据挖掘的南网异地容灾数据负载分析及磁盘空间预测 姜 南,梁智勇,吴晏芳,黄 浩,魏子力,吴浩珊(37)…………江苏核电基于Solr与HBase的CC1设备信息工作台的设计 与实现 朱云飞,杨 强,秦绪涛,张钧鸣(44)…………………………社会治理视角下的城市大脑电力驾驶舱设计及应用 王 亿,陈 奕,方 响,宣 弈,徐祥海,孙智卿(50)……基于电力负荷大数据的负荷分析方法及其在无锡地区疫情 期间的应用 董金哲,白晨阳,刘志仁,於慧敏,胡晓青,李 澄(57)……基于电力大数据的企业复工复产模型研究及应用 王林信,江 元,罗世刚,李竣业(65)…………………………融合气象信息的配网故障特征挖掘和故障预报研究 周小华,范美鹏,袁雪松,舒文雄(72)…………………………居民用电行为分析及潜力研究 杨 宏,邓晨成,邹 芹,石 莹(80)…………………………《电力大数据》2020年1~12期总目录 (89)………………………………………………。
1.数据科学的三大支柱与五大要素是什么?答:数据科学的三大主要支柱为:Datalogy (数据学):对应数据管理 (Data management)Analytics (分析学):对应统计方法 (Statistical method)Algorithmics (算法学):对应算法方法 (Algorithmic method)数据科学的五大要素:A-SATA模型分析思维 (Analytical Thinking)统计模型 (Statistical Model)算法计算 (Algorithmic Computing)数据技术 (Data Technology)综合应用 (Application)2.如何辨证看待“大数据”中的“大”和“数据”的关系?字面理解Large、vast和big都可以用于形容大小Big更强调的是相对大小的大,是抽象意义上的大大数据是抽象的大,是思维方式上的转变量变带来质变,思维方式,方法论都应该和以往不同计算机并不能很好解决人工智能中的诸多问题,利用大数据突破性解决了,其核心问题变成了数据问题。
3.怎么理解科学的范式?今天如何利用这些科学范式?科学的范式指的是常规科学所赖以运作的理论基础和实践规范,是从事某一科学的科学家群体所共同遵从的世界观和行为方式。
第一范式:经验科学第二范式:理论科学第三范式:计算科学第四范式:数据密集型科学今天,是数据科学,统一于理论、实验和模拟4.从人类整个文明的尺度上看,IT和DT对人类的发展有些什么样的影响和冲击?以控制为出发点的IT时代正在走向激活生产力为目的的DT(Data Technology)数据时代。
大数据驱动的DT时代由数据驱动的世界观大数据重新定义商业新模式大数据重新定义研发新路径大数据重新定义企业新思维5.大数据时代的思维方式有哪些?“大数据时代”和“智能时代”告诉我们:数据思维:讲故事→数据说话总体思维:样本数据→全局数据容错思维:精确性→混杂性、不确定性相关思维:因果关系→相关关系智能思维:人→人机协同(人 + 人工智能)6.请列举出六大典型思维方式;直线思维、逆向思维、跳跃思维、归纳思维、并行思维、科学思维7.大数据时代的思维方式有哪些?同58.二进制系统是如何实现的?计算机用0和1来表示和存储所有的数据,它的基数为2,进位规则是“逢二进一”,用1表示开,0表示关9.解释比特、字节和十六进制表示。
《人工智能极简说:人人都能读懂的AI入门书》读书记录目录一、书籍概览 (2)1.1 作者介绍及写作目的 (2)1.2 书籍内容概述 (3)1.3 读者群体定位 (4)二、人工智能基础概念篇 (5)2.1 内容描述 (6)2.2 人工智能定义与起源 (7)2.3 人工智能发展阶段 (8)2.4 人工智能技术应用领域 (9)三、关键技术解析篇 (11)3.1 机器学习原理及应用 (12)3.2 深度学习及其技术特点 (13)3.3 自然语言处理技术 (14)3.4 计算机视觉技术 (16)四、人工智能在各领域的应用实践篇 (17)4.1 金融行业应用案例分析 (18)4.2 医疗健康行业应用案例分析 (19)4.3 教育行业应用案例分析 (20)4.4 其他领域应用展望 (22)五、人工智能的伦理与社会影响篇 (23)5.1 人工智能带来的伦理问题与挑战 (24)5.2 人工智能对社会就业的影响分析 (25)5.3 人工智能对人类生活方式的改变 (26)六、未来发展趋势与展望篇 (28)6.1 人工智能未来技术创新方向预测 (29)6.2 人工智能与其他产业融合发展趋势分析 (30)一、书籍概览《人工智能极简说:人人都能读懂的AI入门书》是一本全面介绍人工智能基础知识的科普读物,旨在帮助读者快速了解并掌握人工智能的基本概念、原理和应用。
本书通过通俗易懂的语言和生动的案例,让读者在轻松愉快的阅读中领略人工智能的魅力。
本书的作者是一位资深的人工智能专家,拥有丰富的研究和实践经验。
他她通过深入浅出的讲解,将复杂的理论知识转化为易于理解的概念,使读者能够轻松掌握人工智能的核心要点。
人工智能概述:介绍人工智能的定义、发展历程、应用领域以及未来趋势;人工智能实践:通过实际案例展示人工智能技术的实际应用,培养读者的实践能力。
为了更好地理解和掌握本书的内容,建议读者先了解人工智能基础知识,然后按照章节顺序逐步阅读。
大数据技术简介第一点:大数据技术的概念与发展大数据技术是指在海量数据中发现有价值信息的一系列方法和技术。
在信息技术发展迅速的今天,数据已经成为一种重要的资源。
大数据技术的出现,使得我们能够更加有效地挖掘和利用这些资源。
大数据技术的概念最早可以追溯到20世纪90年代,当时的研究者开始关注如何处理和分析大规模数据集。
然而,大数据技术真正得到广泛关注是在21世纪初。
随着互联网的普及和信息技术的飞速发展,数据量呈现出爆炸式增长,这使得大数据技术成为了研究和应用的热点。
大数据技术的发展可以分为以下几个阶段:1.数据挖掘和机器学习:这是大数据技术的基石。
数据挖掘是指从大量数据中发掘出有价值信息的过程,而机器学习是一种使计算机具有学习能力的技术。
通过数据挖掘和机器学习,我们可以发现数据中的规律和关联,为决策提供支持。
2.分布式计算:随着数据量的增长,单台计算机已经无法胜任大规模数据的处理任务。
分布式计算技术应运而生,它通过将任务分散到多台计算机上进行处理,提高了大数据处理的效率。
Hadoop和Spark等分布式计算框架成为了处理大数据的重要工具。
3.数据库技术:传统的关系型数据库在处理大规模、高速生成的数据方面存在局限性。
为了满足大数据的处理需求,NoSQL数据库等技术得到了广泛应用。
NoSQL数据库具有可扩展性强、适应性强等特点,能够更好地满足大数据的需求。
4.数据可视化:大数据的价值在于挖掘和利用,而数据可视化技术则使得大数据的分析结果更加直观、易于理解。
通过数据可视化,我们可以更加直观地了解数据中的规律和趋势,为决策提供依据。
5.数据安全和隐私保护:随着大数据技术的应用,数据安全和隐私保护成为了亟待解决的问题。
如何在利用数据的过程中保护个人隐私和信息安全,是大数据技术发展过程中必须考虑的问题。
第二点:大数据技术的应用领域大数据技术的应用领域非常广泛,已经渗透到了各个行业的方方面面。
以下是一些典型的应用领域:1.金融行业:大数据技术在金融行业的应用已经非常成熟。
马建光等:大数据的概念、特征及其应用(2013-09-05 16:15:35)转载分类:学习资料标签:杂谈大数据的概念、特征及其应用马建光,姜巍(国防科技大学人文与社会科学学院,湖南长沙410074)源自:国防科技2013年4月[摘要]随着互联网的飞速发展,特别是近年来随着社交网络、物联网、云计算以及多种传感器的广泛应用,以数量庞大,种类众多,时效性强为特征的非结构化数据不断涌现,数据的重要性愈发凸显,传统的数据存储、分析技术难以实时处理大量的非结构化信息,大数据的概念应运而生。
如何获取、聚集、分析大数据成为广泛关注的热点问题。
介绍大数据的概念与特点,分别讨论大数据的典型的特征,分析大数据要解决的相关性分析、实时处理等核心问题,最后讨论大数据可能要面临的多种挑战。
[关键词]大数据;非结构化信息;解决核心问题;未来挑战一、引言自上古时代的结绳记事起,人类就开始用数据来表征自然和社会,伴随着科技和社会的发展进步,数据的数量不断增多,质量不断提高。
工业革命以来,人类更加注重数据的作用,不同的行业先后确定了数据标准,并积累了大量的结构化数据,计算机和网络的兴起,大量数据分析、查询、处理技术的出现使得高效的处理大量的传统结构化数据成为可能。
而近年来,随着互联网的快速发展,音频、文字、图片视频等半结构化、非结构化数据大量涌现,社交网络、物联网、云计算广泛应用,使得个人可以更加准确快捷的发布、获取数据。
在科学研究、互联网应用、电子商务等诸多应用领域,数据规模、数据种类正在以极快的速度增长,大数据时代已悄然降临。
首先,全球数据量出现爆炸式增长,数据成了当今社会增长最快的资源之一。
根据国际数据公司IDC的监测统计[1],即使在遭遇金融危机的2009年,全球信息量也比2008年增长了62%,达到80万PB ( 1PB等于10亿GB),到2011年全球数据总量已经达到1. 8ZB ( 1ZB等于1万亿GB,),并且以每两年翻一番的速度飞速增长,预计到2020年全球数据量总量将达到40 ZB,10年间增长20倍以上,到2020年,地球上人均数据预计将达5247GB。