解读大数据技术有哪些流程 大数据应用领域何在?
读趣百科>科普>科技数码

解读大数据技术有哪些流程 大数据应用领域何在?

大数据技术的应用推广过程,就类似于是一种信息处理流水线。从采集、存取、搭建架构到中期数据处理、统计分析、数据挖掘以及模型预测,最后实现结果预测。

大数据技术应用流程

数据采集:ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。

数据存取:关系数据库、NOSQL、SQL等。

基础架构:云存储、分布式文件存储等。

数据处理:自然语言处理(NLP,NaturalLanguageProcessing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言,所以自然语言处理又叫做自然语言理解(NLU,NaturalLanguageUnderstanding),也称为计算语言学(ComputationalLinguistics。一方面它是语言信息处理的一个分支,另一方面它是人工智能(AI,ArtificialIntelligence)的核心课题之一。

统计分析:假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(最优尺度分析)、bootstrap技术等等。

数据挖掘:分类(Classification)、估计(Estimation)、预测(Prediction)、相关性分组或关联规则(Affinitygroupingorassociationrules)、聚类(Clustering)、描述和可视化、DescriptionandVisualization)、复杂数据类型挖掘(Text,Web,图形图像,视频,音频等)

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘涉及的技术方法很多,有多种分类法。

根据挖掘任务可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等;根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web

根据挖掘方法分,可粗分为:机器学习方法、统计方法、神经网络方法和数据库方法。机器学习中,可细分为:归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法等。统计方法中,可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等。

神经网络方法中,可细分为:前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。数据库方法主要是多维数据分析或OLAP方法,另外还有面向属性的归纳方法。

模型预测:预测模型、机器学习、建模仿真。

结果呈现:云计算、标签云、关系图等。

大数据应用领域

在我国,大数据将重点应用于以下三大领域:商业智能、政府决策、公共服务。例如:商业智能技术,政府决策技术,电信数据信息处理与挖掘技术,电网数据信息处理与挖掘技术,气象信息分析技术,环境监测技术,警务云应用系统(道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统),大规模基因序列分析比对技术,Web信息挖掘技术,多媒体数据并行化处理技术,影视制作渲染技术,其他各种行业的云计算和海量数据处理应用技术等。

最新科技数码科普

如何拆分合并excel单元格

在使用excel的过程中,有需要合并或者拆分单元格的,就是将多个单元格合并成一个,或者将一个大的单元格拆分成单个的很多个。那么怎么拆分合并excel单元格?本...
展开详情

autocad如何在相片上标尺寸

在我们实际工作中,为了更加准确的描述某个实物,常遇到标尺寸的问题。本章就利用AUTOCAD软件在相片上标尺寸方法解决这一问题。方法/步骤1、利用手机拍下你要标...
展开详情

雀巢胶囊咖啡机怎样 雀巢胶囊咖啡机优点及使用方法

雀巢胶囊咖啡机操作十分方便,能一键萃取咖啡,相比半自动咖啡机和全自动咖啡机来说更易于操作,雀巢胶囊咖啡机在使用的过程中不需要拆开,所使用的胶囊用完后可直接回收...
展开详情

天骏空气净化器怎么样 天骏空气净化器特点介绍

随着科学技术的进步,人们对于生活用水的好坏越来越注重,饮用水的好坏直接影响着人体健康, 净水器能够有效的保障饮用水的健康,天骏 空气净化器 就是其中的优秀代表...
展开详情

PS怎么精确移动像素px值

在PS中做设计的时候,经常需要对图层进行不停的移动来调整位置, 已达到需求的效果,那么如何知道移动的精确位置呢?自己总结了几点,希望可以对大家有帮助!1、打开...
展开详情

iPod电池有哪些常见问题 常见苹果iPod电池问题解决方法

常见苹果iPod电池问题解决方法,iPod是APPLE推出的一种大容量MP3播放器容量高达10~160GB,可存放2500~10000首MP3歌曲,它还有完善...
展开详情

买macbookpro后悔了,Mac太贵而且端口极其不便捷

这么多年来,MacBook Air一直是Mac用户想要购买超轻薄笔记本的首选,不过苹果在刚刚发布的MacBook Pro上,进行了大刀阔斧的设计变革,让Mac...
展开详情

微软两周狂发7个预览版:Windows10 RedStone 2重磅升级很可能月底推送

进入三月份之前就曾报道微软的Windows 10 RedStone 2公开推送已经箭在弦上,距离发射只差一步。ps.这是继2015年11月、2016年8月之后...
展开详情
热门推荐

风管机如何才能省电 风管机省电技巧

风管机和空调,在我们居民朋友的眼中都是比较耗电的。无论是大品牌还是小品牌,在使用风管机和空调的时候,因为要耗费大量的电力,所以居民朋友一般都不敢长时间的使用,...
展开详情

海信电视的屏幕大小怎么调 海信电视的屏幕大小怎样调

以海信电视:LED32N2000为例。打开电视,按下遥控器上的【设置】按钮,会在电视上弹出【设置菜单】。然后找到并点击【图像设置】,接着进入系统浏览器,找到选...
展开详情

哈啰顺风车一天可以接几单 哈啰顺风车一天可以接几单

顺风车的出现无疑给跨城出行的人们带来了方便,很多人需要跨城出行时都会选择在哈啰顺风车里预约车辆,这就使很多车主想要成为哈啰顺风车司机。不过由于跨城出行距离较远...
展开详情

风管机怎么用才能省电 风管机省电小技巧

现在我们购买产品,除了保证所购买的产品性能好之外,还要求这个产品要省电,因为只有省电的电器,我们才不用额外去多支付一些电费,给我们的经济带来压力。现在是夏天,...
展开详情

把对方号码加入黑名单,对方打电话会提示什么?

由于不同手机的设置不同,可能会有【对不起,您拨打的电话正在通话中请稍后再拨】,或者是电话忙音,无法接通等提示。以下是详细介绍:1、通常情况下,被拉入黑名单的人...
展开详情