seo网站_seo自学网 > SEO白帽 > 正文
从某种程度上说,大数据是数据分析的前沿技术。简言之,从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术,明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力。
2001年,高德纳分析员道格·莱尼在一份与其2001年的研究相关的演讲中指出,数据增长有三个方向的挑战和机遇:量(Volume),即数据多少;速(Velocity),即资料输入、输出的速度;类(Variety),即多样性。
在莱尼的理论基础上,IBM提出大数据的4V特征?得到了业界的广泛认可。第一,数量(Volume),即数据巨大,从TB级别跃升到PB级别;第二,多样性(Variety),即数据类型繁多,不仅包括传统的格式化数据,还包括来自互联网的网络日志、视频、图片、地理位置信息等;第三,速度(Velocity),即处理速度快;第四,真实性(Veracity),即追求高质量的数据。
虽然不同学者、不同研究机构对大数据的定义不尽相同,但都广泛提及了这4个基本特征。
1、大容量
据马海祥了解,天文学和基因学是最早产生大数据变革的领域,2000年,斯隆数字巡天项目启动时,位于新墨西哥州的望远镜,在短短几周内搜集到的数据已经比天文学历史上总共搜集的数据还要多;在智利的大型视场全景巡天望远镜一旦于2016年投入使用,其在5天之内搜集到的信息量将相当于前者10年的信息档案。
2003年,人类第一次破译人体基因密码时,用了10年才完成了30亿对碱基对的排序;而在10年之后,世界范围内的基因仪15分钟就可以完成同样的工作量。
伴随着各种随身设备、物联网和云计算、云存储等技术的发展,人和物的所有轨迹都可以被记录,数据因此被大量生产出来。
移动互联网的核心网络节点是人,不再是网页,人人都成为数据制造者,短信、微博、照片、录像都是其数据产品;数据来自无数自动化传感器、自动记录设施、生产监测、环境监测、交通监测、安防监测等;来自自动流程记录,刷卡机、收款机、电子不停车收费系统,互联网点击、电话拨号等设施以及各种办事流程登记等。
大量自动或人工产生的数据通过互联网聚集到特定地点,包括电信运营商、互联网运营商、政府、银行、商场、企业、交通枢纽等机构,形成了大数据之海(具体可查看马海祥博客《大数据技术到底能帮企业做些什么》的相关介绍)。
我们周围到底有多少数据?数据量的增长速度有多快?许多人试图测量出一个确切的数字。
2011年,马丁·希尔伯特和普里西利亚·洛佩兹在《科学》上发表了一篇文章,对1986——2007年人类所创造、存储和传播的一切信息数量进行了追踪计算。其研究范围大约涵盖了60种模拟和数字技术:书籍、图画、信件、电子邮件、照片、音乐、视频(模拟和数字)、电子游戏、电话、汽车导航等。
据他们估算:2007年,人类大约存储了超过300EB的数据;1986——2007年,全球数据存储能力每年提高23%,双向通信能力每年提高28%,通用计算能力每年提高58%;预计到2013年,世界上存储的数据能达到约1.2ZB。
这样大的数据量意味着什么?
据估算,如果把这些数据全部记在书中,这些书可以覆盖整个美国52次。如果存储在只读光盘上,这些光盘可以堆成5堆,每堆都可以伸到月球。
在公元前3世纪,希腊时代最著名的图书馆亚历山大图书馆竭力搜集了当时其所能搜集到的书写作品,可以代表当时世界上其所能搜集到的知识量。但当数字数据洪流席卷世界之后,每个人都可以获得大量数据信息,相当于当时亚历山大图书馆存储的数据总量的320倍之多。
2、多样性
随着传感器、智能设备以及社交协作技术的飞速发展,组织中的数据也变得更加复杂,因为它不仅包含传统的关系型数据,还包含来自网页、互联网日志文件(包括点击流数据)、搜索索引、社交媒体论坛、电子邮件、文档、主动和被动系统的传感器数据等原始、半结构化和非结构化数据。
在大数据时代,数据格式变得越来越多样,涵盖了文本、音频、图片、视频、模拟信号等不同的类型;数据来源也越来越多样,不仅产生于组织内部运作的各个环节,也来自于组织外部。
例如,在交通领域,北京市交通智能化分析平台数据来自路网摄像头/传感器、公交、轨道交通、出租车以及省际客运、旅游、化危运输、停车、租车等运输行业,还有问卷调查和地理信息系统数据。4万辆浮动车每天产生2000万条记录,交通卡刷卡记录每天1900万条,手机定位数据每天1800万条,出租车运营数据每天100万条,电子停车收费系统数据每天50万条,定期调查覆盖8万户家庭等等,这些数据在体量和速度上都达到了大数据的规模。
发掘这些形态各异、快慢不一的数据流之间的相关性,是大数据做前人之未做、能前人所不能的机会。
大数据不仅是处理巨量数据的利器,更为处理不同来源、不同格式的多元化数据提供了可能。
转载请标注:SEO三人行——详解大数据的4个基本特征
- 搜索
-
- 2019-07-18白帽黑客:特斯拉汽车存
- 2019-07-09蜻蜓FM创始人张强:物联网
- 2019-07-09相互宝成员已超7600万 80后
- 2019-07-09Socionext 推出全新低延迟
- 2019-07-09任正非:华为坚决像苹果
- 2019-06-24白帽土桥村首届油茶花节
- 2019-06-22补天白帽大会召开 国家队
- 2019-06-20史上最高 微软给360白帽黑
- 2019-06-14乐山文旅发展新蓝图:力
- 2019-06-14习近平为上合组织发展注
- 2018-03-16内容的重新崛起:为什么
- 2018-04-29白帽SEO和黑帽SEO的区别有
- 2018-06-27想要在网上赚钱,你的思想
- 2018-08-04顶尖大咖白帽汇聚BSRC年度
- 2018-11-03315“黑科技”背后的白帽
- 2018-12-31岳西白帽:吃上放心水,
- 2019-04-06【提醒】定了!5月1日起社
- 2018-03-15深圳SEO技术:二十种常见
- 2018-04-24憋屈的日子终于过去 辽宁
- 2018-04-27专业网站建设、正规白帽
- 2019-07-18白帽黑客:特斯拉汽车存
- 2019-07-09蜻蜓FM创始人张强:物联网
- 2019-07-09相互宝成员已超7600万 80后
- 2019-07-09Socionext 推出全新低延迟
- 2019-07-09任正非:华为坚决像苹果
- 2019-06-24白帽土桥村首届油茶花节
- 2019-06-22补天白帽大会召开 国家队
- 2019-06-20史上最高 微软给360白帽黑
- 2019-06-14乐山文旅发展新蓝图:力
- 2019-06-14习近平为上合组织发展注
- 网站分类
-
- 标签列表