登陆注册
3371700000003

第3章 认识大数据的基本常识(2)

这当然不是死而复生,而是一个大数据时代的奇迹。如果顺着这个剧情设想,我们不难做出预测,在未来,现在不能数据化的东西都可以数据化,直到最后一切都可以数据化,包括一个人、一个世界。

这个故事到后来发展到玛莎订购了一个具有艾什特征的机器人,然后发现机器人毕竟只是机器人,没有艾什的灵魂,最终玛莎放弃了这个机器人。导演似乎是要告诉我们,科技到任何时候都无法代替一个真正的人。可是,灵魂到底是什么?不就是说机器人还不够像艾什吗?那也只是因为艾什留下的数据还不够大,如果艾什从出生到车祸死去前的所有行为特征都被采集到了,根据这个采集到的大数据定制出的艾什和真正的艾什又有何不同呢?

所以,凡事皆可量化。只要我们能够找到观察问题的方式,并从一个新的角度去衡量它,不管从这个新的角度衡量它到底精准度如何,只要它能让我们知道得比以前更多,那么它就是一种可行的量化方法。实际上,对那些看似不可量化的东西,人们总能找到相对简单的量化方法。

1938年诺贝尔物理学奖得主、著名的物理学家恩里科·费米在使用各种高明技巧方面很有天分,在量化工作方面也是如此。

很多人都知道他的一些有关量化的有趣故事。

1945年7月16日,美国新墨西哥州洛斯阿拉莫斯附近的特里尼蒂沙漠进行了第一枚原子弹爆炸的试验。在其他科学家对量化爆炸当量的仪器进行最后校正时,作为基地观测爆炸情况的原子弹科学家之一的费米正在把一张纸撕成碎纸屑。当第一波冲击波冲过营帐时,他把碎纸屑慢慢撒向空中,观察它们在冲击波的冲击下能飘多远,最远的碎片承受的就是波的压力峰值。费米知道一条简单规则,那就是碎纸片在风力作用下的漂移和他想要量化的数据有关。据此,费米得出结论:爆炸当量至少有1万吨。这应该是一条新闻,因为其他观测者还没有算出这个下限。人们都在估计这次爆炸的当量,有说5000吨的,有说2000吨的,但都是非常感性的猜测,没有一个很好的估算办法去衡量,也没有其他的原子弹爆炸参数去对比,因为这是原子弹的第一次爆炸。在人们根据仪器的读数做了大量分析后,最终的计算结果为1.86万吨,这证实了费米的猜测。

在大数据时代,数据在以我们无法想象的速度增长着,有些问题是无法实现非常精确的计算的,而费米分解就为我们提供了很好的思路。我们要避免陷入不确定性及“无法”分析的泥潭,为了避免被显而易见的不确定性压倒,应该从知道的事情开始提问。评测我们已了解的事物的数量,是量化那些似乎根本不可量化的事物的重要步骤。

在未来的世界里,一切都可以数据化。一切都保存在互联网的数据库中,当你有一天需要的时候,数据库服务商能够将这些数据调出来给你,对其进行数字化。

统计学:解析大数据的工具

统计学是一门通过搜索、整理、分析数据等手段,以达到推断所测对象的本质,甚至预测对象未来的一门综合性科学。通过寻找和挖掘现象,把现象变成可用数字标识的数据,并把大量数据进行汇总,从而找出事物的本质和规律。其核心思想是把大量具备一定偶然性的事件汇总,从中找出规律。因为虽然单个事件是偶然的,但是大量事件汇总就会具备一定的必然性。

在企业管理中,无论是市场的运营,还是对人的管理,如果认真观察单个客户或员工的表现,然后汇总起来分析,就会发现各种现象背后的规律。所以说,大数据时代,一定离不开统计学,它是管理数据的最有用的工具。

统计学的概念最早出现在古希腊的亚里士多德时期,最初的用途是计算各个城邦王国的经济和居民状况等社会经济问题。

现在,统计学被广泛应用于国家管理、企业运营、科学研究各个不同领域。以统计学在社会中的作用来看,其发展经历了三个阶段。

1.城邦政情

有观点认为,古希腊亚里士多德撰写的“城邦政情”是最早应用统计学方法的记录。公元前8世纪,古希腊建立了很多以城邦为基础的国家。主张科学与数学管理的亚里士多德,为了抵御波斯帝国的入侵,对希腊各城邦的人口、军队、经济、粮食等方面进行了统计,来分析希腊抵抗外来入侵的能力。这种方法很快在欧亚地区流传开来,到了17世纪,正式发展成为现代意义的统计学。

2.政治算术

“政治算术”的特点是,统计方法与数学计算、推理方法开始结合,分析社会经济问题的方式,更加注重运用定量分析方法。延续至今,“城邦政情”已经演变成对国家和社会经济、社会发展的统计,现在大家经常听到的GDP、CPI、基尼系数就属于统计学的重要工作。

以基尼系数为例,基尼系数为意大利经济学家基尼于1922年提出的,根据劳伦茨曲线所定义的判断收入分配公平程度的指标。其比例数值在0和1之间,越接近0就表明收入分配越趋向平等;反之,收入分配则越趋向不平等。根据长期的数据统计发现,如果某个国家基尼系数超过0.4,则意味着贫富差距较大,社会上也会存在不稳定的因素,甚至会出现失业、动乱、罢工等危机事件。而当基尼系数达到或超出0.6时,则表示收入相差悬殊。

3.大数据时代

随着计算机和现代检测技术的发展,提取数据越来越容易。

应用计算机技术,我们可以轻易统计出一个银行每天的客流量和业务办理情况。同时,我们还可以快速把多个银行的信息汇总在一起分析。应用软件技术,可以根据客户的身份信息快速转换为年龄、地址等信息,每个业务或客户又可以快速添加很多信息标签。这种情况下每个企业都可以积累庞大的数据,而这些数据又可以通过网络和检索网站汇总为更大的数据。于是,“大数据”的概念随之出现,统计学也随之被重用。

大数据用于形容那些数量庞大到无法用人工,甚至用简单的计算机软件进行处理的海量数据。比如,商场一客户的购买信息,还有搜索网站上众多网民对于某词条的查询记录,当然也包括全国性的人口普查信息。这些海量信息的出现,使得管理者从过去单纯分析销售额、客户成交率,转变为可以分别针对不同年龄、不同性别、不同地区的客户来计算成交率。

检测技术还可以越来越方便地统计温度、压力、湿度、亮度、粉尘颗粒等信息,从而积累大量的数据,用于分析人们在不同条件下的行为变化。比如,据中国互联网络信息中心统计,截至2012年12月底,我国网民规模达6亿人,普及率为43%,较2011年底提升4%;我国手机网民规模为4亿人,较上年底增加约6000多万人;2012年70.6%的网民通过台式电脑上网,相比上年底下降了近3个百分点;手机上网的比例保持较快增速,从69.3%上升至74.5%。另外,百度也通过统计得出结论,2012年网民上网活跃时间依次为:20∶00~21∶00(6.53%),21∶00~22∶00(6.44%),16∶00~17∶00(6.20%),19∶00~20∶00(6.13%),15∶00~16∶00(6.09%)。晚饭后的3个小时(19∶00~22∶00)依然是网民最活跃的时间段。

大数据现在也成为另一种概念,也就是用大量的数据信息进行统计,从看似没有关联的事物中获取有价值的规律。京东商城的老总刘强东通过统计发现:只有女性用户超过一半,才有机会赚钱。秘密在于,男人买的东西都是毛利率“超低”的产品,而女人不同,比如服装、鞋帽、家居和化妆品等都是高毛利的。他表示:“我们希望做的是一个大型综合购物平台。如果这么一个平台只有男人,没有女人,那这个平台就是有缺陷的……”

所有这些,都离不开统计学。所以说,大数据时代,我们离不开统计学,否则,大数据时代的建立和数据的实际运用就是一场空谈。

数据大小怎么算

人们发现,大数据的主要特点为数据量大(Volume)、数据类别复杂(Variety)、数据处理速度快(Velocity)以及数据真实性高(Veracity),合起来被称为4V。

大数据中的数据量非常巨大,而且这庞大的数据之中,不仅仅包括结构化数据,如数字、符号等数据,还包括非结构化数据,如文本、图像、声音、视频等数据。这使得大数据的量化很难利用传统的计量方式去完成。大数据,顾名思义,一定是一个巨大的数据,那么,它的大小怎么算呢,用什么去量化呢?

我们在生活中接触比较多的是各类电子文档和影音资料,比如一个10万字的TXT文档大约200K,一首未经过压缩的APE格式歌曲大约30M,一张CD的容量大约为700M,一张普通DVD的容量大约为4.3G……K、M、G这些是表示文件大小的单位,我们一般比较熟悉。可是,很少有人听说过T、P、E、Z、Y、D和N等单位。

这些单位我们不常遇到,但是在大数据里十分常见。大数据又叫海量数据,光从名字看就知道数据的规模之大了,用一般的计量单位不是很方便。现在,个人、企业、政府手中的数据每天都海量产生,不断地爆发着。由于这些数据量是如此之大,已经不是以我们所熟知的多少G和T(约1000G)为单位来衡量,而是以P(约1000T)、E(约100万T)或Z(约10亿T)为计量单位的。

那么,这些单位之间存在什么关系呢?它们之间如何换算呢?

在十进制的世界里,人们用以记录数据的数字符号有10个,分别是从0到9,数数的方式是0、1、2、3、4、5、6、7、8、9、10、11、12、13……而在计算机里,使用的是二进制,记录数据的符号只有0和1,数数的方式是0、01、10、11、100、101、110、111、1000……二进制数系统中,每个0或1就是一个位(bit),8bit为1Byte,称为1字节。字节是计算机文件大小的基本计算单位。一个英文字母占用一个字节,一个汉字占用两个字节。

按照从小到大的顺序,单位分别为:bit(比特)、Byte(字节)、KB(千字节)、MB(兆字节)、GB、TB、PB、EB、ZB、YB、DB、NB。从KB到NB,人们习惯省略后面的“B”而直接用“多少K”,或“多少N”这样的说法。

它们按照进率1024(即210)来计算:

1Byte=8bit

1KB=1024Bytes

1MB=1024KB=1048576Bytes

1GB=1024MB=1048576KB=1073741824Bytes

1TB=1024GB=1048576MB=1073741824KB=1099511627776Bytes

1PB=1024TB=1048576GB=1125899906842624Bytes

1EB=1024PB=1048576TB=1152921504606846976Bytes

1ZB=1024EB=1180591620717411303424Bytes

1YB=1024ZB=1208925819614629174706176Bytes

1DB=1024YB=1237940039285380274899124224Bytes

1NB=1024DB=1267650600228229401496703205376Bytes

越到后面看上去越像天文数字,我们似乎没有办法衡量到它们到底有多大。

百度公司对此给出了更形象的描述:百度新首页导航每天就要从超过1.5PB的数据中进行挖掘,这些数据如果打印出来将超过5000亿张A4纸。这些纸全部接起来超过4万千米高,接近地球同步卫星轨道,平铺可以铺满海南岛。而2020年新增的数字信息成长幅度将是2009年的近45倍。如今,只需两天就能创造出自文明诞生以来到2003年所产生的数据总量。

同类推荐
  • 寡头:新俄罗斯的财富与权力

    寡头:新俄罗斯的财富与权力

    《寡头:新俄罗斯的财富与权力》一书记录了后苏联时代新富阶层的崛起。从1985年戈尔巴乔夫改革开始,一直到普京上台初期,几个甚为瞩目的寡头带领俄罗斯进行了未曾有过的险峻试验。从权力推手别列佐夫斯基、媒体大王古辛斯基、石油大亨霍多尔科夫斯基、银行巨头斯莫伦斯基、青年改革家丘拜斯到莫斯科市长卢日科夫……这些寡头化身新秩序的建筑家和鼓吹者,反过来操纵旧制度,推动了财富与权力的联姻。在寡头资本主义走向盛极之时,他们基本上控制了国家的油气、电力、冶金和金融业,并在很大程度上控制着媒体,操纵着舆论。
  • 梁启超的经济面向

    梁启超的经济面向

    梁启超的著述非常多,所涵盖的题材相当宽广,但有一个面向是至今尚未被充分探索的,那就是他的经济论述。在梁启超的全集里,经济论述所占的比例不高,只是作为他议论众多时事的一环;但他对某些经济问题曾下功夫深入研究过,尤其关注币制改革和财政制度。梁启超的文笔犀利活泼,老少咸宜;他所论述的主题,大都具有时事性与政策建议的意涵,很能引起当时读者的关注。但从另一个角度来看,这项特性也是负面的:环境一变、时间一过,这些问题的意义就随风而逝(“能动人”但“不能留人”)。一个世纪之后,本书作者重读梁启超的经济论著,得到三个观感:文笔方面情绪高张,内容方面动人听闻,手法方面自我矛盾。
  • 理念的力量:什么决定中国的未来

    理念的力量:什么决定中国的未来

    本书涵盖了著名经济学家张维迎近年来所主张、研究主要观念,书中论点涉及市场、法治、改革、未来发展等重要领域,列出了作者长期思考的影响社会的二十四个重大理念。本书没有专业的经济学术语,而是用简单形象的类比说明经济现象,解决实际问题,是中国改革最前沿的一流经济学家为普通读者撰写的经济学读物,也是获取正确的经济观念、理解中国经济和世界格局的第一手资料。张维迎教授在八十年代即提出价格双轨制并长期坚持自由市场理论,对中国社会改革和社会观念的影响有目共睹,他的许多观点和预言已被事实所证明,他在本书中所提出的极具预见性的理念,相信也会为我们如何改变现实、面对未来提供重要的参考。
  • 谁来买单:走进经济学聊天室

    谁来买单:走进经济学聊天室

    我们的物质生活和精神生活与过去相比简直是飞跃一般的进步,但是人们却“端起碗来吃肉,放下筷子骂娘”;政府机构年年精简,但是却不断地变得更加臃肿;很多个人的小公司渐渐地发展成了巨人,而有些巨人般的大企业却在不知不觉间轰然倒地……这都是为什么呢?用轻松幽默的笔调,为你解答了本书生活工作中这些令人困惑的问题。本书没有刻意追求经济学严谨的逻辑性,而是通过寻常百姓的饮食起居、开销用度、求职谋生、投资办店等活生生的生活故事和真实案例,将以往“高深”的经济学的原理变为浅显的生活常识。
  • 从资本家手中拯救资本主义

    从资本家手中拯救资本主义

    书中作者还指出,在历史上,金融市场体系的发展至少可以划分出三个明显阶段:第一阶段,国内组成了具有广泛代表性的政府,私有财产权利开始得到尊重;第二阶段,国门被打开,对民主政府构成威胁的既得利益集团的势力受到打击;第三阶段,倒退时期,既得利益集团—资本家打着“为穷人”的旗号反对竞争。就这样,资本家破坏了整个资本主义体系中最有效率的体制,而大众则呆立一旁,茫然无知,不但不会抗议,甚至还要喝彩,全然没有意识到自己的未来会因此受到损害。所以,需要为自由市场经济“鼓与呼”,从“资本家手中拯救资本主义”。
热门推荐
  • 仙歌

    仙歌

    黄金巨龙仰天长啸,龙鳞被刮了?上古凤凰悲痛嘶鸣,凤羽被拔了?丹之大帝破口大骂,神丹被偷了?双修大典,洞房花烛,绝世美娇娘不知所踪?诸位可准备好,与我一起,斗神龙,戏凤凰,耍大帝,证道成仙!!!
  • 臻于灰霾的尽头

    臻于灰霾的尽头

    最可悲的事情是,失去了自我,只剩下空躯壳。亓官韫和郗卓,爱得真爱得切,然而却又爱得痛。亓官韫的目光闪烁,说道:“如果我早知我们的爱,像在荆棘丛里翻滚过一番,我就不会要这份姻缘了。”“那么说,你后悔了。”郗卓瞪着韫儿,闷声道。“不,不是,我只是不想看到你那么痛苦。”亓官韫说。
  • 海盗之谜

    海盗之谜

    挖掘了人类社会、地球乃至宇宙所包含的难解谜题首次披露了大千世界中神秘的、充满悬疑色彩的谜团背后鲜为人知的内幕这套百万字的传奇读本精选了有关国宝、密码、海盗、大谋杀、诡异事件、离奇事件的未解经典内容选配了数千幅珍贵图片,带给读者一场视觉饕餮盛宴是谁在罗马帝国的鼎盛时期绑架了凯撒大帝?是谁曾使整个欧洲瑟瑟发抖、为之战栗……是神出鬼没的海盗。本书为你揭秘海盗的世界,让你领略海上冒险生涯的残酷与激情!
  • 崛起吧猩猩队长

    崛起吧猩猩队长

    这么骚的黑猩猩,举世无双。叮...战败一次,-100点战功!好吧,举世无双是在吹牛,但骚是真的!灵气复苏时代,猩猩队长立志要干一些伤天害理的大事...........
  • 总经理把私营公司做大做强的288条妙计

    总经理把私营公司做大做强的288条妙计

    私营公司从无到有,从小到大,由大到强,它成长过程的每一步都在考验着公司总经理的勇气和耐心,需要总经理们时刻保持敏锐的头脑和旺盛的斗志。从小到大,由大到强,可以说是每一位私营公司总经理的不懈追求。本书较之于琳琅满目的企业管理著作和大学MBA教材,最为显著的价值和特征是它的实践性和可操作性:言简意赅,系统完整。私营公司的总经理们不仅可以从本书中学到目前发展所需要的知识,更重要的是能通过这本书获取洞察未来,把握公司成长方向的能力,掌握私营公司竞争力的提升之道,对私营公司的管理和做强做大起到如虎添翼的作用。每一位私营公司的总经理都应该读一读这本书。每一位在私营公司打拼的职业经理人都应该读一读这本书。
  • 相公岂敢把我弃:王爷恋上下堂妻

    相公岂敢把我弃:王爷恋上下堂妻

    大户小姐,好吃懒做,骄横跋扈,进门就被丈夫休掉的合法妻……本是超能力少女,无奈穿越成王爷下堂妻,没功夫怨天怨地,坚持就是胜利。看超聪慧下堂妻如何智斗阴险后妈,脚踢狡诈小三,虏获美男心!天上下雨地上流,你不爱我我不愁。小姐聪慧又美丽,相公岂敢把我弃。(*^__^*)
  • 九转成魔

    九转成魔

    她是二十一世纪世界最强杀手,外界无人不对她闻风丧胆,一朝打王者荣耀意外穿越成为人见人欺的懦弱小姐身上。李白说:“如果努力有用的话,那还要天才干什么。”没错,她就是那个天才。废材?各种上古神器在手、丹药如同糖豆、宠物也是上古凶兽,这样也是废材?手撕渣男,脚踩渣女,当从前的貌若无盐的傻女蜕变成清贵绝尘、风华绝代的天才时,总有一个强大的后背,默默的让她靠,静静的看着她如何玩转天下…【本文长篇,秉承‘猥琐发育别浪,稳住我们能赢’剧情发展较慢,莫捉急~】
  • 穿过冬天来看你

    穿过冬天来看你

    五年级的舒夏晴是一个开朗活泼的女孩,她和班里的同学都很要好,她能包容朋友身上的小缺点,有些也称不上缺点的小特点。而女孩叶冰沁的性格内向,喜欢独来独往。一次班级的盆栽评比上,舒夏晴推选了叶冰沁的小仙人球,这一个不经意间的举动,让两个人成了好朋友。舒夏晴发现叶冰沁有很多秘密,她喜欢把秘密藏在心里。在一同经历了矛盾和化解矛盾的过程后,舒夏晴的率真和真诚打动了外表冰冷的叶冰沁。她敞开心扉,把包裹严严实实的自己放开了。她从舒夏晴身上学会了包容和接纳,抛弃了小小的嫉妒心,握住了珍贵的友谊。
  • 蹲在墙角种蘑菇

    蹲在墙角种蘑菇

    心理专家徐医生,坑蒙拐骗全靠嘴。徐硕变态心理学研究多了,自己心理难免有点阴暗扭曲。同事聂医生春风得意地拉着只小土包子秀恩爱,徐硕面上表示不以为然,心里十分嫉妒。决心一定要找块高端洋气的精致小蛋糕来扬眉吐气!没想到,费尽心血找来的,居然是个发面大馒头……--情节虚构,请勿模仿
  • 茅山天师

    茅山天师

    茅山秘术,冠绝天下,洞天福地,道门正宗!北宋哲宗御赐茅山镇山八宝,令茅山镇守一方,除魔卫道,泽被苍生,然而茅山派千百年来的道门内部争斗,却延续至今,故事将由发生在我身边的神鬼秘事展开。卜卦参天机,禁忌守四方,画符驱鬼耳,秘术破玄黄,民间流传的鬼怪之事是真是假,道门高人何故被人污蔑排挤,是否真的有阴阳两界,我是茅山正统道派传人,为你揭开道法世界的神秘面纱!