源节选
第1章 大数据：浪里淘沙方见金
这节在解决什么：第1章 大数据：浪里淘沙方见金
怎么迁移到自己的系统：谈及当今科技创新与产业变革之间的互动，大数据绝对是首要的领域和话题之一。其实，自2010年“大数据”这个词开始被正式提出以来，关于大数据的定义似乎也快成了海量“数据”，但绝大多数定义对其描述都集中在数据的规模上。这容易造成一种误解，以为大数据就是指“数量足够大”的数据。人们对新技术、新趋势的热切关注，一方面也许是出于对新鲜事物的好奇与求知，另一方面可能只是为了能与小伙伴愉快地聊天。对于新技术知其然却不知其所以然是很正常的，如果不是相关专业出身或从事专职工作，仅靠从一些零散的资料碎片所获得的认识，毕竟不够全面。错觉是个人自由，但是误解不可以有。[1]
提醒：大数据一词源于英文的“Big Data”一词，如果要追溯大数据作为专业术语最初出处的话，就得从Apache的开源搜索引擎Nutch说起。当时大数据的意思是更新网络搜索索引，同时还需批量处理和分析大量的数据集。谷歌Map Reduce（映射化简）和GFS（Google File System，谷歌档案系统）发布之后，除了涵盖大量数据集之外，大数据的定义还包括数据处理的速度。
源节选
大数据：内容为王
这节在解决什么：大数据一词源于英文的“Big Data”一词，如果要追溯大数据作为专业术语最初出处的话，就得从Apache的开源搜索引擎Nutch说起。当时大数据的意思是更新网络搜索索引，同时还需批量处理和分析大量的数据集。谷歌Map Reduce（映射化简）和GFS（Google File System，谷歌档案系统）发布之后，除了涵盖大量数据集之外，大数据的定义还包括数据处理的速度。
怎么迁移到自己的系统：Gartner（高德纳咨询公司）曾经围绕3个“V”，给大数据下过这样一个定义：一种基于新的数据处理方式而产生的具有强大的决策力、洞察力以及流程优化能力的高容量（Volume）、高度复杂（Variety）且高速变化（Velocity）的信息资产。
提醒：麦肯锡全球研究所发布的《大数据：创新、竞争和生产力的下一个前沿》（James，2011）报告，认为大数据指的是大小规格超越传统数据库软件工具抓取、存储、管理和分析能力的数据群。
源节选
ICT与大数据时代：新词旧赋
这节在解决什么：上述定义虽然没有给出大数据的标准尺寸（实际上也不可能有一个统一的标准），但对于认为大数据的数据集就必须要足够大这种数据神话的盲目崇拜必须消除。Gartner公司的分析师Mark Beyer（马克·贝耶尔）说过，“神话有助于缓解焦虑，但于解决问题无益”。大数据虽是出炉不久的新术语，其关于海量数据分析与处理的内涵却并不新。
怎么迁移到自己的系统：大数据是由信息技术、互联网发展而来，并逐步升级为相对独立的技术和产业体系。信息技术的核心包括信息处理、信息存储和信息传输。最近几十年信息技术的不断进步带来了信息处理、信息存储和信息传输能力的飞速提升。摩尔定律发现芯片上可容纳的晶体管数目每隔18个月左右便会增加一倍，性能也将提升一倍。在摩尔定律的指引下，信息产业周期性地推出新的计算机，操作系统和计算能力被不断提高，推动了信息技术的持续进步。1977年，世界上第一条光纤通信系统在美国芝加哥市投入使用，拉开了信息传输能力大幅跃升的序幕。随着信息基础设施的持续完善，包括网络带宽的持续增加、存储设备性价比的不断提升，2000~2015年，CPU（中央处理器）晶体管数量增加100倍、硬盘价格降低为初始价格的1/200，为大数据的存储和传播打下了良好的物质基础。
提醒：互联网的出现，将每个人的计算机连接起来，逐渐成为人们获得各类数据的主要渠道。通过互联网获取数据的模式可以抽象为不断“请求”+“响应”的过程。每一次的访问“请求”就是一次鼠标点击操作（鼠标出现之前是通过“回车键”来实现），而服务器的日志中会忠实地记录每一次的访问时间、请求命令和访问地址等数据。这些日志就好比人们在互联网上的“脚印”，“凡走过，必留下痕迹”。这些“脚印”蕴含着大量信息，因此可以说，各类服务器上的日志构成了一种大数据类型。最早重视这些数据价值的也正是触觉灵敏的互联网公司。
源节选
理论未死，量化一切
这节在解决什么：理论是认知的必经途径，是用来在实践中理解和分析世界的。可是到了大数据时代，有一种论调——理论已死——认为理论已经没有存在的必要，只要有数据就够了。也就是说，譬如世界的运作、人类的行为等普遍规则也都不重要了，只要有数据分析，一切问题就都解决了。
怎么迁移到自己的系统：事实上，大数据也是有理论基础的。譬如分析大数据所用的就是统计和数学理论，还涉及部分计算机科学理论。尽管这些理论与相对论、量子论似有较大差距，但同样具有理论指导意义。在数据选择、收集的过程中，理论影响着人的决定；在分析数据的时候，选择分析工具所依赖的同样是理论；研究结果的解读，也需要基于一定的理论。因此，大数据时代不仅绝不代表理论会消亡；相反，在大数据的方方面面都渗透着理论，需要着理论。
提醒：技术是大数据价值体现的手段和前进的基石。大数据技术，是从各种类型的数据中快速获取有价值信息的技术，包括分布式处理技术、存储技术和感知技术等。这些技术成为大数据采集、存储、处理和呈现的有力武器（见图1-2）。
源节选
应用让数据说话
这节在解决什么：应用是大数据的最终价值的体现。2011~2014年，无论是在媒体还是在专家眼里，“大数据”已俨然成为新的“金子”或者“石油”。然而2015年，这项技术似乎在某种程度上陷入了停滞，可能是数据领域的一部分“技术宅”转移了兴趣，开始沉迷于AI以及机器智能、深度学习等许多相关概念。从2016年大数据产业图谱来看，大公司的布局已经使得这张图谱变得越来越拥挤，技术含量不高的过度竞争难以避免，很多企业已没有办法挤进大数据的产业生态。
怎么迁移到自己的系统：需要强调的是，大数据为许多消费者或商业用户体验提供了动力，但其核心是数据库、分析等技术，而这些东西都是在后端运行的，没有几个人能看得见。大数据的成功也不在于实现技术的某一方面（如Hadoop），而是需要把一连串的技术、人和流程糅合到一起。采集捕捉数据、存储数据、清洗数据、查询数据、分析数据并对数据进行可视处理，这些工作一部分可以由产品来完成，而有的则需要人来做。因此，对于企业来说，早期从事大数据技术的研发意味着十分艰苦的工作。而对于投资者而言，要想从大数据产业获利就必须要有很好的模式支撑。
提醒：图1-3 2016年大数据产业图谱
源节选
数据隐私与安全
这节在解决什么：2016年夏季，集中爆发了多起因个人信息泄露而引发的恶性电信诈骗事件，引起了强烈的社会震动。
怎么迁移到自己的系统：2016年8月19日，即将踏入大学校园的山东临沂18岁女孩徐玉玉被诈骗电话骗走9900元学费，在报案后回家的途中心脏骤停而不幸离世。仅仅4天之后，又有1名山东理工大学的在校大学生被电话诈骗1996元，同样引发心脏骤停而离世。
提醒：清华大学老师被冒充公检法的电信诈骗分子骗取人民币1760万元巨款。
源节选
当数据成为资产
这节在解决什么：长期以来，在经济学研究中，劳动、土地、资本一般被认为是经济活动的生产三要素。随着科技的发展和知识产权制度的逐步建立，技术也作为相对独立的要素投入生产之中。在大数据时代，大数据也应成为独立的生产要素。
怎么迁移到自己的系统：在2016中国大数据产业峰会暨中国电子商务创新发展峰会上，英国驻华使馆公使乔麦克提出，“大数据相当于21世纪的石油”。这样，作为“资源”的“大数据”和“土地”等的属性就更加接近了。实际上，如果企业能够拥有某类相对完整、全面的大数据，并且具备对大数据进行处理、分析的技术，确实可以提高企业竞争力，在这个瞬息万变的时代立于不败之地。
提醒：传统巨头如IBM、甲骨文等公司，依靠过去独门绝技建立的强大实力，依然后劲十足，如IBM在人工智能领域再次走在了前沿。甲骨文在开放平台数据库领域独占鳌头之后，率先向下游扩张，横扫软件领域，接下来又向产业链上游扩张，打造全方位服务能力。基于对数据库、中间件和应用软件的深刻理解，甲骨文将服务器、存储、IO和虚拟化软件集成在一起，打造了该公司历史上成长最快的产品——甲骨文软硬一体化集成设计系统。
源节选
数字主权争夺战
这节在解决什么：大数据是人类社会所有数据从量变到质变的必然产物，是“信息高速公路”计划的进一步升级和扩展，它对人类社会的未来走向和发展势必具有巨大的变革意义。可以说，现在的趋势已说明——大数据时代真的到来了。
怎么迁移到自己的系统：2012年7月，联合国发布了《大数据促发展：挑战与机遇》白皮书，已明确提出大数据时代已然到来。对于联合国和各国政府来说，这是一个历史性的机遇。报告中还对政府如何利用大数据来响应社会需求，指导经济发展进行了讨论，提出要在联合国成员国建立“脉搏实验室”，主要用于挖掘大数据的潜在价值。
提醒：发达国家高度重视大数据在促进经济社会创新变革、提升国家竞争力中起到的重要作用，纷纷出台国家战略，落实配套措施，系统地推动大数据发展（见图1-4）。
源节选
国内大数据产业：丰满的理想与骨感的现实
这节在解决什么：国内大数据产业：丰满的理想与骨感的现实
怎么迁移到自己的系统：总体来看，国内目前已基本形成了“上游数据资源+中游产品技术+下游应用服务”的大数据产业体系，大数据产业结构日益完善。2015年，全国共有200多家大数据企业，规模从几十人到几百人，全年行业产值约为110亿元（只包括大数据软件、硬件及专业服务的直接产值，不含大数据应用产生的附加值）。从应用渗透情况来看，企业应用参差不齐，批发零售（电商）、互联网企业领先，电信、金融企业开始尝试，一般企业大数据意识不强。2015年，大数据应用带来的各行业总体增加值为3551亿~5327亿元，占GDP的0.52%~0.78%。
提醒：在区域布局方面，目前共有23个省市出台了74项与大数据相关的政策，大数据企业主要集中在北京、广东、上海、贵州、江苏和浙江，形成了京津冀、长三角、珠三角、西部地区等几个主要的大数据产业集聚区。
