大数据:正在到来的数据革命

大数据浪潮，汹涌来袭，与互联网的发明一样，这绝不仅仅是信息技术领域的革命，更是在全球范围启动透明政府、加速企业创新、引领社会变革的利器。现代管理学之父德鲁克有言。预测未来最好的方法，就是去创造未来。而“大数据战略”，则是当下领航全球的先机。 大数据，这一世界大潮的来龙去脉如何？数据技术变革，何以能推动政府信息公开、透明和社会公正？何以促发行政管理和商业管理革新，并创造无限商机？又何以既便利又危及我们每个人的生活？Google、百度之类搜索服务，何以会不再有立足之地？引领世界的数据帝国——美国和西欧，正在如何应对大数据时代？我们中国，又当如何作为？ 《大数据：正在到来的数据革命，以及它如何改变政府、商业与我们的生活（签名本）》通过讲述美国半个多世纪信息开放、技术创新的历史，以别开生面的经典案例——奥巴马建设“前所未有的开放政府”的雄心、公共财政透明的曲折、《数据质量法》背后的隐情、全民医改法案的波澜、统一身份证的百年纠结、街头警察的创新传奇、美国矿难的悲情历史、商务智能的前世今生、数据开放运动的全球兴起，以及云计算、Facebook和推特等社交媒体、Web3.0与下一代互联网的未来图景等等，为您一一细解，数据创新给公民、政府、社会带来的种种挑战和变革。美国是全书主体，但又处处反观中国当下的现实。回望中国，胡适批评“差不多先生”，黄仁宇求索“数目字管理”，作者从太平洋对面看到中美两国的差距，深知中国缺少什么、需要什么，故将十多年观察、思索所得，淘洗成这一本书。

在极权的国家，他们手上拥有足够的资讯，足以利用这资讯，掌握每一个人的日常生活；“老大哥”的影子，可以无所不在……涂子沛先生《大数据》这部书，清楚地叙述了资讯时代对我们生活的影响与社会的控御力。他讨论的范围方方面面、极为广泛。我们要对涂子沛先生致敬与致谢，因为他为华文世界提出一个重要的话题。 ——许倬云（史学大家、匹兹堡大学历史系荣誉讲座教授） 在很多领域，中国政府和中国的企业都有雄心勃勃的计划，这引起了全世界的关注，这些雄心和计划，现在应该拓展到大数据的领域。涂子沛先生的《大数据》这本书，将在这个重要的领域，为中国政府和企业的努力提供引导和帮助。 无论是对中国政府，还是就中国的商业组织而言，《大数据》都是一本重要的书。 ——托马斯?H?达文波特（哈佛大学商学院访问教授、巴布森学院总统杰出奖教授、全球顶尖的管理咨询大师） 《大数据》这本书讲述了数据技术浪潮的兴起过程，回顾了近一个世纪以来美国作为一个世界强国的开放历史，气势磅礴。从书中可以看到，美国的发展动力，正是开放和创新。我们正在向个性化的智能互联网时代迈进，计算力的扩展正在不断加速，数据将成为我们最强大的创新动力。 ——杨叙（英特尔全球副总裁、中国区总裁） 《大数据》从奥巴马建设“前所未有的开放政府”出发，描写了半个多世纪以来数据对美国社会政治、商业、文化等方方面面的影响，谈及了1930年以来历任美国总统，可谓波澜壮阔。涂子沛作为科技业的精英，并没有将自己眼光和生活局限于技术之上，他对美国社会的独到观察和理解、对华人社区工作的积极参与和贡献，都是促成本书成为一本佳作的重要原因。 ——薛海培（奥巴马总统大选亚裔事务顾问、美国华人全国委员会会长、凤凰卫视时事评论员） 《大数据》是一本视角独特、取材新颖、别开生面的好书。它以数据为轴线，描绘了美国走过的开放创新历程。从该历程中我们看到，数据挖掘是一种知识生产过程，从中产生创新，产生管理，产生推动社会变革的理论与实践。更有意思的是，美国政治的发展，公民权利的实现，以及各种自由与福利的保障，都和对数据的创造性应用密切相关。这对已经步入信息时代的中国，尤其有借鉴意义。趋势所在，数据乃大。涂子沛先生的专业性分析和介绍，是一项创造性的工作。 ——郭巍青（中山大学政治与公共事务管理学院教授） 大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析，以及一个激发管理创新的环境。涂子沛的《大数据》这本书总结了美国的经验和实践，并为中国提出了一个路线图。我为他的成就感到骄傲。这本书完整地融合了技术、政治、商业三个角度，体现了我们学院师资教学的独特优势。我相信本书会在中国激发新的思想和讨论，帮助中国迎接大数据的挑战。 ——Ramayya Krishnan（卡内基梅隆大学海因兹学院及信息管理学院院长、终身教授） 通过历史故事的讲述，用近似新闻评论的笔法，《大数据》这本书以美国为例介绍了由经验管理到数据管理这场正在发生的革命性变革，通俗形象地讲清楚了科学的道理，实属难得。这对学者们扩大视野，对管理干部深化科学发展观的认识，都有十分重要的价值。 ——薛华成（中国管理信息系统的主要开创者、澳门科技大学行政与管理学院名誉院长） 《大数据》这本书揭示了数据在未来社会中的革命性作用。大数据将是下一个社会发展阶段的“石油”和“金矿”。无论是个人、企业还是国家，谁能更好地抓住数据、理解数据、分析数据，谁就能在下一波的社会竞争中脱颖而出。关于数据的知识，将成为个人知识结构中的必备要素和基础。 ——施伯乐（复旦大学计算机研究所所长、上海（国际）数据库研究中心主任） 子沛兄的《大数据》这本书，帮助我们形象地了解信息自由、技术创新与社会进步的关系。我最感兴趣的是美国信息自由制度建立的过程。它让我看到，一个社会、一种文化，是如何通过自省式的努力，认清比自身存在更本源的客观规律。这种制度一旦建立，就如同打开了控制某个基因群组的开关，后面所呈现的演化，虽然眼花缭乱，反而显得平淡无奇、顺理成章了。 ——赵嘉敏（东西网总裁、译言网创始人之一） 18世纪启动的工业革命为人类创造了巨大的财富，也极大地推动了社会变革。20世纪中启动的信息革命对人类社会也将产生巨大的冲击，而这个进程刚刚开始。涂子沛先生所著的《大数据》一书，用有趣的故事带我们回顾信息时代的里程碑，使我们透过未来的变幻不清的迷雾，展望和畅想信息革命的大趋势。 ——董洁林（苏州大学企业创新和发展研究中心主任、教授） 《大数据》值得仔细阅读与思考。要让数据更好地说话，既依赖于数据科学与技术的发展，更需要政府、机构和公民的数据意识的不断提高。 ——汪小帆（上海交大电子信息与电气工程学院教授） 数据科学正在成为一个新兴的学科和领域。涂子沛先生的《大数据》这本书，为我们揭示了大数据浪潮发生的前因后果，以及这种技术进步对政治、经济、文化的种种影响。希望读者从本书中获益，以积极的态势应对中国的大数据挑战。 ——张晖（卡内基梅隆大学计算机系终身教授）

序言一 大数据：为华文世界提出一个重要话题 许倬云 序言二 中国的雄心应该拓展到大数据领域 托马斯·H·达文波特 序幕 新总统的第一天 一人一票：把“黑”人送进“白”宫 大国新政：阳光是最好的防腐剂 上篇 帝国风云 第一章 历史争战《信息自由法》 第四股力量：知情权的起点 国会议员：孤独的战争 白宫当家人：一个妥协者和机动者 政府VS. 社会：旧剧情重现新时代 第二章 数据帝国的兴起 摩尔定律：全世界半个世纪的发展规律 最小数据集：上升到立法高度的开路先锋 民意几时有：选票催生的创新 普适计算：计算机本身将从人们的视线中消失 “大数据”战略：争夺全世界的下一个前沿 第三章 数据治国 循“数”管理：平安大道怎样铺 数据“验”平权：民权史上的碑石 数据“打”假：最大的争议就是福利滥用 CompStat：街头警察的创新传奇 第四章 商务智能的前世今生 起源：从数据到知识的挑战和跨越 结蛹：数据仓库之厚积薄发 蚕动：联机分析之惊艳 破茧：数据挖掘之智能生命的产生 化蝶：数据可视化的华丽上演 中篇 法则博弈 第五章 帝国的法则 收集法则：减负，为人民减负 使用法则：隐私，文明社会的共识 发布法则：免费，人民已经交税 管理法则：质量，互联网时代的根本 第六章 《数据质量法》的困局 产业界“俘虏”政府：数据背后的政经战争 美式“旋转门”：权、名、利大串场 “掺沙子”法案：国会对付总统的独门秘器 环保“风险门”：公共利益常常无人代表 集体行动的逻辑：人人都想“搭便车” 三权之歧：什么是真正的“和谐” 第七章 全国隐私风波 《一九八四》：零隐私的恐惧 大数据就是“老大哥”：中央数据银行之争 百年纠结：统一身份证 “9?11”大拐点：以反恐的名义向左转 万维信息触角计划：追踪恐怖分子的“数据脚印” 6 种改变政府的力量：山姆大叔大退让 下篇 公民故事 第八章 数据开放运动 一个新的世界：从软件开源到数据开放 总统的雄心：公共财政支出透明 数据民主：印裔首席信息官的崛起 Data.Gov：从旗舰初航到保“数”运动 大众创新：航班延误之候机经济学 第九章 试金石：白宫访客记录 总统在见谁：大医改中的“小”插曲 全体美国人的房子：白宫 步步妥协：总统与草根的对决 从白宫安保到政治监督：执著的公民改变世界 第十章 矿难中的歌声和数据 集体行动的号角：你站在哪一边 可以避免的悲剧：数据揭示的全景式真相 默认公开推定：和矿难赛跑的原则 唯一的道路：民主时时都要“争” 外篇 天下趋势 视界一 大趋势 数据权：大不列颠的硕果 大合流: 国际开放联盟 云计算：新的航向 再造互联网：从网页相连到数据相“联” 视界二 大挑战 逐鹿政坛：得数据者得天下 数据竞争：企业赢之道 下一波浪潮：从大数据到大社会 尾声 挑战中国：摘下“差不多先生”的文化标签 大事记 20世纪大萧条后美国信息开放、技术创新之路 译名表 美国政府机构ABC 后记 搭建“大数据”的世界

【大数据就是“老大哥”：中央数据银行之争】 “我们有很多小的、独立的信息记录系统。这些系统，就单个而言，它们可能无关痛痒，甚至是很有用的、完全合理的。但一旦把它们通过自动化的技术整合连接起来，它们就会渐渐蚕食我们的个人自由。这才是真正的危险。” ——美国隐私研究委员会，1977年 1965年，人类的计算模式还仅仅处在第一个阶段——主机时代，这种危险和担心就开始初现端倪。 那个时候，现在白宫的行政管理预算局（OMB）还叫预算局。 预算局提出了一个简单、大胆、在当时堪称革命性的创新计划。 该局建议，联邦政府应该成立一个统一的“数据中心”，把政府部门所有的数据库连接、集中、整合起来，建立一个大型的数据库。预算局相信，这不仅能节约硬件成本，还能提高数据管理、查询和统计的效率；此外，通过部门之间的数据对接和整合，还可以提高数据的准确性和一致性，减少数据的错误。 预算局甚至为这个计划提出了具体的实施方案：人口普查局、劳工统计局、税务局以及社保局等4个数据密集型部门先行一步，首先将数据库连接起来，其他各个部门的数据库逐步纳入，最终的目标是，以公民为单位，为全国每一个人建立一个数据档案，这个档案将包括每一个人教育、医疗、福利、犯罪和纳税等等一切从摇篮到坟墓的数据记录。 预算局将这个大型数据库称为“中央数据银行”。 普林斯顿大学的高等研究院（IAS）是全世界最顶尖的研究机构之一，它的特点，是可以不屈从任何行政的任务和资金的压力，自主开展纯粹的科学研究。时任该研究院主任的是凯森教授（Carl Kaysen），他盛赞这是一个划时代的计划。凯森发表了专门的可行性报告，指出统一管理不仅能节省运营成本、提高数据的准确性和查询的效率，还将更好地保障数据安全。 听起来有百利而无一弊，中央数据银行的计划得到了行政圈、学术界的一致响应。 经过一年的论证，1966年，联邦政府正式向国会提交了“中央数据银行”的方案，请求拨款、开工，开创新的数据管理篇章。 新闻界也开始报道联邦政府的这个创举。 但没想到，新闻界的报道引起了强烈的社会反弹。这种反弹，最后导致了这个计划的流产。 1967年1月，《纽约时报》发表了著名记者、隐私权专家帕卡德（Vance Packard）的文章《不能告诉计算机》，他写道： “当政府把我们每一个人的信息和日常生活的细节都装进一个中央级的数据银行，我们将受控于坐在电脑机器前面的那个人和他的按钮。这令人不安，这是一种危险。” 美国公民自由联盟（ACLU）是一个成立于1920年、位于纽约的公益组织，它的目标是利用法律的手段维护公民的权利，隐私权正是ACLU关心的重点。对于中央数据银行的计划，ACLU强烈反对，并发表了一系列的声明和调查。 哈佛大学也对这个计划开展了专门的民调，其调查的结果表明，56%的美国人担心自己的隐私会受到侵害，明确反对这个计划。 一时间，曾经赢得了各方赞誉的数据银行计划在国会的讨论中陷入了泥沼。 此后，美国国会对此召开了一系列的听证会。1968年，众议院隐私委员会发布了一份报告，作出结论说，该计划无法保证公民的隐私不会受到侵害，不予批准。 但这只是一个中断，甚至仅仅只是一个开始。此后的几十年，随着数据库越来越多，类似于“中央数据银行”的计划不断改头换面，在国会发起冲刺。美国各界对其的讨论也从来没有间断过，并形成了泾渭分明的两派。 支持的一派以经济学家和技术专家为主，这个阵营认为，现代经济依赖于大规模的数据整合和交换，统一集成的中央数据库，将提高经济效率，方便大众的生活，是现代社会发展的必然，是社会进步的不二选择。 反对方自然是隐私至上的信奉者。他们认为，在信息时代，无论是个人的日常消费等琐碎小事，还是事关健康、教育的重大决策，都会在各种各样的信息系统当中留下“数据脚印”。这些“数据脚印”，保存在不同的系统中，可能无伤大雅。但如果建立起中央数据银行，通过数据整合和信息加总，就可以再现一个人生活的轨迹和全景，各个系统之间的数据可以彼此印证、互相解释，个人隐私就无所遁形。 隐私学学者认为，这种信息加总和数据整合，无异于一种监控，准确地说，是一种“数据监控”（Dataveillance），其对个人隐私权的侵害，无异于《一九八四》中的电幕。进入大数据时代之后，甚至有专家提出：大数据就是老大哥！（Big Data is Big Brother） ……