情报机构数据失控？

或许所有的情报机构都希望尽可能地收集和挖掘所有的数据，但这样做不仅破坏了社会大众的信任感，同时也为大数据灾难铺平了道路，数据失控的风险将会是巨大的。

很多人都对向媒体揭露美国国家安全局（National Security Agency，简称NSA）棱镜计划（PRISM）的爱德华·斯诺登如何能够复制成千上万的高度机密数据记录而感到好奇，按照NSA官方的说法，斯诺登是通过盗用同事的密码，从而成功取得了他本人权限以外的许多机密信息。而根据NSA的消息人士传言，甚至说斯诺登可能说服了NSA位于夏威夷的区域运营中心内20名以上的同事向其提供用户名和密码。斯诺登当时是该中心的电脑系统管理员，他以工作需要这些信息为由套取了这些账户和密码，从而完成了人类历史上最庞大的一次数据收集工作。

非常吸引人的故事，然而无论事实如何，都难以转移人们对于秘密监听以及大规模数据收集所产生的数据安全问题的关注。事实上，任何人收集海量的数据总是很难避免出现问题，而目前这种行为在情报机构中似乎越来越流行，虽然德国联邦情报局（BND）和NSA也投入了大量的金钱用于群众监督，但是很难真正让人放心。

而另一方面，斯诺登曾多次在公开场合宣称，他既不偷也不会套取前同事的密码，他甚至为了防止NSA的这些员工被无端指控而特意留下了痕迹。根据记者格伦·格林沃尔德（Glenn Greenwald）在其新作《无处藏身：斯诺登、国安局与监控国家》（No Place to Hide： Edward Snowden， the NSA and the Surveillance State）的描述，斯诺登发现NSA的系统是令人难以置信般地宽限，他可以轻易地掩盖自己的踪迹，但是他还是决定留下一些电子脚印。

斯诺登：知道太多的人

根据斯诺登自己陈述，他也想保留一些后门以便进入NSA系统，但他还是留下痕迹表明自己访问了哪些文件，又复制了哪些文件。通过这些痕迹，NSA可以有所启发，对系统的安全架构进行修改。这可能影响斯诺登的计划，但是也从另一个角度说明了斯诺登的动机：他既不是叛徒，也不是间谍，而是举报人。

在开始的时候，NSA的消息人士传言斯诺登取得了170万份机密文档。但其后，当时的NSA局长基思·亚历山大说，他只知道在他的任期内NSA处理了多少文档，并不知道斯诺登复制了什么文档。这说明NSA的专家并没有发现斯诺登为了让他们了解这一情况而特意留下的痕迹。斯诺登在获得“另类诺贝尔奖”后接受美国《连线》（Wired）杂志专访时对此做出了评论：“我知道他们正面临一个艰难的时期，但我不知道他们竟完全不称职。”

基思·亚历山大宣布的新安全机制，并没有给社会大众带来多少安慰：采用四眼原则，下载文件到外部媒体必须受到监控，并执行更严格的规则和更紧的访问权限。这些严格的措施有部分更是特别针对系统管理员，但是他们并不能够阻止像爱德华·斯诺登这样的人。因为他比普通员工的水平高很多，他曾在瑞士为美国中央情报局工作3年。他伪装成一个外交使团工作人员，而他主要负责整个瑞士的网络安全工作。他不是一个普通人，他可以破解高度安全的系统，也曾作为美国中央情报局的随从伴随总统乔治·布什参加在罗马尼亚的北约首脑会议。

2010年斯诺登加入NSA，已经有了披露美国安全机构秘密行为的想法。NSA送他到日本，他被训练为一个高度熟练的网络间谍，在那里斯诺登可以窥探甚至攻击其他国家的军事或民用目标。145智商的他将黑客工作做得非常好，为此，美国国防情报局（DIA）雇用他为他们的外判商工作，他的工作领域比较特殊：反中国间谍。

因而，斯诺登实在没有必要套取同事的密码，斯诺登已经用他的天才实现了世界历史上最重要的一次信息披露。然而，斯诺登的能力并不是独一无二的，因为每一个情报机构的大型秘密设施都有自己的“斯诺登”，只是这些掌握相同技术的人未必有斯诺登同样的道德标准，虽然他们中的某些人也同样入侵NSA系统。

数据专政：有罪推定

我们的个人资料已经被NSA获得，而且有可能已经落入其他不法分子手中。如果这些数据被出售给黑社会犯罪组织和情报服务的灰色市场则会怎么样？如果我们对NSA的非法监听行为只是简单地耸耸肩，那么政府进一步地制定法律允许与追捕恐怖分子无关的类似数据收集和分析又会如何？如果大数据的诱惑最终导致这种行为被承认甚至成为规范那又会如何？数据是非常容易被操纵的，没有过错的人们因而陷入困境又会如何？

美国麻省理工学院（MIT）人类动力学实验室的负责人亚历克斯·彭特兰一直在探索大数据可能带来的机会和风险，他认为，数据失控的问题已经存在了很长一段时间，只是斯诺登的披露将其摆到了所有人的面前。亚历克斯·彭特兰说：“我敢打赌，有超过5个人偷走了同样的数据，唯一的区别是他们选择出售它们而不是告诉全世界。NSA是非常愚蠢的，中央存储可导致可怕的数据泄露风险。”彭特兰认为，NSA和类似组织应该在他们的监督下将数据留在创建它们的机构，并使用他们自己的加密方式。

彭特兰的分散存储模式可能有助于减少数据被窃取的影响，但是它改变不了什么，在不受任何外界监督的情况下美国国家安全局仍然可以访问所有的数据，唯一的差别只是没有集中存储访问起来那么舒服，该机构永远也不会执行任何删除数据的决定。没有任何迹象表明NSA的监听行为有所收敛，从斯诺登披露的信息我们知道，NSA已经制定了一个元数据搜索引擎，从该搜索引擎的设计来看彭特兰的建议完全是一个天真浪漫的想法。该系统的前端非常简单，就好像Google一样，但是后台非常复杂，同样像Google的后台系统那么复杂。

称为ICReach（Intelligence Community Reach）的元数据搜索引擎项目启于2005年，美国联邦调查局（FBI）、中央情报局（CIA）、美国缉毒局（DEA）和国防情报局（DIA）参与了这一项目，由NSA领导。

ICReach项目的试验阶段始于2007年，3年后，共收集数据8 500亿项，由于美国公民的数据是受到限制的，所以这些数据主要来自国外。5个创始成员通过所谓的数据经纪人，将电子邮箱等各种各样的数字信息加载到他们的系统。到了2010年，每天处理的数据量已经高达20亿个条目，元数据的类型有30多种，从电子邮件和电话交谈，到智能手机位置数据、飞行数据和信用卡信息等应有尽有。这足以让ICReach只需输入电话号码或电子邮件地址即可获得有关当事人所有领域的信息，只需点击一个按钮即可创建当事人的个人配置文件，对个人的数据进行挖掘，可以评估其宗教和政治观点，甚至可以在一定程度上估计其未来的行动。

事实上，从创始成员美国缉毒局DEA的存在已经表明ICReach绝不仅仅是用于追捕恐怖分子。根据2010年的一份备忘录，23个美国当局的机构获得了ICReach的使用权限。超过1 000个政府调查人员可以使用该搜索引擎。这些人每个人都可能犯错误，他们每个人都可以从搜索结果中得出错误的想法，同时他们每人都是一个安全风险人物。

布鲁斯是一个公认的IT安全专家，他认为NSA如此庞大的数据量是不可能完全被隔离的：很早之前他就曾经在他的博客上发布自己的推测，认为还会有第二个NSA的告密者。而最早采访斯诺登的记者格伦·格林沃尔德最终在Twitter上证实，他的推测是正确的。

BND和NSA：危险的关系

越来越多的情报机构开始向NSA学习，BND也希望能够玩美国和英国情报机构的游戏，监听Facebook和其他的公司，并要求政府拨款3亿欧元启动“技术战略计划（SIT）”，希望能够通过这一项目，为BND能够在2020年摆脱对美国的数据依赖铺平道路。

在德国，情报机构被允许这样做吗？德国联邦司法部长海科·马斯对此表示怀疑。马斯向CHIP表示，他看不到任何对社交网络进行实时监控的法律依据。在没有任何限制的情况下对社交网络进行实时监控，将是一个非常大的间谍行动。以所谓的安全利益为目的而监控每一个人，在一个自由民主的宪政国家是完全不能接受的。目前，这位社民党的部长已经要求加强对间谍行为的控制，马斯认为必须认真审视间谍机构的动机，不得有法律真空，无论是对于国内还是外国的情报机构都是如此。必须考虑控制的机制，所有的一切都必须在议会和联邦政府中认真加以讨论。

毫无疑问，从2004年到2008年之间BND的行为来看，加强对间谍机构的控制是非常有必要的。当时，该机构通过法兰克福的互联网数据交换节点（DE-CIX）拆分数据到NSA在巴德艾比林的电脑。据多家媒体的调查显示，当时的安全机构协调员弗兰克·瓦尔特·施泰因迈尔认可了这种可疑的做法。G10委员会（情报审查委员会）以及议会管理委员会对此并不了解，也没有获得适当的通知。除此之外，除了政治控制的失败，BND为保护德国用户而设的技术控制也同样宣告失败，该机构所制定的特殊过滤器（DAFIS）并没有正常工作，这导致德国互联网用户的数据落入美国人手中。

这一数据灾难对于正在争取监控社交网络的BND来说或许不是一个好的预兆，但是负责BND的总理办公室发言人声称这不是问题，而且他强调BND还没有计划“窥探”社交网络。并强调分析动态信息流的目的主要在于国外，而不是在德国。或许，对于一位负责任的政府发言人来说，选择不同的术语来回答问题是必然的，但是从BND目前努力争取的项目来看，CHIP看不到这之间有什么差异。与此同时，一个国家前天和昨天还在抨击美国的非法监听行为，批评NSA截留数据，而今天马上要开始效仿他们，而且是在没有任何外界监督的情况下，难道这只是一个法律和政治的问题吗？

当然，BND目前似乎还没有做什么，所以负责BND的总理办公室发言人对此的回应仍然在意料之中：“这些基于假设的指控是毫无根据的。”不过，也有传言德国联邦议院已经搁置联邦安全局的项目，但是新闻发言人马丁·海涅曼则声称技术战略计划绝对不会中止，相反它已经在编制预算的过程中。据称德国IT巨头SAP将成为BND的合作伙伴，这家欧洲最大的软件公司主要开发各种商务应用，拥有强大的技术基础，足以应对3个大数据平台开发的主要挑战：数据量、数据集和处理速度。

大数据这个术语准确地描述了数字世界数据的巨大增长以及两者之间的关系。每一个大公司都通过巨大数据源，从数据中挖掘无限的潜能。互联网是数据的主要贡献者，而且机器和RFID射频识别等技术也将产生数据，飞行半小时的飞机可以产生10TB的数据。据“EMC数字世界”的研究，今天全球存储的数据大约是4.4ZB（泽字节，相当于1012GB），而到了2020年，数字世界将增长10倍到44ZB。

数据分析：Hana与科技

SAP开发的Hana被认为是一个面向未来的业务平台，该平台需要处理的数据量难以想象，它需要一种强大的存储方案。常规的关系数据库随着数据量的增加会变得越来越慢，因此Hana需要一种可以容纳其表结构的文件格式。对于地址和各种号码、识别和标记这些结构化的数据来说不是什么问题，但是电子邮件之类半结构化数据会比较困难，因为连接的数据以及引用、参考等内容能够以表的形式来表示，但是其内容却不能。另外，数据量最大也是最有趣的部分是非结构化数据，例如演示文稿、照片、社交网络帖子、视频、文本以及其他个别和创造性内容，所以这一切对于关系数据库来说都很难处理。

因此，大数据需要创新的数据库，例如Google开发了MapReduce的算法，它利用并行计算替代中心处理，数据分布在电脑集群的存储器，并同时进行处理，最后再将各个处理结果结合以形成一个整体。这种方法的一个关键问题是，速度缓慢的硬盘将影响并行计算的性能，因而，需要采用内存数据库，当数据在内存中时，用户可以获得比任何数据库更快的使用体验。对于Hana和其他类似平台的制造商，例如IBM和Oracle等制造商来说，相关的平台将需要足以加载所有数据和相关应用的内存，这就要求数以TB大小的内存，不过，由于内存的价格不断滑落，这或许算不上一笔很大的投资。

Hana处理混合数据结构非常好，并可以近乎实时地进行处理。主存储器中的数据通过1000～10000倍的加速处理，并允许直接访问，与此同时，数据也不断地写入到大型的数据库服务器中。目前，SAP并没有发表任何与BND合作关系的声明，对于类似的问题，只是婉转地回应：“SAP尊重客户的意愿，不会提供任何客户信息。请您理解，我们不能做任何进一步的评论。”

Hana主要吸引BND的是它处理海量数据的能力以及其令人难以置信的速度。通过所谓预测分析，应用程序将会给出目前所了解的准确情况，并预测未来的发展。这是一个采用统计和博弈论方法的水晶球，通过数据模型可以模拟最好情况和最坏情况。在这一基础上，情报机构可以用于确定收集的数据中有用的信息，预测某些很不起眼的人或者团体可能的行为和计划。

美国公司Palantir被认为是情报数据分析的大师，该公司的初始资本来源于美国中央情报局基金。据推测，就是该公司的软件帮助美国政府找到本·拉登在巴基斯坦的藏身之处。自2004年成立以来，Palantir与CIA、NSA和FBI密切合作，2011年以来，德国公司SAP已与Palantir达成经销商协议，联合Palantir推动一个为公共部门提供情报信息智能分析的销售计划。在成为合作伙伴关系时SAP宣布将可以提供全面的产品，可以整合分析师和研究人员以及所有分类和安全级别的结构化和非结构化数据，并可以进行复杂的搜索查询，可以从整个企业的知识管理中获益，并在安全的环境下实现与主管部门之间的合作。

商业软件供应商SAP与美国情报分析公司成为联盟已经是事实，但是两者间紧密合作将可能出现一些问题。瑞士商业杂志“Bilanz”认为毫无疑问SAP将会是一个抢手的目标，仅为上市公司提供情报分析，美国情报分析公司就可以从中获得巨大的利益，但是SAP并没有说明两者之间的合作关系。那么，使用SAP商业软件的用户是否应该开始担心？其他的企业又是否应该开始担心梦魇般的商业间谍活动？另外，如果Palantir的分析软件真的被传递到德国的情报机构，那么这一切又由谁来控制？

Palantir：性、谎言和录像带

Palantir的首席执行官亚历克斯·卡普被认为是一个古怪的人，根据美国福布斯杂志的报道，亚历克斯·卡普说：“我除了游泳、练习气功或正在从事性活动之外，就总是想着公司的事情。”这位46岁曾在法兰克福跟随哈贝马斯研究社会哲学的首席执行官，甚至经常通过员工的视频频道（KarpTube）给员工发表讲座，讲述贪婪、忠诚和马克思。事实证明Palantir的专业技术并不仅服务于公正无私的目的，该公司4年前就曾经联合安全公司Berico和HBGary Federal，炮制了一个所谓“维基解密威胁”的分析报告，为如何破坏和诋毁维基解密提供具体的建议。

该报告的PowerPoint演示文稿被黑客组织Anonymous公之于众，HBGary的邮件也被泄露，报告显示经常报道维基解密的格伦·格林沃尔德将成为被攻击的目标，并且希望通过发起一场“维基解密的活动激进和不顾后果的传媒战役”打垮维基解密，而维基解密垮了也就没有人会支持格伦·格林沃尔德。

消息一经披露，Palantir等公司立刻沦为众矢之地，而卡普处理这一丑闻非常专业：他马上向格林沃尔德道歉。这一事件使所有人认识到格伦·格林沃尔德这名忠实诚信的记者，让爱德华·斯诺登知道哪些人是他可以信任的。而NSA和Palantir等公司则可以从这个事件学到另一些东西，就是数字世界的数据没有什么所谓的绝对安全性。

格伦·格林沃尔德的最高荣誉

2014年1月12日，格伦·格林沃尔德新作《无处藏身：斯诺登、国安局与监控国家》被德国书业联合会和慕尼黑市文化委员会授予“绍尔兄妹奖”（Geschwister-Scholl-Preis）。

2014年12月14日，格林沃尔德、斯诺登和他们志同道合的劳拉·波伊特拉斯一同被授予卡尔·冯·奥西埃茨基勋章。国际人权联盟认可3人在数字时代为民主和人权所做的努力与成绩。

智能手机成为漏洞

到2019年全球移动通信设备的数量将增至大约90亿台，每一台都可以被NSA用于查找和监视用户以及获取网络通信数据的重要来源。

很多人都对向媒体揭露美国国家安全局（National Security Agency，简称NSA）棱镜计划（PRISM）的爱德华·斯诺登如何能够复制成千上万的高度机密数据记录而感到好奇，按照NSA官方的说法，斯诺登是通过盗用同事的密码，从而成功取得了他本人权限以外的许多机密信息。而根据NSA的消息人士传言，甚至说斯诺登可能说服了NSA位于夏威夷的区域运营中心内20名以上的同事向其提供用户名和密码。斯诺登当时是该中心的电脑系统管理员，他以工作需要这些信息为由套取了这些账户和密码，从而完成了人类历史上最庞大的一次数据收集工作。

非常吸引人的故事，然而无论事实如何，都难以转移人们对于秘密监听以及大规模数据收集所产生的数据安全问题的关注。事实上，任何人收集海量的数据总是很难避免出现问题，而目前这种行为在情报机构中似乎越来越流行，虽然德国联邦情报局（BND）和NSA也投入了大量的金钱用于群众监督，但是很难真正让人放心。

而另一方面，斯诺登曾多次在公开场合宣称，他既不偷也不会套取前同事的密码，他甚至为了防止NSA的这些员工被无端指控而特意留下了痕迹。根据记者格伦·格林沃尔德（Glenn Greenwald）在其新作《无处藏身：斯诺登、国安局与监控国家》（No Place to Hide： Edward Snowden， the NSA and the Surveillance State）的描述，斯诺登发现NSA的系统是令人难以置信般地宽限，他可以轻易地掩盖自己的踪迹，但是他还是决定留下一些电子脚印。

斯诺登：知道太多的人

根据斯诺登自己陈述，他也想保留一些后门以便进入NSA系统，但他还是留下痕迹表明自己访问了哪些文件，又复制了哪些文件。通过这些痕迹，NSA可以有所启发，对系统的安全架构进行修改。这可能影响斯诺登的计划，但是也从另一个角度说明了斯诺登的动机：他既不是叛徒，也不是间谍，而是举报人。

在开始的时候，NSA的消息人士传言斯诺登取得了170万份机密文档。但其后，当时的NSA局长基思·亚历山大说，他只知道在他的任期内NSA处理了多少文档，并不知道斯诺登复制了什么文档。这说明NSA的专家并没有发现斯诺登为了让他们了解这一情况而特意留下的痕迹。斯诺登在获得“另类诺贝尔奖”后接受美国《连线》（Wired）杂志专访时对此做出了评论：“我知道他们正面临一个艰难的时期，但我不知道他们竟完全不称职。”

基思·亚历山大宣布的新安全机制，并没有给社会大众带来多少安慰：采用四眼原则，下载文件到外部媒体必须受到监控，并执行更严格的规则和更紧的访问权限。这些严格的措施有部分更是特别针对系统管理员，但是他们并不能够阻止像爱德华·斯诺登这样的人。因为他比普通员工的水平高很多，他曾在瑞士为美国中央情报局工作3年。他伪装成一个外交使团工作人员，而他主要负责整个瑞士的网络安全工作。他不是一个普通人，他可以破解高度安全的系统，也曾作为美国中央情报局的随从伴随总统乔治·布什参加在罗马尼亚的北约首脑会议。

2010年斯诺登加入NSA，已经有了披露美国安全机构秘密行为的想法。NSA送他到日本，他被训练为一个高度熟练的网络间谍，在那里斯诺登可以窥探甚至攻击其他国家的军事或民用目标。145智商的他将黑客工作做得非常好，为此，美国国防情报局（DIA）雇用他为他们的外判商工作，他的工作领域比较特殊：反中国间谍。

因而，斯诺登实在没有必要套取同事的密码，斯诺登已经用他的天才实现了世界历史上最重要的一次信息披露。然而，斯诺登的能力并不是独一无二的，因为每一个情报机构的大型秘密设施都有自己的“斯诺登”，只是这些掌握相同技术的人未必有斯诺登同样的道德标准，虽然他们中的某些人也同样入侵NSA系统。

数据专政：有罪推定

我们的个人资料已经被NSA获得，而且有可能已经落入其他不法分子手中。如果这些数据被出售给黑社会犯罪组织和情报服务的灰色市场则会怎么样？如果我们对NSA的非法监听行为只是简单地耸耸肩，那么政府进一步地制定法律允许与追捕恐怖分子无关的类似数据收集和分析又会如何？如果大数据的诱惑最终导致这种行为被承认甚至成为规范那又会如何？数据是非常容易被操纵的，没有过错的人们因而陷入困境又会如何？

美国麻省理工学院（MIT）人类动力学实验室的负责人亚历克斯·彭特兰一直在探索大数据可能带来的机会和风险，他认为，数据失控的问题已经存在了很长一段时间，只是斯诺登的披露将其摆到了所有人的面前。亚历克斯·彭特兰说：“我敢打赌，有超过5个人偷走了同样的数据，唯一的区别是他们选择出售它们而不是告诉全世界。NSA是非常愚蠢的，中央存储可导致可怕的数据泄露风险。”彭特兰认为，NSA和类似组织应该在他们的监督下将数据留在创建它们的机构，并使用他们自己的加密方式。

彭特兰的分散存储模式可能有助于减少数据被窃取的影响，但是它改变不了什么，在不受任何外界监督的情况下美国国家安全局仍然可以访问所有的数据，唯一的差别只是没有集中存储访问起来那么舒服，该机构永远也不会执行任何删除数据的决定。没有任何迹象表明NSA的监听行为有所收敛，从斯诺登披露的信息我们知道，NSA已经制定了一个元数据搜索引擎，从该搜索引擎的设计来看彭特兰的建议完全是一个天真浪漫的想法。该系统的前端非常简单，就好像Google一样，但是后台非常复杂，同样像Google的后台系统那么复杂。

称为ICReach（Intelligence Community Reach）的元数据搜索引擎项目启于2005年，美国联邦调查局（FBI）、中央情报局（CIA）、美国缉毒局（DEA）和国防情报局（DIA）参与了这一项目，由NSA领导。

ICReach项目的试验阶段始于2007年，3年后，共收集数据8 500亿项，由于美国公民的数据是受到限制的，所以这些数据主要来自国外。5个创始成员通过所谓的数据经纪人，将电子邮箱等各种各样的数字信息加载到他们的系统。到了2010年，每天处理的数据量已经高达20亿个条目，元数据的类型有30多种，从电子邮件和电话交谈，到智能手机位置数据、飞行数据和信用卡信息等应有尽有。这足以让ICReach只需输入电话号码或电子邮件地址即可获得有关当事人所有领域的信息，只需点击一个按钮即可创建当事人的个人配置文件，对个人的数据进行挖掘，可以评估其宗教和政治观点，甚至可以在一定程度上估计其未来的行动。

事实上，从创始成员美国缉毒局DEA的存在已经表明ICReach绝不仅仅是用于追捕恐怖分子。根据2010年的一份备忘录，23个美国当局的机构获得了ICReach的使用权限。超过1 000个政府调查人员可以使用该搜索引擎。这些人每个人都可能犯错误，他们每个人都可以从搜索结果中得出错误的想法，同时他们每人都是一个安全风险人物。

布鲁斯是一个公认的IT安全专家，他认为NSA如此庞大的数据量是不可能完全被隔离的：很早之前他就曾经在他的博客上发布自己的推测，认为还会有第二个NSA的告密者。而最早采访斯诺登的记者格伦·格林沃尔德最终在Twitter上证实，他的推测是正确的。

BND和NSA：危险的关系

越来越多的情报机构开始向NSA学习，BND也希望能够玩美国和英国情报机构的游戏，监听Facebook和其他的公司，并要求政府拨款3亿欧元启动“技术战略计划（SIT）”，希望能够通过这一项目，为BND能够在2020年摆脱对美国的数据依赖铺平道路。

在德国，情报机构被允许这样做吗？德国联邦司法部长海科·马斯对此表示怀疑。马斯向CHIP表示，他看不到任何对社交网络进行实时监控的法律依据。在没有任何限制的情况下对社交网络进行实时监控，将是一个非常大的间谍行动。以所谓的安全利益为目的而监控每一个人，在一个自由民主的宪政国家是完全不能接受的。目前，这位社民党的部长已经要求加强对间谍行为的控制，马斯认为必须认真审视间谍机构的动机，不得有法律真空，无论是对于国内还是外国的情报机构都是如此。必须考虑控制的机制，所有的一切都必须在议会和联邦政府中认真加以讨论。

毫无疑问，从2004年到2008年之间BND的行为来看，加强对间谍机构的控制是非常有必要的。当时，该机构通过法兰克福的互联网数据交换节点（DE-CIX）拆分数据到NSA在巴德艾比林的电脑。据多家媒体的调查显示，当时的安全机构协调员弗兰克·瓦尔特·施泰因迈尔认可了这种可疑的做法。G10委员会（情报审查委员会）以及议会管理委员会对此并不了解，也没有获得适当的通知。除此之外，除了政治控制的失败，BND为保护德国用户而设的技术控制也同样宣告失败，该机构所制定的特殊过滤器（DAFIS）并没有正常工作，这导致德国互联网用户的数据落入美国人手中。

这一数据灾难对于正在争取监控社交网络的BND来说或许不是一个好的预兆，但是负责BND的总理办公室发言人声称这不是问题，而且他强调BND还没有计划“窥探”社交网络。并强调分析动态信息流的目的主要在于国外，而不是在德国。或许，对于一位负责任的政府发言人来说，选择不同的术语来回答问题是必然的，但是从BND目前努力争取的项目来看，CHIP看不到这之间有什么差异。与此同时，一个国家前天和昨天还在抨击美国的非法监听行为，批评NSA截留数据，而今天马上要开始效仿他们，而且是在没有任何外界监督的情况下，难道这只是一个法律和政治的问题吗？

当然，BND目前似乎还没有做什么，所以负责BND的总理办公室发言人对此的回应仍然在意料之中：“这些基于假设的指控是毫无根据的。”不过，也有传言德国联邦议院已经搁置联邦安全局的项目，但是新闻发言人马丁·海涅曼则声称技术战略计划绝对不会中止，相反它已经在编制预算的过程中。据称德国IT巨头SAP将成为BND的合作伙伴，这家欧洲最大的软件公司主要开发各种商务应用，拥有强大的技术基础，足以应对3个大数据平台开发的主要挑战：数据量、数据集和处理速度。

大数据这个术语准确地描述了数字世界数据的巨大增长以及两者之间的关系。每一个大公司都通过巨大数据源，从数据中挖掘无限的潜能。互联网是数据的主要贡献者，而且机器和RFID射频识别等技术也将产生数据，飞行半小时的飞机可以产生10TB的数据。据“EMC数字世界”的研究，今天全球存储的数据大约是4.4ZB（泽字节，相当于1012GB），而到了2020年，数字世界将增长10倍到44ZB。

数据分析：Hana与科技

SAP开发的Hana被认为是一个面向未来的业务平台，该平台需要处理的数据量难以想象，它需要一种强大的存储方案。常规的关系数据库随着数据量的增加会变得越来越慢，因此Hana需要一种可以容纳其表结构的文件格式。对于地址和各种号码、识别和标记这些结构化的数据来说不是什么问题，但是电子邮件之类半结构化数据会比较困难，因为连接的数据以及引用、参考等内容能够以表的形式来表示，但是其内容却不能。另外，数据量最大也是最有趣的部分是非结构化数据，例如演示文稿、照片、社交网络帖子、视频、文本以及其他个别和创造性内容，所以这一切对于关系数据库来说都很难处理。

因此，大数据需要创新的数据库，例如Google开发了MapReduce的算法，它利用并行计算替代中心处理，数据分布在电脑集群的存储器，并同时进行处理，最后再将各个处理结果结合以形成一个整体。这种方法的一个关键问题是，速度缓慢的硬盘将影响并行计算的性能，因而，需要采用内存数据库，当数据在内存中时，用户可以获得比任何数据库更快的使用体验。对于Hana和其他类似平台的制造商，例如IBM和Oracle等制造商来说，相关的平台将需要足以加载所有数据和相关应用的内存，这就要求数以TB大小的内存，不过，由于内存的价格不断滑落，这或许算不上一笔很大的投资。

Hana处理混合数据结构非常好，并可以近乎实时地进行处理。主存储器中的数据通过1000～10000倍的加速处理，并允许直接访问，与此同时，数据也不断地写入到大型的数据库服务器中。目前，SAP并没有发表任何与BND合作关系的声明，对于类似的问题，只是婉转地回应：“SAP尊重客户的意愿，不会提供任何客户信息。请您理解，我们不能做任何进一步的评论。”

Hana主要吸引BND的是它处理海量数据的能力以及其令人难以置信的速度。通过所谓预测分析，应用程序将会给出目前所了解的准确情况，并预测未来的发展。这是一个采用统计和博弈论方法的水晶球，通过数据模型可以模拟最好情况和最坏情况。在这一基础上，情报机构可以用于确定收集的数据中有用的信息，预测某些很不起眼的人或者团体可能的行为和计划。

美国公司Palantir被认为是情报数据分析的大师，该公司的初始资本来源于美国中央情报局基金。据推测，就是该公司的软件帮助美国政府找到本·拉登在巴基斯坦的藏身之处。自2004年成立以来，Palantir与CIA、NSA和FBI密切合作，2011年以来，德国公司SAP已与Palantir达成经销商协议，联合Palantir推动一个为公共部门提供情报信息智能分析的销售计划。在成为合作伙伴关系时SAP宣布将可以提供全面的产品，可以整合分析师和研究人员以及所有分类和安全级别的结构化和非结构化数据，并可以进行复杂的搜索查询，可以从整个企业的知识管理中获益，并在安全的环境下实现与主管部门之间的合作。

商业软件供应商SAP与美国情报分析公司成为联盟已经是事实，但是两者间紧密合作将可能出现一些问题。瑞士商业杂志“Bilanz”认为毫无疑问SAP将会是一个抢手的目标，仅为上市公司提供情报分析，美国情报分析公司就可以从中获得巨大的利益，但是SAP并没有说明两者之间的合作关系。那么，使用SAP商业软件的用户是否应该开始担心？其他的企业又是否应该开始担心梦魇般的商业间谍活动？另外，如果Palantir的分析软件真的被传递到德国的情报机构，那么这一切又由谁来控制？

Palantir：性、谎言和录像带

Palantir的首席执行官亚历克斯·卡普被认为是一个古怪的人，根据美国福布斯杂志的报道，亚历克斯·卡普说：“我除了游泳、练习气功或正在从事性活动之外，就总是想着公司的事情。”这位46岁曾在法兰克福跟随哈贝马斯研究社会哲学的首席执行官，甚至经常通过员工的视频频道（KarpTube）给员工发表讲座，讲述贪婪、忠诚和马克思。事实证明Palantir的专业技术并不仅服务于公正无私的目的，该公司4年前就曾经联合安全公司Berico和HBGary Federal，炮制了一个所谓“维基解密威胁”的分析报告，为如何破坏和诋毁维基解密提供具体的建议。

该报告的PowerPoint演示文稿被黑客组织Anonymous公之于众，HBGary的邮件也被泄露，报告显示经常报道维基解密的格伦·格林沃尔德将成为被攻击的目标，并且希望通过发起一场“维基解密的活动激进和不顾后果的传媒战役”打垮维基解密，而维基解密垮了也就没有人会支持格伦·格林沃尔德。

消息一经披露，Palantir等公司立刻沦为众矢之地，而卡普处理这一丑闻非常专业：他马上向格林沃尔德道歉。这一事件使所有人认识到格伦·格林沃尔德这名忠实诚信的记者，让爱德华·斯诺登知道哪些人是他可以信任的。而NSA和Palantir等公司则可以从这个事件学到另一些东西，就是数字世界的数据没有什么所谓的绝对安全性。