1 大數(shù)據(jù)發(fā)展概述

　　當(dāng)今是一個(gè)數(shù)據(jù)爆發(fā)增長(zhǎng)的時(shí)代。移動(dòng)互聯(lián)網(wǎng)、移動(dòng)終端和數(shù)據(jù)傳感器的出現(xiàn)，使數(shù)據(jù)以超出人們想象的速度快速增長(zhǎng)。據(jù)調(diào)查機(jī)構(gòu)估測(cè)，數(shù)據(jù)數(shù)量一直在快速增加，這個(gè)速度不僅是指數(shù)據(jù)流的增長(zhǎng)，而且還包括全新的數(shù)據(jù)種類的增多。目前數(shù)據(jù)容量增長(zhǎng)的速度，已經(jīng)大大超過(guò)了硬件技術(shù)的發(fā)展速度，并正在引發(fā)數(shù)據(jù)存儲(chǔ)和處理的危機(jī)。據(jù)統(tǒng)計(jì)，2013年全球產(chǎn)生的數(shù)據(jù)達(dá)到3.5澤字節(jié)，到2020年產(chǎn)生的數(shù)量將增至44澤字節(jié)。

　　“大數(shù)據(jù)”一詞來(lái)自于未來(lái)學(xué)家托夫勒于1980年所著的《第三次浪潮》。最早開始對(duì)大數(shù)據(jù)進(jìn)行應(yīng)用探索的是2005年雅虎公司的Hadoop項(xiàng)目。Hadoop其最初只是用來(lái)解決網(wǎng)頁(yè)搜索問(wèn)題的一個(gè)項(xiàng)目，后被Apache Software Foundation公司引入并成為開源應(yīng)用。Hadoop是由多個(gè)軟件產(chǎn)品組成的一個(gè)生態(tài)系統(tǒng)，這些軟件產(chǎn)品共同實(shí)現(xiàn)全面功能和靈活的大數(shù)據(jù)分析。

　　世界上許多國(guó)家都已經(jīng)認(rèn)識(shí)到了大數(shù)據(jù)所蘊(yùn)含的重要戰(zhàn)略意義，紛紛開始在國(guó)家層面進(jìn)行戰(zhàn)略部署，以迎接大數(shù)據(jù)技術(shù)革命正在帶來(lái)的新的機(jī)遇和挑戰(zhàn)。以美國(guó)為代表的發(fā)達(dá)國(guó)家在推進(jìn)大數(shù)據(jù)上已經(jīng)形成了從發(fā)展戰(zhàn)略、法律框架到行動(dòng)計(jì)劃的完整布局。

　　2 全球各國(guó)大數(shù)據(jù)的發(fā)展現(xiàn)狀

　　美國(guó)在《大數(shù)據(jù)研究和發(fā)展倡議》中，提出將通過(guò)收集龐大而復(fù)雜的數(shù)字資料，從中獲得知識(shí)和洞見，以提升能力。并協(xié)助加速在科學(xué)、工程上發(fā)現(xiàn)的步伐，強(qiáng)化美國(guó)國(guó)土安全，轉(zhuǎn)變教育和學(xué)習(xí)模式。根據(jù)這一計(jì)劃，美國(guó)希望利用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)在多個(gè)領(lǐng)域的突破，包括科研教學(xué)、環(huán)境保護(hù)、工程技術(shù)、國(guó)土安全、生物醫(yī)藥等。其中具體的研發(fā)計(jì)劃涉及了美國(guó)國(guó)家科學(xué)基金會(huì)、國(guó)家衛(wèi)生研究院、國(guó)防部、能源部、國(guó)防部高級(jí)研究局、地質(zhì)勘探局等6個(gè)聯(lián)邦部門和機(jī)構(gòu)。

　　擁有世界第二多人口的印度，近兩年也持續(xù)運(yùn)用大數(shù)據(jù)，期許打造出一個(gè)更便利、更親民的智慧城市。印度全國(guó)軟件與服務(wù)企業(yè)協(xié)會(huì)(Nasscom)預(yù)計(jì)，印度大數(shù)據(jù)行業(yè)規(guī)模在三年內(nèi)將快速增長(zhǎng)，是當(dāng)前規(guī)模的六倍，同時(shí)還是全球大數(shù)據(jù)行業(yè)平均增長(zhǎng)速度的兩倍。對(duì)于印度的整個(gè)IT行業(yè)來(lái)說(shuō)，大數(shù)據(jù)時(shí)代的到來(lái)會(huì)創(chuàng)造更多更新的機(jī)遇。

　　英國(guó)政府2012年時(shí)計(jì)劃在未來(lái)兩年內(nèi)，在大數(shù)據(jù)和節(jié)能計(jì)算研究上投資1.89億英鎊，以帶動(dòng)企業(yè)在該領(lǐng)域的投資。大數(shù)據(jù)被英國(guó)看作是自己的優(yōu)勢(shì)所在，且英國(guó)認(rèn)為已在政府層面為大數(shù)據(jù)做好了準(zhǔn)備。

　　法國(guó)政府在2013年投入近1150萬(wàn)歐元，用于7個(gè)大數(shù)據(jù)市場(chǎng)研發(fā)項(xiàng)目。目的在于“通過(guò)發(fā)展創(chuàng)新性解決方案，并將其用于實(shí)踐，來(lái)促進(jìn)法國(guó)在大數(shù)據(jù)領(lǐng)域的發(fā)展。”法國(guó)政府在《數(shù)字化路線圖》中列出了五項(xiàng)將大力支持的戰(zhàn)略性高新技術(shù)，大數(shù)據(jù)就是其中一項(xiàng)。

　　日本在2012新一輪IT振興計(jì)劃中，將發(fā)展大數(shù)據(jù)作為國(guó)家戰(zhàn)略層面提出，重點(diǎn)關(guān)注大數(shù)據(jù)應(yīng)用技術(shù)，如社會(huì)化媒體等智能技術(shù)的開發(fā)、新醫(yī)療技術(shù)的開發(fā)、以及交通擁堵治理等公共領(lǐng)域的應(yīng)用。

　　新加坡政府在大數(shù)據(jù)發(fā)展過(guò)程中充當(dāng)了關(guān)鍵角色，抓住了大數(shù)據(jù)發(fā)展的五大關(guān)鍵要素：基礎(chǔ)設(shè)施、產(chǎn)業(yè)鏈、人才、技術(shù)和立法，彌補(bǔ)了企業(yè)的短板。新加坡政府很早就提出支持新加坡企業(yè)采用大數(shù)據(jù)技術(shù)，利用大數(shù)據(jù)提升政府服務(wù)水平。

　　此外，澳大利亞、加拿大、新西蘭、德國(guó)和印度等國(guó)也在大數(shù)據(jù)領(lǐng)域進(jìn)行了研究部署，還紛紛推出本國(guó)的公共數(shù)據(jù)開放網(wǎng)站，以使更多的人可以使用大數(shù)據(jù)資源，并從中獲得利益。目前，全球至少擁有大大小小的數(shù)據(jù)開放網(wǎng)站50余個(gè)。

　　2.1 歐盟大數(shù)據(jù)的發(fā)展

　　目前，歐盟及其成員國(guó)已經(jīng)明確制定大數(shù)據(jù)發(fā)展戰(zhàn)略，數(shù)據(jù)價(jià)值鏈不同階段產(chǎn)生的價(jià)值將成為未來(lái)知識(shí)經(jīng)濟(jì)的核心，利用好數(shù)據(jù)可以為運(yùn)輸、健康或制造業(yè)等傳統(tǒng)行業(yè)帶來(lái)新的機(jī)遇。

　　歐盟在大數(shù)據(jù)方面的活動(dòng)主要涉及四方面內(nèi)容：研究數(shù)據(jù)價(jià)值鏈戰(zhàn)略因素;資助“大數(shù)據(jù)”和“開放數(shù)據(jù)”領(lǐng)域的研究和創(chuàng)新活動(dòng);實(shí)施開放數(shù)據(jù)政策;促進(jìn)公共資助科研實(shí)驗(yàn)成果和數(shù)據(jù)的使用及再利用。

　　(1)數(shù)據(jù)價(jià)值鏈戰(zhàn)略計(jì)劃

　　歐盟委員會(huì)正在研究制定數(shù)據(jù)價(jià)值鏈戰(zhàn)略計(jì)劃，以實(shí)現(xiàn)數(shù)據(jù)的最大價(jià)值，重點(diǎn)是通過(guò)一個(gè)以數(shù)據(jù)為核心的連貫性歐盟生態(tài)體系，讓數(shù)據(jù)價(jià)值鏈的不同階段產(chǎn)生價(jià)值。數(shù)據(jù)價(jià)值鏈的概念為數(shù)據(jù)的生命周期，從數(shù)據(jù)產(chǎn)生、驗(yàn)證以及進(jìn)一步加工后，以新的創(chuàng)新產(chǎn)品和服務(wù)形式出現(xiàn)的利用和再利用。

　　數(shù)據(jù)價(jià)值鏈戰(zhàn)略計(jì)劃遵循的主要原則是：高質(zhì)量數(shù)據(jù)的廣泛獲得性，包括公共資助數(shù)據(jù)

　　的免費(fèi)獲得;作為數(shù)字化單一市場(chǎng)一部分，歐盟內(nèi)數(shù)據(jù)的自由流動(dòng);尋求個(gè)人潛在隱私問(wèn)題與其數(shù)據(jù)再利用潛力之間的適當(dāng)平衡，同時(shí)賦予公民以其希望形式使用自己數(shù)據(jù)的權(quán)利。

　　這一計(jì)劃的重點(diǎn)是培育一個(gè)連貫的歐洲數(shù)據(jù)生態(tài)系統(tǒng)，促進(jìn)圍繞數(shù)據(jù)的研究和創(chuàng)新工作，采納數(shù)據(jù)服務(wù)及產(chǎn)品，采取具體行動(dòng)，改善數(shù)據(jù)價(jià)值提取的框架條件，包括基礎(chǔ)能力、基礎(chǔ)設(shè)備、標(biāo)準(zhǔn)以及有利的政策和法規(guī)環(huán)境。目前正在單一戰(zhàn)略框架下制定一系列重點(diǎn)行動(dòng)，解決數(shù)據(jù)價(jià)值鏈中與價(jià)值創(chuàng)造相關(guān)的大量交叉問(wèn)題。

　　數(shù)據(jù)價(jià)值鏈戰(zhàn)略計(jì)劃包括開放數(shù)據(jù)、云計(jì)算、高性能計(jì)算和科學(xué)知識(shí)開放獲取四大戰(zhàn)略。

　　•數(shù)據(jù)開放戰(zhàn)略

　　歐盟認(rèn)為，為加強(qiáng)創(chuàng)新潛力，應(yīng)盡可能的以最好的方式使用資源，這些創(chuàng)新資源就是數(shù)據(jù)，開放數(shù)據(jù)將成為新的就業(yè)和經(jīng)濟(jì)增長(zhǎng)的重要工具。為了應(yīng)對(duì)這一變革，2010年11月歐盟通信委員會(huì)向歐洲議會(huì)提交了“開放數(shù)據(jù)：創(chuàng)新、增長(zhǎng)和透明治理的引擎”的報(bào)告，報(bào)告以開放數(shù)據(jù)為核心，制定了應(yīng)對(duì)大數(shù)據(jù)挑戰(zhàn)的戰(zhàn)略。

　　•云計(jì)算戰(zhàn)略

　　2012年9月，歐委會(huì)通過(guò)公布了“釋放歐洲云計(jì)算服務(wù)潛力”戰(zhàn)略，戰(zhàn)略計(jì)劃通過(guò)兩年時(shí)間，把歐盟打造成云計(jì)算服務(wù)的強(qiáng)勢(shì)集團(tuán)，為2014-2020年期間的歐盟云起飛(夯實(shí)基礎(chǔ)。歐盟云計(jì)算戰(zhàn)略及三大關(guān)鍵行動(dòng)分別為：規(guī)范和簡(jiǎn)化的云計(jì)算標(biāo)準(zhǔn);云計(jì)算安全和公平的合同條款及條件;建設(shè)歐盟云計(jì)算伙伴關(guān)系，驅(qū)動(dòng)創(chuàng)新和增長(zhǎng)。其它的具體行動(dòng)舉措還包括：數(shù)據(jù)保護(hù)、網(wǎng)絡(luò)安全、信任舉措、云計(jì)算互操作性、寬帶部署、在線服務(wù)、公共行業(yè)首先參與云計(jì)算和國(guó)際對(duì)話與合作等。目前歐盟已成立6個(gè)戰(zhàn)略實(shí)施工作小組，具體涉及云標(biāo)準(zhǔn)協(xié)調(diào)、服務(wù)標(biāo)準(zhǔn)協(xié)議、認(rèn)證計(jì)劃、行為守則、專家研究小組和云伙伴關(guān)系。

　　•高性能計(jì)算戰(zhàn)略

　　在歐盟第七框架計(jì)劃和“地平線2020”計(jì)劃下的研究和創(chuàng)新支持可擴(kuò)展的高性能計(jì)算系統(tǒng)。小型“數(shù)據(jù)中心式開箱”可以單獨(dú)部署或集中在嵌入式系統(tǒng)在汽車或電話交換機(jī)，或者可以在大規(guī)模地聚集成為一個(gè)云服務(wù)器——如處理單元(GPU)或者高性能計(jì)算(HPC)系統(tǒng)。

　　•科學(xué)知識(shí)開放獲取

　　科學(xué)知識(shí)開放獲取的目標(biāo)是提高歐盟層面和成員國(guó)層面政府資助的科學(xué)研究的影響力，2012-2013年，歐盟委員會(huì)投入4500萬(wàn)歐元建設(shè)支持開放共享和科學(xué)信息長(zhǎng)期保存的基礎(chǔ)設(shè)施，并與各個(gè)相關(guān)利益團(tuán)體就開放共享和數(shù)字信息保存工作進(jìn)行對(duì)話，同時(shí)建議各成員國(guó)：制定本國(guó)的公共資助科研論文開放共享政策，探索科學(xué)數(shù)據(jù)開放共享和科學(xué)信息長(zhǎng)期保存，支持相應(yīng)的基礎(chǔ)設(shè)施建設(shè)。2012年7月17日，歐盟委員會(huì)發(fā)布開放共享政策，宣布?xì)W盟Horizon2020計(jì)劃所資助科研論文全部實(shí)行開放共享。2013年12月25日，歐盟委員會(huì)宣布啟動(dòng)試點(diǎn)，開放公共資助研究數(shù)據(jù)，2014-2015年，參與開放研究數(shù)據(jù)試點(diǎn)的關(guān)鍵領(lǐng)域的項(xiàng)目將獲得約30億歐元的經(jīng)費(fèi)。

　　(2)資助“大數(shù)據(jù)”和“開放數(shù)據(jù)”領(lǐng)域的研究和創(chuàng)新活動(dòng)

　　歐盟委員會(huì)在資助“大數(shù)據(jù)”和“開放數(shù)據(jù)”領(lǐng)域的研究和創(chuàng)新活動(dòng)外，還啟動(dòng)“連接歐洲設(shè)施”(CEF)計(jì)劃，采取權(quán)益和債務(wù)證券及補(bǔ)助相結(jié)合的形式促進(jìn)數(shù)字基礎(chǔ)設(shè)施的建設(shè)。在2014年1月的信息和網(wǎng)絡(luò)日上，歐盟委員會(huì)確定了“地平線2020”連接歐洲設(shè)施計(jì)劃的2014-2015年工作內(nèi)容。

　　(3)實(shí)施開放數(shù)據(jù)政策

　　開放數(shù)據(jù)政策一方面制定公共信息再利用的法規(guī)和國(guó)家執(zhí)行規(guī)則以及歐盟委員會(huì)自身數(shù)據(jù)再利用規(guī)則;另一方面支持公共部門信息開放活動(dòng)，此外還搭建開放數(shù)據(jù)平臺(tái)。

　　(4)促進(jìn)公共資助科研實(shí)驗(yàn)成果和數(shù)據(jù)的使用及再利用

　　促進(jìn)公共資助科研試驗(yàn)成果和數(shù)據(jù)的使用和再使用也稱科學(xué)知識(shí)開放獲取。