一、大數(shù)據(jù)概念

　　“大數(shù)據(jù)”是一個(gè)體量特別大，數(shù)據(jù)類別特別大的數(shù)據(jù)集，并且這樣的數(shù)據(jù)集無法用傳統(tǒng)數(shù)據(jù)庫工具對其內(nèi)容進(jìn)行抓取、管理和處理。智慧城市的核心“大數(shù)據(jù)”“大數(shù)據(jù)”首先是指數(shù)據(jù)體量大，指代大型數(shù)據(jù)集，一般在10TB?規(guī)模左右，但在實(shí)際應(yīng)用中，很多企業(yè)用戶把多個(gè)數(shù)據(jù)集放在一起，已經(jīng)形成了PB級的數(shù)據(jù)量;其次是指數(shù)據(jù)類別(variety)大，數(shù)據(jù)來自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式日漸豐富，已沖破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇，囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。接著是數(shù)據(jù)處理速度(Velocity)快，在數(shù)據(jù)量非常龐大的情況下，也能夠做到數(shù)據(jù)的實(shí)時(shí)處理。最后一個(gè)特點(diǎn)是指數(shù)據(jù)真實(shí)性(Veracity)高，隨著社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應(yīng)用數(shù)據(jù)等新數(shù)據(jù)源的興趣，傳統(tǒng)數(shù)據(jù)源的局限被打破，企業(yè)愈發(fā)需要有效的信息之力以確保其真實(shí)性及安全性。

　　二、大數(shù)據(jù)解決方案

　　大數(shù)據(jù)需要有不同于傳統(tǒng)的技術(shù)，以有效地處理大量的容忍經(jīng)過時(shí)間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù) ，包括大規(guī)模并行處理(MPP)數(shù)據(jù)庫，數(shù)據(jù)挖掘電網(wǎng)，分布式文件系統(tǒng)，分布式數(shù)據(jù)庫，云計(jì)算平臺 ，互聯(lián)網(wǎng)時(shí)代的大數(shù)據(jù)，和可擴(kuò)展的存儲系統(tǒng)。

　　大數(shù)據(jù)解決方案，通常都是基于集群的物理設(shè)施平臺上，通過分布式處理系統(tǒng)來實(shí)現(xiàn)對海量數(shù)據(jù)的處理和分析。也正是如此，這種解決方案更多的是側(cè)重于軟硬一體或者分布式的軟件系統(tǒng)平臺來實(shí)現(xiàn)。

　　在大數(shù)據(jù)解決方案中，最為常見的當(dāng)屬Hadoop。Hadoop 是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件 框架。Hadoop項(xiàng)目包括三部分，分別是Hadoop Distributed File System(HDFS)、HadoopMapReduce 編程模型，以及Hadoop Common。

　　英特爾：作為與Linux具有一樣都具有革命性意義的Hadoop，英特爾還推出了基于該平臺的發(fā)行版(包括免費(fèi)發(fā)行版)，以幫助用戶更輕松地構(gòu)建架構(gòu)和使用分布式計(jì)算平臺，開發(fā)和處理海量數(shù)據(jù)。

　　在英特爾所提出的大數(shù)據(jù)方案之中，至強(qiáng)處理器將為大數(shù)據(jù)分析提供原動力。英特爾還展示了其即將發(fā)行的Hadoop發(fā)行版——Intel Hadoop Manager 2.0。英特爾的Hadoop發(fā)行版著重對英特爾平臺上的Hadoop進(jìn)行了優(yōu)化，企業(yè)可即時(shí)實(shí)施，安裝、配置都非常簡單。

　　微軟：為幫助企業(yè)快速采用其大數(shù)據(jù)解決方案，微軟將在 Microsoft Windows Azure平臺上提供基于云端的Hadoop服務(wù)，同時(shí)在 Windows Server 上提供基于本地的 Hadoop 版本。 Hadoop 的豐富洞察可以與 Microsoft Business Intelligence (BI) 平臺無縫結(jié)合，使客戶能夠借助Office和SharePoint以及公用的數(shù)據(jù)和服務(wù)來豐富他們的模型。

　　三、大數(shù)據(jù)分析工具

　　大數(shù)據(jù)分析是指對規(guī)模巨大的數(shù)據(jù)進(jìn)行分析。大數(shù)據(jù)可以概括為4個(gè)V， 數(shù)據(jù)量大(Volume)、速度快(Velocity)、類型多(Variety)、真實(shí)性(Veracity)。大數(shù)據(jù)作為時(shí)下最火熱的IT行業(yè)的詞匯，隨之而來的數(shù)據(jù)倉庫、數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)挖掘等等圍繞大數(shù)據(jù)的商業(yè)價(jià)值的利用逐漸成為行業(yè)人士爭相追捧的利潤焦點(diǎn)。隨著大數(shù)據(jù)時(shí)代的來臨，大數(shù)據(jù)分析也應(yīng)運(yùn)而生。

　　1、前端展現(xiàn)，用于展現(xiàn)分析的前端開源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。

　　用于展現(xiàn)分析商用分析工具有Style Intelligence、Cognos, BO, Microsoft, Oracle,Microstrategy,QlikView、 Tableau 。

　　國內(nèi)的有國云數(shù)據(jù)(大數(shù)據(jù)魔鏡)，F(xiàn)ineBI等等。

　　2、數(shù)據(jù)倉庫有Teradata AsterData, EMC GreenPlum, HP Vertica 等等。

　　3、數(shù)據(jù)集市有QlikView、 Tableau 、Style Intelligence等等。