一、大數據

 

  英文：big data，mega data

 

  大數據，或稱巨量資料，指的是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

 

  二、大數據的4V：

 

  Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）

 

  三、當前用于分析大數據的工具主要有開源與商用兩個生態圈

 

  開源大數據生態圈：

 

  1、Hadoop HDFS、HadoopMapReduce, HBase、Hive 漸次誕生，早期Hadoop生態圈逐步形成。

 

  2、. Hypertable是另類。它存在于Hadoop生態圈之外，但也曾經有一些用戶。

 

  3、NoSQL，membase、MongoDb

 

  商用大數據生態圈：

 

  1、一體機數據庫/數據倉庫：IBM PureData(Netezza), OracleExadata, SAP Hana等等。

 

  2、數據倉庫：TeradataAsterData, EMC GreenPlum, HPVertica 等等。

 

  3、數據集市：QlikView、 Tableau 、 以及國內的Yonghong Data Mart 。

 

  四、Hadoop

 

  Hadoop是一個由Apache基金會所開發的分布式系統基礎架構。

 

  用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力進行高速運算和存儲。

 

  Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統中的數據。

 

  Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的數據提供了存儲，則MapReduce為海量的數據提供了計算。

 

  五、Apache基金會

 

  Apache軟件基金會（也就是Apache Software Foundation，簡稱為ASF），是專門為支持開源軟件項目而辦的一個非盈利性組織。在它所支持的Apache項目與子項目中，所發行的軟件產品都遵循Apache許可證（Apache License）。

 

  六、MapReduce

 

  MapReduce是一種編程模型，用于大規模數據集（大于1TB）的并行運算。概念”Map（映射）”和”Reduce（歸約）”，和它們的主要思想，都是從函數式編程語言里借來的，還有從矢量編程語言里借來的特性。它極大地方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在分布式系統上。 當前的軟件實現是指定一個Map（映射）函數，用來把一組鍵值對映射成一組新的鍵值對，指定并發的Reduce（歸約）函數，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。

 

  七、BI

 

  商業智能（BI，Business Intelligence）。

 

  BI（Business Intelligence）即商務智能，它是一套完整的解決方案，用來將企業中現有的數據進行有效的整合，快速準確的提供報表并提出決策依據，幫助企業做出明智的業務經營決策。

 

  八、CRM

 

  CRM即客戶關系管理，是指企業用CRM技術來管理與客戶之間的關系。在不同場合下，CRM可能是一個管理學術語，可能是一個軟件系統。通常所指的CRM，指用計算機自動化分析銷售、市場營銷、客戶服務以及應用等流程的軟件系統。它的目標是通過提高客戶的價值、滿意度、贏利性和忠實度來縮減銷售周期和銷售成本、增加收入、尋找擴展業務所需的新的市場和渠道。CRM是選擇和管理有價值客戶及其關系的一種商業策略，CRM要求以客戶為中心的企業文化來支持有效的市場營銷、銷售與服務流程。

 

  九、云計算

 

  云計算（cloud computing）是基于互聯網的相關服務的增加、使用和交付模式，通常涉及通過互聯網來提供動態易擴展且經常是虛擬化的資源。云是網絡、互聯網的一種比喻說法。過去在圖中往往用云來表示電信網，后來也用來表示互聯網和底層基礎設施的抽象。因此，云計算甚至可以讓你體驗每秒10萬億次的運算能力，擁有這么強大的計算能力可以模擬核爆炸、預測氣候變化和市場發展趨勢。用戶通過電腦、筆記本、手機等方式接入數據中心，按自己的需求進行運算。

 

  十、云計算相關

 

  分布式計算（Distributed Computing）

 

  并行計算（Parallel Computing）

 

  效用計算（Utility Computing）

 

  網絡存儲（Network Storage Technologies）

 

  虛擬化（Virtualization）

 

  負載均衡（Load Balance）

 

  熱備份冗余（High Available）

 

  十一：數據倉庫

 

  數據倉庫，英文名稱為Data Warehouse，可簡寫為DW或DWH。數據倉庫是為企業所有級別的決策制定過程提供支持的所有類型數據的戰略集合。它是單個數據存儲，出于分析性報告和決策支持的目的而創建。 為企業提供需要業務智能來指導業務流程改進和監視時間、成本、質量和控制。

 

  十二：非關系型數據庫

 

  NoSQL，泛指非關系型的數據庫。隨著互聯網web2.0網站的興起，傳統的關系數據庫在應付web2.0網站，特別是超大規模和高并發的SNS類型的web2.0純動態網站已經顯得力不從心，暴露了很多難以克服的問題，而非關系型的數據庫則由于其本身的特點得到了非常迅速的發展。NoSQL數據庫的產生就是為了解決大規模數據集合多重數據種類帶來的挑戰，尤其是大數據應用難題。

 

  十三：結構化數據

 

  結構化數據（即行數據，存儲在數據庫里，可以用二維表結構來邏輯表達實現的數據）而言，不方便用數據庫二維邏輯表來表現的數據即稱為非結構化數據，包括所有格式的辦公文檔、文本、圖片、標準通用標記語言下的子集XML、HTML、各類報表、圖像和音頻/視頻信息等等。

 

  十四：結構化分析方法

 

  結構化分析方法（Structured Method，結構化方法）是強調開發方法的結構合理性以及所開發軟件的結構合理性的軟件開發方法。結構是指系統內各個組成要素之間的相互聯系、相互作用的框架。結構化開發方法提出了一組提高軟件結構合理性的準則，如分解與抽象、模塊獨立性、信息隱蔽等。針對軟件生存周期各個不同的階段，它有結構化分析（SA）和結構化程序設計（SP）等方法。

 

  十五：半結構化數據

 

  和普通純文本相比，半結構化數據具有一定的結構性，但和具有嚴格理論模型的關系數據庫的數據相比。OEM(Object exchange Model)是一種典型的半結構化數據模型。

 

  半結構化數據(semi-structured data)

 

  在做一個信息系統設計時肯定會涉及到數據的存儲，一般我們都會將系統信息保存在某個指定的關系數據庫中。我們會將數據按業務分類，并設計相應的表，然后將對應的信息保存到相應的表中。比如我們做一個業務系統，要保存員工基本信息：工號、姓名、性別、出生日期等等；我們就會建立一個對應的staff表。

 

  但不是系統中所有信息都可以這樣簡單的用一個表中的字段就能對應的。

 

  十六：非結構化數據

 

  非結構化數據庫是指其字段長度可變，并且每個字段的記錄又可以由可重復或不可重復的子字段構成的數據庫，用它不僅可以處理結構化數據（如數字、符號等信息）而且更適合處理非結構化數據（全文文本、圖象、聲音、影視、超媒體等信息）。

 

  十七：數據庫（Database）

 

  數據庫是按照數據結構來組織、存儲和管理數據的倉庫，它產生于距今六十多年前，隨著信息技術和市場的發展，特別是二十世紀九十年代以后，數據管理不再僅僅是存儲和管理數據，而轉變成用戶所需要的各種數據管理的方式。數據庫有很多種類型，從最簡單的存儲有各種數據的表格到能夠進行海量數據存儲的大型數據庫系統都在各個方面得到了廣泛的應用。

 

  十八：數據分析

 

  英文名：Data Analysis

 

  數據分析是指用適當的統計分析方法對收集來的大量數據進行分析，提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程。這一過程也是質量管理體系的支持過程。在實用中，數據分析可幫助人們作出判斷，以便采取適當行動。

 

  Excel作為常用的分析工具，可以實現基本的分析工作，在商業智能領域Cognos、Style Intelligence、Microstrategy、Brio、BO和Oracle以及國內產品如Yonghong Z-Suite BI套件等。

 

  十九：數據挖掘

 

  數據挖掘（英語：Data mining），又譯為資料探勘、數據采礦。它是數據庫知識發現（英語：Knowledge-Discovery in Databases，簡稱：KDD)中的一個步驟。數據挖掘一般是指從大量的數據中通過算法搜索隱藏于其中信息的過程。數據挖掘通常與計算機科學有關，并通過統計、在線分析處理、情報檢索、機器學習、專家系統（依靠過去的經驗法則）和模式識別等諸多方法來實現上述目標。

 

  二十：數據清洗

 

  數據清洗從名字上也看的出就是把“臟”的“洗掉”，指發現并糾正數據文件中可識別的錯誤的最后一道程序，包括檢查數據一致性，處理無效值和缺失值等。因為數據倉庫中的數據是面向某一主題的數據的集合，這些數據從多個業務系統中抽取而來而且包含歷史數據，這樣就避免不了有的數據是錯誤數據、有的數據相互之間有沖突，這些錯誤的或有沖突的數據顯然是我們不想要的，稱為“臟數據”。我們要按照一定的規則把“臟數據”“洗掉”，這就是數據清洗。而數據清洗的任務是過濾那些不符合要求的數據，將過濾的結果交給業務主管部門，確認是否過濾掉還是由業務單位修正之后再進行抽取。不符合要求的數據主要是有不完整的數據、錯誤的數據、重復的數據三大類。數據清洗是與問卷審核不同，錄入后的數據清理一般是由計算機而不是人工完成。

 

  二十一：可視化

 

  可視化（Visualization）是利用計算機圖形學和圖像處理技術，將數據轉換成圖形或圖像在屏幕上顯示出來，并進行交互處理的理論、方法和技術。它涉及到計算機圖形學、圖像處理、計算機視覺、計算機輔助設計等多個領域，成為研究數據表示、數據處理、決策分析等一系列問題的綜合技術。目前正在飛速發展的虛擬現實技術也是以圖形圖像的可視化技術為依托的。

 

  二十二：數據可視化

 

  英文名：Data visualization

 

  數據可視化技術的基本思想是將數據庫中每一個數據項作為單個圖元元素表示，大量的數據集構成數據圖像，同時將數據的各個屬性值以多維數據的形式表示，可以從不同的維度觀察數據，從而對數據進行更深入的觀察和分析。

 

  數據可視化主要旨在借助于圖形化手段，清晰有效地傳達與溝通信息。但是，這并不就意味著，數據可視化就一定因為要實現其功能用途而令人感到枯燥乏味，或者是為了看上去絢麗多彩而顯得極端復雜。為了有效地傳達思想概念，美學形式與功能需要齊頭并進，通過直觀地傳達關鍵的方面與特征，從而實現對于相當稀疏而又復雜的數據集的深入洞察。然而，設計人員往往并不能很好地把握設計與功能之間的平衡，從而創造出華而不實的數據可視化形式，無法達到其主要目的，也就是傳達與溝通信息。

 

  二十三：產品數據管理

 

  產品數據管理（Product Data Management）是基于分布式網絡、主從結構、圖形化用戶接口和數據庫件管理技術發展起來的一種軟件框架（或數據平臺），PDM對并行工程中的人員工具、設備資源、產品數據以及數據生成過程進行全面管理。

 

  二十四：DSP（需求方平臺）

 

  DSP（Demand-Side Platform），就是需求方平臺。這一概念起源于網絡廣告發達的歐美，是伴隨著互聯網和廣告業的飛速發展新興起的網絡廣告領域。它與Ad Exchange和RTB一起迅速崛起于美國，已在全球快速發展，2011年已經覆蓋到了歐美、亞太以及澳洲。在世界網絡展示廣告領域，DSP方興未艾。DSP傳入中國，迅速成為熱潮，成為推動中國網絡展示廣告RTB市場快速發展的動力之一。

 

  二十五：DMP（數據管理平臺）

 

  DMP(Data-Management Platform)數據管理平臺，是把分散的第一、第三方數據進行整合納入統一的技術平臺，并對這些數據進行標準化和細分，讓用戶可以把這些細分結果推向現有的互動營銷環境里。

 

  DMP的核心元素包括：

 

  ·數據整合及標準化能力：采用統一化的方式，將各方數據吸納整合。

 

  ·數據細分管理能力：創建出獨一無二、有意義的客戶細分，進行有效營銷活動。

 

  ·功能健全的數據標簽：提供數據標簽靈活性，便于營銷活動的使用。

 

  ·自助式的用戶界面：基于網頁web界面或其他集成方案直接獲取數據工具，功能和幾種形式報表和分析。

 

  ·相關渠道環境的連接：跟相關渠道的集成，包含網站端、展示廣告、電子郵件以及搜索和視頻，讓營銷者能找到、定位和提供細分群體相關高度的營銷信息。

 

——選自：樂文翻譯

 

樂文翻譯目前是國內專業的翻譯機構之一，公司秉承“誠信 專業”的服務理念，為國內外客戶提供一流服務。了解更多信息：請發郵箱：abc@lewene.com或直接致電：400-895-6679咨詢。