5分鐘寫好大數據調研報告「大數據調研報告怎麼寫」

一、大數據炒作來臨？

今天有兩隻股票漲停，一隻是中昌數據，一隻是海量數據。同花順軟件給出的漲停原因是大數據。

馬雲說過：“數據將取代石油，成為未來製造業最大的能源。”；

張亞勤說過：“雲計算和大數據是一個硬幣的兩面，雲計算是大數據的IT基礎，而大數據是雲計算的一個殺手級應用。”

雲計算大家分析得都比較多了，大數據相對較少的。本周放三天假，準備梳理下大數據行業。

按照我們的老規矩，從基本概括、產業鏈分析，市場規模，競爭格局，最後是分析具體公司這個脈絡相繼呈現。

二、產業分析

大數據基本概況

1. 定義：大數據指無法在一定時間範圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

2. 變現鏈條：數據→信息→知識→決策。

大數據發展歷程

1. 探索期（2009-2011）：大數據產業在中國出現，並且逐步受到市場關注，典型大數據產品及服務相繼上線，互聯網企業率先將大數據應用落地。

2. 市場啟動期（2012-2013）：

a. 初期，大數據概念普及，企業用戶不斷提升，資本市場高度關注，大數據企業上市，具有數據資產的企業謀求轉型；

b. 中期，由於大數據市場技術成熟度不足，市場開始第一輪洗牌，同質化較強、技術成熟度弱、商業模式不清晰的大數據產品及服務經營困難，市場認可度低；

c. 後期，大數據市場持續出現新商業模式、新產品、新服務，但效果不明顯，仍待市場檢驗，細分市場開始出現。

3. 高速發展期（2014-至今）：大數據市場幾種典型的商業模式得到市場印證，新產品、新服務具有穩定的剛性市場，細分市場逐漸走向差異化競爭。

大數據產業結構（從數據源到數據應用的完整生態鏈）

1. 上下游組成：

a. 上游：數據來源提供商、存儲、計算和分析設及的硬件廠商及軟件廠商；

b. 下游：垂直應用行業、互聯網、運營商等。

2. 產業特點：

a. 數據源：數據類型包括結構化、半結構化、非結構化數據；數據來源包括銷售、營銷等企業、從事數據整合的第三方機構和組織；

b. 數據處理：主要包括數據的ETL（抽取、轉化、加載）、存儲、計算、分析等過程，涉及數據的切割、融合等動作，大量中小企業通過推出特定的插件模塊、基礎工具等不斷推動整個技術生態的繁榮；

c. 數據應用：該領域既包括傳統的IT信息企業、統計分析企業，也包括新興的大數據公司，比如Palantir、Inrix等，這些企業針對不同的行業、應用場景紛紛推出相應的大數據解決方案。

3. 產業應用：電力、交通、環保、政府、金融、銀行、電信、醫療、IT等行業。

大數據產業模塊（專業服務模塊表現優異）

1. 基礎硬件：計算、存儲兩個子模塊顯示出強勁的增長動力，且整體份額佔比極高，顯示出雲計算和大數據兩個子產業較強的相互拉動作用。

2. 基礎軟件：主要由Hadoop計算框架和數據管理兩個子模塊構成，整體規模非常有限，且增長平緩，整個數據管理模塊的收入包括傳統的數據軟件產品收入（ORACLE、DB2等）和NoSQL商業化產品收入。

3. 專業服務：為增長最快速、份額佔比最高的子模塊，整體持續保持高速增長。

大數據應用場景

1. 大數據的典型行業應用包括：電力、交通、環保、銀行、電信等；

2. 互聯網廠商是大數據時代的先鋒，也是DT時代最大的玩家，其中，各方面都處於領先地位的毋庸質疑是BAT三家；

3. 傳統行業加速擁抱大數據，其中，房產、汽車、醫療等應用首當其衝；

4. 大數據使用率每提升10%，對零售、諮詢服務和航空業的效益提升最大。

數據源演進趨勢：連接+融合

1. 大數據價值最大化需要數據的連接、融合：

a. 在數據類型上，更強調結構化、半結構化、非結構化等多類別數據的採集和存儲，例如音視頻等；

b. 在數據場景上，同時注重線上、線下數據的可獲得性；

c. 在數據來源上，除了依賴於資深的企業內部數據，更需要不斷融合第三方數據；

d. 在數據關聯性上，要消除數據孤島，實現數據在可控範圍內的自用流動和融合；

2. 單純數據源企業出現：當前階段數據源環節仍和數據分析等環節緊密綁定，但未來從事單純數據源業務的企業可能逐步出現。

數據分析演進趨勢：技術變革

1. 傳統數據分析時代：通過ORACLE、DB2等數據庫集中存儲形成結構化數據，再通過BI工具和藉助傳統的數據挖掘算法進行分析和展現；

2. 大數據時代：

a. 數據量大、結構化數據佔比低，傳統的IT架構及分析算法難以滿足需求；

b. 2003-2004年間，Google提出GFS(Google File System)和MapReduce，奠定了分布式文件存儲系統及分布式計算模型的理論基礎；

c. 2006年提出分布式計算和存儲框架Hadoop項目並不斷發展生態，雲計算的成熟也為大數據奠定了基礎。

數據分析演進趨勢：分析方法

1. 普適化分析：即提供一個門檻較低的通用軟件，例如，美股大數據龍頭Tableau 開發的桌面系統，它沒有強迫用戶編寫自定義代碼，新的控制台也可完全自定義配置，從而為各行業提供簡單的行業數據模板及網絡共享平台；

2. 結合行業分析：向諮詢、管理工具的方向發展，利用自身多年在各行業裡面積累的深刻經驗並配合自身的大數據實力，在已有的數據中幫助企業挖掘更多的價值，例如，分析工具領域最成功的的新興企業Splunk 。Splunk公司開發的基於機器數據的搜索引擎，可收集所有應用程序、服務器和移動設備（包括物理、虛擬和雲端）產生的數據並生成索引，實現從一個位置快速搜索並分析所有實時數據和歷史數據；

3. 未來分析方式：未來大數據應用的集中爆發將導致數據分析需求的多樣化和定製化，因此，結合具體應用場景深入行業分析的大數據分析工具相較於通用分析工具在未來將更具有優勢。

數據安全

1. 大數據安全分析技術：信息安全問題已變成一個大數據分析問題，大規模的安全數據需要有效地關聯、分析和挖掘；未來將出現專門的安全分析平台，及“安全分析師”或“安全數據分析師”等崗位；

2. 隱私保護技術：需技術+立法雙管齊下。消費者的個人購買偏好、健康和財務情況等海量數據被收集，人們對隱私的擔憂也在增大，美國奧巴馬辯解說：“你不能在擁有100%安全的情況下，同時擁有100%隱私和100%便利”。現IBM、微軟、柯達、花旗、Facebook、寶潔、360等企業都已經設有“首席隱私官”職位來保護用戶隱私；

3. 數據脫敏技術：在保存數據原始特徵的同時改變它的數值，從而保護敏感數據免於未經授權的訪問，同時又可以進行相關的數據處理的一種技術。藉助數據脫敏，信息依舊可以被使用並與業務相關聯，不會違反相關規定，而且也避免了數據泄露的風險。

三、市場分析

大數據市場規模：數據規模爆髮式增長

◼ 在互聯網快速普及、物聯網加速滲透的背景下，PC、手機、傳感設備等全面興起，推動全球數據呈現倍數增長、海量集聚的特點，為大數據產業發展奠定了龐大的數據基礎：

a. 數據規模巨大，增長極快。根據IDC統計，2010年全球創建和複製的數據總量為1.23ZB，2016年這一規模為11.8ZB，預計2020年將達到44ZB，在其《數據時代2025》白皮書中，更是預測到2025年，全球創建和複製的數據總量將擴展至163ZB（1ZB等於1萬億GB）;

b. 互聯網與IoT帶來巨大數據基礎。互聯網創造了大量的線上數據，同時互聯網和傳統行業的融合，以及IoT時代的到來，數據的可獲得途徑正在被持續拓寬，互聯網加速了數據間的流動和融合。

大數據市場規模

1. 全球市場規模

a. 近幾年，美國、歐盟、日本等主要發達經濟體都積極推進各自的大數據戰略。2009年，美國科學家委員會（NSTC）就發布了《開發數字數據的威力》報告;

b. 參考《大數據白皮書》、IDC、Wikibon等諮詢機構分析，2016年全球大數據核心產業規模約為300億美元，預計2020年有望達到近600億美元。

2. 中國市場規模

a. 根據信通院數據，2017年中國大數據產業規模（包括數據資源建設、大數據軟硬件產品的開發、銷售和租賃活動，以及相關信息技術服務）為4700億元人民幣，同比增長30%，且預計2020年這一規模有望趕超1萬億，年均複合增速近30%;

b. 大數據核心產業規模（大數據直接相關的軟件、硬件及專業服務）2017年為234億元，同比增長39%，預計2018年為329億;

c. 從行業來看，中國大數據應用在金融行業佔比最大達到16%，其次是通信行業15.6%，零售行業佔比13.9%，政府佔比12.7%。

大數據競爭格局

◼ 開源技術逐步降低了企業進軍大數據領域的門檻，加之數據量的規模化增長和應用場景的越發豐富，越來越多的企業加入大數據掘金浪潮，創業企業不斷湧現，互聯網巨頭和傳統IT 廠商加速投資併購以爭奪市場領袖地位;

◼ 數據顯示，全球大數據主要由IBM、SAP、Oracle、Palantir、HPE、Splunk、Accenture、Teradata、Dell、Microsoft等佔據主要市場，2016年前十大廠商份額合計佔到34%，預計2020年將達到40%以上。

四、大數據企業分析

Splunk（機器數據收集分析服務商）

1. 公司概述：成立於2003年，從機器日誌分析產品起步，經歷近10年的發展，逐漸成為機器日誌處理、分析領域的全球領先企業，並通過持續的併購和外部合作，不斷拓展自身技術，並圍繞機器日誌分析豐富公司產品組合；

2. 主要產品：IT運營、應用管理、安全合規、網絡智能與商業分析等；

3. 業務模式：軟件license+運維服務。Splunk軟件平台可以實時對任何APP、服務器或網絡設備的機器數據進行索引、監控與分析，並將結果生成圖形化報表，並以此基礎幫助客戶避免服務性能降低或中斷，逐漸形成軟件許可證售賣和運維服務兩種主要模式；

4. 財務數據：2018年營收18億美元，凈利潤-2.7億美元，產品毛利率80%，市值170億美元。

Palantir（數據聚合分析服務商）

1. 公司概述：成立於2003年，由彼得蒂爾創立，發展初期主要面向政府機構提供數據分析服務，後藉助政府訂單背書，逐步將業務擴展至民用領域；2010年摩根大通成為其首批非政府客戶，2011年幫助美軍擊斃本拉登。

2. 主要產品：主要產品有Gotham（政府）、Foundry（企業）、Metropolis（金融），都具有開放性、可延展性和可規模性，可以數周甚至數天內完成部署、發揮作用，可以快速迭代以反映用戶反饋。

3. 業務模式：整合海量的數據源形成全方位的可視化輸出，運用公司設計的相應算法進行聯想、定位、分析的形式來分析單一個體或特定場景，提供解決方案。

4. 財務數據：預計2018年營收7.5億美元，估值410億美元，目前有70%以上業務來源於非政府客戶。

Informatica（智能數據集成治理平台提供商）

1. 公司概況：1993年創立於美國加利福尼亞州，並於1999年4月在納斯達克上市,幫助世界各地組織為其首要業務提供及時、相關和可信的數據，從而在當今全球信息經濟中獲得競爭優勢，2005年進入中國市場。

2. 主要產品：最初產品數據集成軟件，包括Power Center和Power Exchange，目前已經建立起了從智能數據平台到數據管理解決方案，從數據集成到數據質量管理、大數據管理、雲數據管理等的完整的數據管理框架和產品線。

3. 財務數據：2015年，微軟、Salesforce等公司聯合對Informatica進行私有化。2015年營業收入11億美元，凈利潤1.1億美元，估值50億美元。

五、研究總結

研究總結

1. 數據來源豐富多樣，數據規模增長顯著，大數據行業仍處於高速發展階段，未來差異化競爭將越發突出

2. 互聯網廠商掌握C端數據（消費互聯），傳統行業掌握B端數據（產業互聯），相互融合互生將是大勢所趨

3. 數據應用是數據產業鏈中成長空間最大的細分行業

4. 數據安全保護問題將是未來行業發展的重中之重

5.大數據產業迎來新機遇，自主可控是長期趨勢，國產化推進勢在必行

投資建議

1. 關注企業內部數據化建設核心團隊，比如數據治理、數據中台建設到智能決策平台，以及從中衍生而來的多種SAAS工具

2. 關注企業間數據源多維度互聯互通，比如工業的採集、智能運維、交通的智能調度管理、政務輿情、金融風控等