mysql資料庫建表規約,資料庫建表注意事項

本文目錄一覽：

• 1、大數據工程師需要學哪些技術?
• 2、大數據核心技術有哪些
• 3、App運營如何構建用戶興趣模型
• 4、索引到底是什麼？
• 5、數倉建模分層理論
• 6、軟體開發有什麼要求？

大數據工程師需要學哪些技術?

一、大數據採集

大數據採集，即對各種來源的結構化和非結構化海量數據，所進行的採集。

資料庫採集：流行的有Sqoop和ETL，傳統的關係型資料庫MySQL和Oracle 也依然充當著許多企業的數據存儲方式。當然了，目前對於開源的Kettle和Talend本身，也集成了大數據集成內容，可實現hdfs，hbase和主流Nosq資料庫之間的數據同步和集成。

網路數據採集：一種藉助網路爬蟲或網站公開API，從網頁獲取非結構化或半結構化數據，並將其統一結構化為本地數據的數據採集方式。

文件採集：包括實時文件採集和處理技術flume、基於ELK的日誌採集和增量採集等等。

二、大數據預處理

大數據預處理，指的是在進行數據分析之前，先對採集到的原始數據所進行的諸如「清洗、填補、平滑、合併、規格化、一致性檢驗」等一系列操作，旨在提高數據質量，為後期分析工作奠定基礎。數據預處理主要包括四個部分：數據清理、數據集成、數據轉換、數據規約。

三、大數據儲存

大數據每年都在激增龐大的信息量,加上已有的歷史數據信息,對整個業界的數據存儲、處理帶來了很大的機遇與挑戰.為了滿足快速增長的存儲需求,雲存儲需要具備高擴展性、高可靠性、高可用性、低成本、自動容錯和去中心化等特點.常見的雲存儲形式可以分為分散式文件系統和分散式資料庫。其中,分散式文件系統採用大規模的分散式存儲節點來滿足存儲大量文件的需求,而分散式的NoSQL資料庫則為大規模非結構化數據的處理和分析提供支持。

四、大數據清洗

MapReduce作為Hadoop的查詢引擎，用於大規模數據集的並行計算，」Map(映射)」和」Reduce(歸約)」，是它的主要思想。它極大的方便了編程人員在不會分散式並行編程的情況下，將自己的程序運行在分散式系統中。隨著業務數據量的增多，需要進行訓練和清洗的數據會變得越來越複雜，這個時候就需要任務調度系統，比如oozie或者azkaban，對關鍵任務進行調度和監控。

關於大數據工程師需要學哪些技術，青藤小編就和您分享到這裡了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

大數據核心技術有哪些

大數據技術的體系龐大且複雜，基礎的技術包含數據的採集、數據預處理、分散式存儲、資料庫、數據倉庫、機器學習、並行計算、可視化等。

1、數據採集與預處理：FlumeNG實時日誌收集系統，支持在日誌系統中定製各類數據發送方，用於收集數據；Zookeeper是一個分散式的，開放源碼的分散式應用程序協調服務，提供數據同步服務。

2、數據存儲：Hadoop作為一個開源的框架，專為離線和大規模數據分析而設計，HDFS作為其核心的存儲引擎，已被廣泛用於數據存儲。HBase，是一個分散式的、面向列的開源資料庫，可以認為是hdfs的封裝，本質是數據存儲、NoSQL資料庫。

3、數據清洗：MapReduce作為Hadoop的查詢引擎，用於大規模數據集的並行計算。

4、數據查詢分析：Hive的核心工作就是把SQL語句翻譯成MR程序，可以將結構化的數據映射為一張資料庫表，並提供HQL(HiveSQL)查詢功能。Spark啟用了內存分布數據集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。

5、數據可視化：對接一些BI平台，將分析得到的數據進行可視化，用於指導決策服務。

App運營如何構建用戶興趣模型

APP構建用戶興趣模型，主要分為兩步：一是要打通多端多源數據，實現全渠道數據整合，構建完整的用戶視圖，二是基於數據，進行全面的用戶分析，構建興趣模型。以上兩步可以通過個推·用戶運營平台來完成。

1.打通多端多源數據，讓建模更貼合實際

在建立用戶興趣模型前需要獲取足夠的真實用戶反饋數據。一定的數據量可以保障用戶建模更貼合實際。個推·用戶運營支持APP、Web、H5、小程序等多端數據接入，以及MySQL、Hive等多源數據整合，可以幫助APP實現跨平台用戶數據的有效打通和統一治理，為構建用戶興趣模型提供數據支撐。

2.全面的用戶數據分析，構建用戶畫像

在整理好用戶基礎數據後我們需要對數據進行分析和歸類，創建出基本的用戶畫像。個推·用戶運營支持APP將自有數據和個推標籤數據結合，通過自定義規則、採用行業標籤模板等方式將多端、多源用戶數據標籤化，構建全面立體的用戶畫像。同時，

 APP可以自主運用事件分析、漏斗分析等十餘種分析模型，深度洞察用戶興趣點，輔助興趣模型構建和應用。

個推·用戶運營SDK正限時免費中，APP開發者與運營者可註冊/登錄個推開發者中心免費註冊體驗。

構建興趣模型

索引到底是什麼？

他加快主要是靠另外建了個樹，專門用來定位。

關鍵字其實就是一種唯一索引。

參考一下

innodb 中文參考手冊 — 犬犬(心帆)翻譯 11 表和索引結構

mysql 在資料庫目錄下的 .frm 文件中存儲它的數據字典信息。但是每個 innodb 類型表也同樣在 innodb 表空間內的內部的數據字典中存在它自己的進入點。當 mysql 移除(drop) 一個表或一個資料庫時，它將同時刪除 .frm 文件，以及在 innodb 的數據字典中相對應的進入點。這就是為什麼不能通過簡單的刪除 .frm 文件為移除資料庫中的 innodb 類型表的原因，以及為什麼在 mysql 版本 = 3.23.43 的版本中，drop database 不能用於 innodb 表的原因。

每一個 innodb 表都有一個被稱為聚簇索引的特殊索引用於保存記錄行信息。如果一個表定義一個 primary key ，那麼主鍵的索引就是聚簇索引。

如果表沒有定義一個 primary key ，mysql 將選出第一個 not null 欄位的 unique 鍵做為主鍵，innodb 也將用這個鍵的索引做為聚簇索引。如果表中沒有這樣的鍵，innodb 將在內部產生一個聚簇索引，它是由按 innodb 分配給它們的 row id 順序排序的記錄行組成。這個 row id 是一個單調地增加並插入新行的 6-byte 欄位。因而由 row id 排序的記錄順序也就是插入時的物理順序。

通過聚簇索引訪問一個記錄行是非常快的，因為記錄行數據與引導我們查找到它的索引在同一個頁面上。 在大多數的資料庫系統中記錄行數據與索引記錄通常並不是放在同一個頁面上的。如果一個表太大了，那麼聚簇索引體系通常比傳統的方式更能減少磁碟 i/o 。

在非-聚簇索引(non-clustered indexes)中的記錄 (我們通常稱它為輔助索引secondary indexes)，在 innodb 中會為這行包含主鍵值。innodb 將使用這個主鍵值來在聚簇索引中查找這行。注意如果主鍵太長，那麼輔助索引將會佔用更多的空間。

innodb 在比較不同長度的 char 和 varchar 時，較短字串的多餘長度將被空格(spaces)填充。

11.1 索引的物理結構

all indexes in innodb 中所有的索引是索引記錄存放在樹的葉頁面(leaf pages)上的 b-trees。一個索引頁面的大小默認為 16 kb。當新的記錄被插入時，innodb 將試圖為將來的插入與更新索引記錄保留頁面的 1 / 16 空餘。

如果索引記錄以一個連續的 (升序或降序) 被插入，那麼索引頁面的將會被使用約 15/16 。如果以一個隨機的順序插入，那麼頁面大約使用了 1/2 – 15/16 。如果一個索引頁面被撤銷(drop)地低於 1/2，那麼 innodb 將縮短索引樹並釋放頁面空間。

11.2 插入緩衝

主鍵是一個唯一標識符，新的記錄以主鍵的升序被插入，這在資料庫系統中是一個普遍的情形。因而在聚簇索引內插入的值不需要在硬碟上隨意讀取。

另一方面，輔助索引通常是非唯一的(non-unique)，插入在輔助索引中是相當隨意的順序。如果在 innodb 中不使用一個特殊的機制這將會引起大量隨機的磁碟 i/o。

如果一個索引記錄被插入到一個非唯一的輔助索引中去，innodb 將檢查輔助索引頁面是否已在緩衝池(buffer pool)中。在這種情形下，innodb 直接地將它插入到索引頁面中去。但是，如果在緩衝池中沒有發現索引頁面，inndb 將索引記錄插入到一個特殊的插入緩衝結構中去。插入緩衝被控制地如些小以至於可以完全放在緩衝池中， 因而插入速度很快。

插入緩衝會定時地歸併到資料庫中的輔助索引樹中去。為了減少磁碟 i/o，通常將同一個頁面上的幾個插入同時歸併到索引樹上。插入緩衝可以提高向一個表中插入速度 15倍。

11.3 適應性的散列索引 (adaptive hash indexes)

如果一個資料庫幾乎佔滿了所有主同存，那麼在其上運行查詢的一個快捷之路就是使用散列索引(hash indexes)。innodb 有一個用於監視在表定義的索引上的索引搜索動作的自動調整結構，如果 innodb 發現一個散列索引對查詢有益，那麼它將自動地建造這個散列索引。

但是要注意地就是散列索引通常是基於表中已存在的 b-tree 創建的。innodb 可能通過 b-tree 中定義的任何長度的鍵的前綴來構建散列索引，這依賴於 innodb 觀察 b-tree 上索引的模式。一個散列索引可以是部分的：它在緩衝池中並不需要有整個 b-tree 索引的高速緩衝。innodb 按照需要來為經常訪問的索引頁面構建散列索引。

在理論上，通過這個適應性的散列索引機制，innpdb 使它自己更適合於大的主存(ample main memory)，更接近於主存儲器資料庫系統體系(the architecture of main memory databases)。

11.4 記錄的物理結構 innodb 中每個索引記錄都包含一個 6 位元組的頭。這個頭部用於聯連相連貫的記錄，也同樣用於行鎖定。 聚簇索引中的記錄包含了所有用戶定義的欄位。另外，有一個 6-byte 欄位用於記錄事務 id(transaction id)和一個 7-byte 欄位用於行指針(roll pointer)。 在一個表中，如果用戶沒有定義一個主鍵，那麼每個聚簇索引記錄包含一個 6-byte 的行 id 欄位(row id field)。 每個輔助索引記錄包含為聚簇索引鍵定義的所有欄位。 一個索引包含著一個指向對應欄位記錄的指針。如果一個記錄的所有欄位總長度 128 bytes，那麼這個指針為 1 byte，否則為 2 bytes。 innodb 在內部也是以一個固定長度來存儲定長的字元型欄位，比如 char(10)。對於 varchar 型欄位，innodb 將截去結尾的空間。注意，mysql 可能內部地將 char 轉換為 varchar。查看 mysql 用戶手冊有關「列規約的默認地改變」( silent column specification changes)。 如果存儲一個變長的欄位，一個 sql null 為一個 0 bytes 被存儲，但是如果是一個定長欄位將以固定的長度被存儲。以相應的 nulls 存儲定長的空間的目的地就在於在將 null 欄位值更新為 非 null 的值時不至產生索引頁面的磁碟碎片。

文章整理：西部數碼–專業提供域名註冊、虛擬主機服務

以上信息與文章正文是不可分割的一部分,如果您要轉載本文章,請保留以上信息，謝謝!

數倉建模分層理論

這篇文章較為完整、清晰的講述了數倉建模分層理論，要點如下：

1、分層的意義：清晰結構體系、數據血緣跟蹤、減少重複開發、複雜問題簡單化及統一數據口徑

2、ODS：用作緩衝，可以存一周左右，跟DWD大多重複，留存的目的還在於保持跟源端一致，方便追溯

3、DWD：針對ODS做數據的清洗和整合，在DWD層會根據維度模型，設計事實表和維度表，DWD層是一個非常規範的、高質量的、可信的數據明細層

4、DWS：基於DWD層形成某一主題的輕度匯總表或分析寬表，DWS形成大量維度退化的事實表以提高易用性，DWS層應覆蓋80%的應用場景

5、TDM：標籤層，通過統一的ID-Mapping 把各個業務板塊，各個業務過程中同一對象的數據打通，形成對象的全域數據標籤體系，方便深度分析、挖掘、應用，大家注意，這個ID不僅僅指客戶或用戶ID，也包括其它的主數據ID，其是全流程分析的基礎

6、ADS：數據應用層ApplicationDataService面向業務定製的應用數據，主要提供給數據產品和數據分析使用的數據，一般會放在ES，MYSQL，Redis等前端系統供線上系統使用，也可以放在Hive中供數據分析和數據挖掘使用

7、DM：主要是提供數據產品和數據分析的數據，主要解決部門用戶報表和分析需求而建立資料庫，數據集市就代表數據倉庫的主題域。DM 是面向單個主題的，所以它不會從全局考慮進行建設。

強烈推薦閱讀！

正文開始

簡單點兒，直接ODS+DM就可以了，將所有數據同步過來，然後直接開發些應用層的報表，這是最簡單的了；當DM層的內容多了以後，想要重用，就會再拆分一個公共層出來，變成3層架構,這個過程有點類似代碼重構，就是在實踐中不斷的進行抽象、總結。

數倉的建模或者分層，其實都是為了更好的去組織、管理、維護數據,所以當你站在更高的維度去看的話，所有的劃分都是為了更好的管理。小到JVM 內存區域的劃分，JVM 中堆空間的劃分(年輕代、老年代、方法區等)，大到國家的省市區的劃分，無一例外的都是為了更好的組織管理 。

所以數倉分層是數據倉庫設計中十分重要的一個環節， 優秀的分層設計能夠讓整個數據體系更容易理解和使用 。

這一節，我們主要是從整體上出發進行分析和介紹，就和上一節數倉建模方法論一樣，進度對比分析，更多細節的東西我們後面會單獨拆分出來，用案例進行演示，例如維度建模，維度表的設計，事實表的設計、以及如何設計標籤、如何管理標籤等等。

每一個數據分層都有它的作用域，這樣在使用表的時候能更方便的定位和理解。

由於最終給業務呈現的是一個能直接使用的業務表，但是表的數據來源有很多，如果有一張來源表出問題了，我們希望能夠 快速準確的定位到問題，並清楚它的影響範圍，從而及時給到業務方反饋，從而將損失降到最低 。

將一個複雜的任務分解成多個步驟來完成，每一層只處理單一的步驟，比較簡單和容易理解。而且便於維護數據的準確性，當數據出現問題之後，可以不用修復所有的數據，只需要從有問題的步驟開始修復。

過數據分層提供統一的數據出口，統一對外輸出的數據口徑，這往往就是我們說的數據應用層。

前面我們說到分層其實是為了更好更快更準的組織管理，但是這個是從宏觀上來說的，接下來我們從微觀上也來看一下分層。

越靠上的層次，對應用越友好,比如ADS層，基本是完全為應用設計,從數據聚合程度來講，越上層的聚合程度越高，當然聚合程度越高可理解程度就越低。

數倉層內部的劃分不是為了分層而分層， 分層是為了解決 ETL 任務及工作流的組織、數據的流向、讀寫許可權的控制、不同需求的滿足等各類問題 ，當然我們常說的分層也是面向行業而言的，也是我們常用分層方法，但是你需要注意的是分層僅僅是手段而已。

ODS 全稱是 OperationalDataStore， 操作數據層存儲的是面向業務系統的數據 ，也是最接近數據源中數據的一層，數據源中的數據，經過抽取、洗凈、傳輸，也就說傳說中的 ETL 之後，裝入本層。

本層的數據，總體上大多是 按照源頭業務系統的分類方式而分類的 ，前面我們說到為什麼在數倉主要用維度建模的情況下，我們依然要學習範式建模呢，因為我們的數據源是範式建模的，所以學習範式建模可以幫助我們更好的理解業務系統，理解業務數據，所以你可以認為我們的ODS 層其實就是用的實範式建模。

這裡的數據處理，並不涉及業務邏輯，僅僅是針對數據完整性以及重複值和空值的處理，其實就是做的是數據規約，數據清洗，但是為了考慮後續可能追溯數據源問題，因此 對這一層不建議做過多的數據清洗工作 ，原封不動接入源數據即可，至於數據的去噪，去重，異常值處理等過程可以放在後面的DW層

表名的設計 ODS_業務系統_表名_標記 ，這樣的設計可以保持與業務表名一致，又可以有清晰的層次，還可以區分來源。標記一般指的是其他數倉特有的屬性，例如表是天級的還是小時的，是全量的還是增量的。

ods 的設計可以保證所有的數據按照統一的規範進行存儲。

DW是數據倉庫的核心，從ODS層中獲得的數據按照主題建立各種數據模型。DW又細分數據明細層DWD 和輕度匯總層DWS

這一層和維度建模會有比較深的聯繫，業務數據是按照 業務流程方便操作的角度 來組織數據的，而統一數倉層是 按照業務易理解的角度或者是業務分析的角度 進行數據組織的，定義了一致的指標、維度，各業務板塊、數據域都是按照統一的規範來建設，從而形成統一規範的 標準業務數據體系 ，它們通常都是基於Kimball的維度建模理論來構建的， 並通過一致性維度和數據匯流排來保證各個子主題的維度一致性 。

公共層的維度表中相同維度屬性在不同物理表中的欄位名稱、數據類型、數據內容必須保持一致，因為這樣可以降低我們在使用過程中犯錯誤的概率，例如使用了不正確的欄位，或者因為數據類型的原因導致了一些奇怪的錯誤

將維度所描述業務相關性強的欄位在一個物理維表實現。相關性強是指經常需要一起查詢或進行報表展現、兩個維度屬性間是否存在天然的關係等。例如，商品基本屬性和所屬品牌。

公告明細數據層，可以說是我們數倉建設的核心了。

DWD層要做的就是將 數據清理、整合、規範化、臟數據、垃圾數據、規範不一致的、狀態定義不一致的、命名不規範的數據都會被處理 。然後加工成面向數倉的基礎明細表，這個時候可以加工一些面向分析的大寬表。

DWD層應該是覆蓋所有系統的、完整的、乾淨的、具有一致性的數據層。在DWD層會根據維度模型，設計事實表和維度表，也就是說DWD層是一個非常規範的、高質量的、可信的數據明細層。

DWS層為 公共匯總層 ，這一層會進行輕度匯總，粒度比明細數據稍粗， 基於DWD層上的基礎數據，整合匯總成分析某一個主題域的服務數據 ，一般是也是面向分析寬表或者是面向某個注意的匯總表。DWS層應覆蓋80%的應用場景，這樣我們才能快速響應數據需求，否則的話，如果很多需求都要從ods開始做的話，那說明我們的數倉建設是不完善的。

例如按照業務劃分，例如流量，訂單，用戶等，生成欄位比較多的寬表，用於後續的業務查詢，OLAP分析，數據分析等。

一般採用維度模型方法作為理論基礎，更多的採用一些維度退化手法，將維度退化至事實表中，減少維度表與事實表的關聯，提高明細數據表的易用性；同時在匯總數據層要加強指標的維度退化，採用更多的寬表化手段構建公共指標數據層，提升公共指標的復用性，減少重複加工 。

維表層，所以其實維度層就是大量維表構成的，為了統一管理這些維度表，所以我們就建設維度層，維度表本身也有很多類型，例如穩定維度維表，漸變維度維表。

維度指的是觀察事物的角度，提供某一業務過程事件涉及用什麼過濾和分類的描述屬性 ，”誰、什麼時候、什麼地點、為什麼、如何”幹了什麼，維度表示維度建模的基礎和靈魂。

所以可以看出，維度表包含了業務過程記錄的業務過程度量的上下文和環境。維度表都包含單一的主鍵列， 維度表設計的核心是確定維度欄位，維度欄位是查詢約束條件(where)、分組條件(group)、排序(order)，與報表標籤的基本來源 。

維度表一般為 單一主鍵 ，在ER模型中，實體為客觀存在的事務，會帶有自己的描述性屬性，屬性一般為文本性、描述性的，這些描述被稱為維度。維度建模的核心是 數據可以抽象為事實和維度 ，維度即觀察事物的角度，事實某一粒度下的度量詞， 維度一定是針對實體而言的 。

每個維度表都 包含單一的主鍵列 。維度表的主鍵可以作為與之關聯的任何事實表的外鍵，當然，維度錶行的描述環境應與事實錶行完全對應。維度表通常比較寬，是扁平型非規範表，包含大量的低粒度的文本屬性。例如customer（客戶表）、goods(商品表)、d_time(時間表)這些都屬於維度表，這些表都有一個唯一的主鍵，然後在表中存放了詳細的數據信息。

維度表通常比較寬 ，包含多個屬性、是扁平的規範表 ，實際應用中包含幾十個或者上百個屬性的維度並不少見，所以 維度表應該包括一些有意義的描述，方便下游使用 。

維度表的維度屬性，應該儘可能的豐富，所以維度表中，經常出現一些反範式的設計，把其他維度屬性併到主維度屬性中， 達到易用少關聯的效果。

維度表的設計包括維度選擇，主維表的確定，梳理關聯維度，定義維度屬性的過程。

維度的選擇一般從報表需求和從業務人員的交談中發現，主要用於過濾、分組、排序，主維度表一般從業務庫直接同步，比如用戶表，但是數倉的本身也會有自己的維度，這是因為數倉是面向分析的，所以會有很多從分析的角度出發的維度。

關聯維度主要是不同業務系統或者同一業務系統的表之間存在關聯性(範式建模)，根據對業務表的梳理，確定哪些表和主維度表之間存在關聯關係，並選擇其中的某些表用於生成維度屬性。

隨著互聯網的普及，獲客成本越來越高，這也使得公司對用戶運營提出了更高的要求，不僅需要精細化更需要個性化。解決這一問題的辦法之一就是建立相對完備的標籤系統，而數倉的標籤層對於標籤系統而言就像數據倉庫對於數據系統一樣，有著舉足輕重的地位，這樣的標籤系統需要與業務進行緊密結合， 從業務中獲取養分—用戶標籤，同時也要服務於業務—給用戶提供更加精準和個性的服務 。

底層的標籤系統就像一個索引，層層展示大千世界，而用戶就從這大千世界中不斷選擇一些東西表明自己的身份和喜好，也不斷反哺，使得這個大千世界更加豐富多彩。 其實到最後用戶就是一些標籤的集合。

對跨業務板塊、跨數據域的特定對象進行數據整合，通過統一的ID-Mapping 把各個業務板塊，各個業務過程中 同一對象的數據打通 ，形成對象的全域數據標籤體系，方便深度分析、挖掘、應用。ID-Mapping 可以認為是通過對象的標識對不同數據體系下相同對象進行關聯和識別。對象的標識可以標識一個對象，一般是對象的ID,比如手機號，身份證，登錄賬號

完成對象的ID 打通需要給對象設置一個超級ID,需要根據對象當前業務體系的ID和獲取得到或者計算得到超級ID,進而完成所有業務標識的ID打通一般來說ID打通是建設標籤體系的前提，如果沒有ID打通就無法收集到一個對象的全面信息，也就無法對這個對象進行全面的標籤刻畫。

傳統的計算方法要有 ID-ID之間的兩兩關係，例如郵箱和手機號可以打通，手機號和身份證號可以打通，那麼郵箱就和身份證號可以打通，但是當數據量非常大，且業務板塊非常多的時候，例如有上一個對象，每個對象有數十種ID,這個時候打通就需要非常漫長的計算

那麼什麼是標籤呢，利用原始數據，通過一定的邏輯加工產出直接能被業務所直接使用的、可閱讀的，有價值的數據。標籤類目，是標籤的分類組織方式，是標籤信息的一種結構化描述，目的是管理、查找，一般採用多級類目，一般當一個對象的標籤個數超過50個的時候，業務人員查找標籤就會變得非常麻煩，這個時候我們往往會通過標籤類目進行組織管理

標籤按照產生和計算方式的不同可分為屬性標籤，統計標籤，演算法標籤，關聯標籤。

對象本身的性質就是屬性標籤，例如用戶畫像的時候打到用戶身上的標籤。

對象在業務過程中產生的原子指標，通過不同的計算方法可以生成統計標籤。

對象在多個業務過程中的特徵規律通過一定的演算法產出的標籤。

對象在特定的業務過程會和其他對象關聯，關聯對象的標籤也可以打在主對象上。

我們的標籤一定是針對用戶的，而不是一些虛假、高大上、無用的標籤，一定要真實反映用戶行為喜好的，所以我們不能只依賴人工智慧演算法的分析，來完成對一個用戶標籤的建立與定期維護，我們需要走出去和用戶交互，引導用戶使用，要抓住用戶痛點，及時獲取用戶反饋，形成閉環。

如何引導使用呢？這個方式有很多我們就不再這裡介紹了，後面我們會專門介紹這一層的建設細節。

數據應用層ApplicationDataService面向業務定製的應用數據，主要提供給數據產品和數據分析使用的數據，一般會放在ES，MYSQL，Redis等系統供線上系統使用，也可以放在Hive中供數據分析和數據挖掘使用，或者使用一下其他的大數據工具進行存儲和使用。

數倉層，DIM 層，TDM 層是相對穩定的，所以無法滿足靈活多變業務需求 ，所以這和數倉層的規範和劃分相矛盾，所以我們在此基礎上建立了另外一個層，這就是ADS 層，解決了規劃穩定和靈活多變之間的矛盾。其實到這裡你也就慢慢的看明白了，分層和分類其實沒多大差別，其實就是相似的放在一起，有點代碼重構的意味啊。

數據應用層，按照業務的需要，然後從統一數倉層和DIM進行取數，並面向業務的特殊需求對數據進行加工,以滿足業務和性能的需求。ADS 層因為面向的實眾多的需求，所以這一層沒有太多的規範，只需要按照命名規範來進行就可以了。

前面也說了，ADS 層因為面向的實眾多的需求，所以這一層沒有太多的規範，但是ADS 層的建設是強業務推動的，業務部門需要參與到ADS 的建設中來，至少我們得了解用戶的痛點才能對症施藥啊。

理清需求，了解業務方對數據內容、使用方式(怎麼交互的，報表、介面、即席查詢、在線查詢、指標查詢、搜索)、性能的要求。

盤點現有的數倉表是否可以支持，看以前有沒有類似的需求，有沒有可以復用的介面、報表什麼的。

代碼實現，選擇合適的存儲引擎和查詢引擎，配置線上監控然後交付。

主要是提供數據產品和數據分析的數據，一般會存放在ES、Mysql、也可能直接存儲在hive中或者druid供數據分析和數據挖掘使用。主要 解決部門用戶報表和分析需求 而建立資料庫，數據集市就代表數據倉庫的主題域。

DM 是面向單個主題的，所以它不會從全局考慮進行建設，只專註於自己的數據、往往是某個業務線，例如流量主題、社交主題、電商主題等等。

軟體開發有什麼要求？

零基礎學習java可按照這份大綱來進行學習

——–

第一階段：Java專業基礎課程

———-

階段目標：

熟練掌握Java的開發環境與編程核心知識

2. 熟練運用Java面向對象知識進行程序開發

3. 對Java的核心對象和組件有深入理解

4. 熟練應用JavaAPI相關知識

5. 熟練應用JAVA多線程技術

6. 能綜合運用所學知識完成一個項目

知識點：

1、基本數據類型，運算符，數組，掌握基本數據類型轉換，運算符，流程式控制制。

2、數組，排序演算法，Java常用API，類和對象，了解類與對象，熟悉常用API。

3、面向對象特性，集合框架，熟悉面向對象三大特性，熟練使用集合框架。

4、IO流，多線程。

5、網路協議，線程運用。

——–

———

第二階段：JavaWEB核心課程

階段目標:

1. 熟練掌握資料庫和MySQL核心技術

2. 深入理解JDBC與DAO資料庫操作

3. 熟練運用JSP及Servlet技術完成網站後台開發

4. 深入理解緩存，連接池，註解，反射，泛型等知識

5. 能夠運用所學知識完成自定義框架

知識點：

1、資料庫知識，範式，MySQL配置，命令，建庫建表，數據的增刪改查，約束，視圖，存儲過程，函數，觸發器，事務，游標，建模工具。

2、深入理解資料庫管理系統通用知識及MySQL資料庫的使用與管理。為Java後台開發打下堅實基礎。Web頁面元素，布局，CSS樣式，盒模型，JavaScript，jQuery。

3、掌握前端開發技術，掌握jQuery。

4、Servlet，EL表達式，會話跟蹤技術，過濾器，FreeMarker。

5、掌握Servlet相關技術，利用Servlet，JSP相關應用技術和DAO完成B/S架構下的應用開發。

6、泛型，反射，註解。

7、掌握JAVA高級應用，利用泛型，註解，枚舉完成自己的CRUD框架開發為後續框架學習做鋪墊。

8、單點登錄，支付功能，項目整合，分頁封裝熟練運用JSP及Servlet核心知識完成項目實戰。

———

第三階段：JavaEE框架課程

階段目標：

1. 熟練運用Linux操作系統常見命令及完成環境部署和Nginx伺服器的配置

2. 熟練運用JavaEE三大核心框架：Spring,SpringMVC,MyBatis

3. 熟練運用Maven,並使用SpringBoot進行快速框架搭建

4. 深入理解框架的實現原理，Java底層技術，企業級應用等

5. 使用Shiro,Ztree和Spring,SpringMVC,Mybaits完成企業項目

知識點：

——-

1、Linux安裝配置，文件目錄操作，VI命令，管理，用戶與許可權，環境部署，Struts2概述，hiberante概述。

2、Linux作為一個主流的伺服器操作系統，是每一個開發工程師必須掌握的重點技術，並且能夠熟練運用。

3、SSH的整合,MyBatis,SpringMVC,Maven的使用。

4、了解AOP原理，了解中央控制器原理，掌握MyBatis框架，掌握SSM框架的整合。

5、Shiro,Ztree，項目文檔，項目規範，需求分析，原型圖設計，資料庫設計，工程構建，需求評審，配置管理，BUG修復，項目管理等。

6、獨立自主完成一個中小型的企業級綜合項目的設計和整體架構的原型和建模。獨立自主完成一個大型的企業級綜合項目，並具備商業價值