lambda架構詳解

一、lambda架構是什麼

lambda架構是一種具有橫向擴展性能，用於構建大規模、分布式、實時數據處理系統的架構。該架構基於對數據處理管道的分層，以實現高效和低延遲的數據處理。此架構使大型公司能夠在數據湖中處理大量實時和歷史數據，以便針對大規模分析提供有價值的見解。

二、lambda架構有哪幾層

lambda架構包含如下幾個層次：

1、批處理層(又稱為batch layer)：從數據源進行持久性和可擴展性的存儲原始數據，同時還會執行數據特徵提取、加工和批量處理數據的任務。

2、實時處理層(又稱為speed layer)：對實時數據進行流式處理，並實時提供服務。由於其針對實時數據的性質，該層不需要存儲數據；只是臨時地存儲最近的數據，以提供操作員所需要的查詢結果。

3、服務層(又稱查詢層)：用於查詢處理pipeline結果，並整合批處理層和實時處理層的結果以供前端使用。

三、lambda架構常用嗎

lambda架構是當前分布式數據處理的主要架構之一。因為它使用分層處理方式，結構清晰，對數據的處理效率高，同時還提供了容錯機制，使其能夠應對高級應用和大數據處理的需求。

四、lambda架構已死

近年來，隨着對數據實時性要求更高的場景增多，lambda架構面臨一些限制性因素。因此，有些人認為它在某些實時處理場景下已經不再適用，取而代之的是更兼容實時數據處理的Kappa架構。

但是， lambda架構的應用範圍並沒有消失，它仍然被大量公司用於大規模、分布式的批處理和實時數據處理需求中。

五、lambda架構優缺點

lambda架構的優點：

1、分層結構，每一層都具有不同的特性，能夠滿足多樣化的數據處理需求。

2、高擴展性，能夠處理大規模、分散的數據流，並且對實時處理具有很好的處理能力和容錯性。

3、易於擴展、修改和部署。

4、對數據格式、質量和一致性的支持較好。

lambda架構的缺點：

1、在數據處理流程中構建三個層可能比較繁瑣。

2、需要具有大量的硬件資源、網絡和技術人員才能實施。

3、實時處理層對即時流數據具有一定局限性。

六、lambda表達式寫法

lambda表達式是一個匿名函數，使得在函數式編程中的成本比較低。以下lambda表達式演示的是在java8中實現Lambda的方式。Lambda通常可以替換成匿名內部類的形式，但Lambda更短。

public static void main(String[] args) {
    List<String> list = new ArrayList<>();
    list.add("apple");
    list.add("orange");
    list.add("banana");
    list.add("melon");
    list.add("watermelon");

    // lambda表達式1，打印每個元素
    list.forEach(item -> System.out.println("fruit: " + item));

    // lambda表達式2，打印每個元素的長度
    list.forEach(item -> System.out.println("length of " + item + " is " + item.length()));
}

七、lambda架構是什麼意思

lambda架構的lambda是來源於lambda表達式的概念，lambda表達式是一種表達式語法，用於定義匿名函數（函數不需要名稱，但可以有參數列表、函數體和返回類型）。這種lambda表達式作為核心，被應用於數據處理領域，構成了lambda架構。

八、lambda架構常用部件

lambda架構最常用的部件分別是：

1、Kafka和Storm，它們作為lambda架構中最重要的組件，負責接收和處理流數據，Kafka作為消息隊列任務，並將數據寫入到批處理層中。Storm則負責實時處理和流媒體操作。

2、Hadoop和Spark， 這兩個部件作為兩個重要的批處理數據平台。

3、HBase和Cassandra，用於實時層和速度層的數據存儲，這兩個部件具有高容錯性和高可用性。