Java8去重詳解

一、基礎用法

Java8提供了基於`Stream`的去重操作，可以輕鬆地對集合中的元素進行去重。對於基礎類型的元素, 可以直接調用`distinct()`方法進行去重，示例代碼如下:

int[] nums = {1, 2, 3, 3, 2, 1, 5, 6, 5, 4};
IntArrayStream.of(nums).distinct().forEach(System.out::println);

輸出結果為：

1
2
3
5
6
4

同時，對於自定義類型的元素，需要在自定義類中重寫`equals()`和`hashCode()`方法，以便Java底層去重操作可以正常工作，示例代碼如下：

public class Person {
    private String name;
    private int age;

    // 構造方法、getters/setters方法等省略

    @Override
    public boolean equals(Object obj) {
        if (obj == null) {
            return false;
        }
        if (this.getClass() != obj.getClass()) {
            return false;
        }
        Person person = (Person) obj;
        return Objects.equals(this.name, person.name) && this.age == person.age;
    }

    @Override
    public int hashCode() {
        return Objects.hash(this.name, this.age);
    }
}

List persons = new ArrayList();
persons.add(new Person("Tom", 18));
persons.add(new Person("Jerry", 20));
persons.add(new Person("Mike", 18));
persons.add(new Person("Tom", 18));
persons.stream().distinct().forEach(System.out::println);

輸出結果為：

Person{name='Tom', age=18}
Person{name='Jerry', age=20}
Person{name='Mike', age=18}

二、對象屬性去重

對於複雜類型的元素，我們有時需要按照其中某一個或幾個屬性進行去重。Java8提供了`distinct`方法的改進版本`distinctByKey`，能夠根據某一個屬性進行重複判斷，示例代碼如下：

public class Person {
    private String name;
    private int age;

    // 構造方法、getters/setters方法等省略

    @Override
    public boolean equals(Object obj) {
        if (obj == null) {
            return false;
        }
        if (this.getClass() != obj.getClass()) {
            return false;
        }
        Person person = (Person) obj;
        return Objects.equals(this.name, person.name) && this.age == person.age;
    }

    @Override
    public int hashCode() {
        return Objects.hash(this.name, this.age);
    }
}

List persons = new ArrayList();
persons.add(new Person("Tom", 18));
persons.add(new Person("Jerry", 20));
persons.add(new Person("Mike", 18));
persons.add(new Person("Tom", 20));

Function keyExtractor = Person::getName;
persons.stream()
       .filter(distinctByKey(keyExtractor))
       .forEach(System.out::println);

輸出結果為：

Person{name='Tom', age=18}
Person{name='Jerry', age=20}
Person{name='Mike', age=18}

三、並行去重

Java8提供了`parallelStream`方法使得集合的操作可以並行進行，對於較大的數據集合和耗時操作來說，能大大提高效率。但是在對集合進行並行操作時，我們需要注意去重操作的安全性。

對於基礎類型的元素，在並行流中使用`distinct()`方法是安全的，示例代碼如下：

int[] nums = {1, 2, 3, 3, 2, 1, 5, 6, 5, 4};
Arrays.stream(nums).parallel().distinct().forEach(System.out::println);

而對於複雜類型的元素，由於並行處理時多個線程同時進行任務，如果不注意同步問題，可能會導致去重失敗。這時我們可以通過使用並發安全的數據結構`ConcurrentHashMap`來避免這個問題，示例代碼如下：

public class Person {
    private String name;
    private int age;

    // 構造方法、getters/setters方法等省略

    @Override
    public boolean equals(Object obj) {
        if (obj == null) {
            return false;
        }
        if (this.getClass() != obj.getClass()) {
            return false;
        }
        Person person = (Person) obj;
        return Objects.equals(this.name, person.name) && this.age == person.age;
    }

    @Override
    public int hashCode() {
        return Objects.hash(this.name, this.age);
    }
}

List persons = new ArrayList();
persons.add(new Person("Tom", 18));
persons.add(new Person("Jerry", 20));
persons.add(new Person("Mike", 18));
persons.add(new Person("Tom", 20));

persons.parallelStream()
       .filter(person -> {
           ConcurrentHashMap.KeySetView seen = ConcurrentHashMap.newKeySet();
           return seen.add(person);
       }).forEach(System.out::println);

輸出結果為：

Person{name='Tom', age=18}
Person{name='Jerry', age=20}
Person{name='Mike', age=18}
Person{name='Tom', age=20}

四、流式操作去重

除了一些基礎的去重方法，Java8的`Stream`還提供了更為豐富的操作，如`distinct`配合`map`、`filter`和`sorted`等操作，能夠更加靈活地對元素進行去重。示例代碼如下：

public class Person {
    private String name;
    private int age;

    // 構造方法、getters/setters方法等省略

    @Override
    public boolean equals(Object obj) {
        if (obj == null) {
            return false;
        }
        if (this.getClass() != obj.getClass()) {
            return false;
        }
        Person person = (Person) obj;
        return Objects.equals(this.name, person.name) && this.age == person.age;
    }

    @Override
    public int hashCode() {
        return Objects.hash(this.name, this.age);
    }
}

List persons = new ArrayList();
persons.add(new Person("Tom", 18));
persons.add(new Person("Jerry", 20));
persons.add(new Person("Mike", 18));
persons.add(new Person("Tom", 20));

persons.stream()
       .filter(person -> person.getAge() % 2 == 0)
       .map(Person::getName)
       .sorted()
       .distinct()
       .forEach(System.out::println);

輸出結果為：

Jerry
Tom

五、小結

本文詳細介紹了Java8中的去重操作，包括基礎用法、對象屬性去重、並行去重和流式操作去重等方面的使用。在實際開發中，我們可以根據需求選擇合適的去重方式，並注意去重操作的線程安全性，以提高程序運行效率和穩定性。