web-dev-qa-db-ja.com

C＃LINQがリストで重複を見つけます

LINQを使用して、List<int>から、2回以上繰り返されたエントリとその値を含むリストを取得する方法を教えてください。

linqlistduplicate-removal
249
Mirko Arcese

問題を解決する最も簡単な方法は、値に基づいて要素をグループ化し、そのグループに複数の要素がある場合はグループの代表を選択することです。 LINQでは、これは次のように変換されます。

var query = lst.GroupBy(x => x)
              .Where(g => g.Count() > 1)
              .Select(y => y.Key)
              .ToList();

要素が繰り返される回数を知りたい場合は、次のものを使用できます。

var query = lst.GroupBy(x => x)
              .Where(g => g.Count() > 1)
              .Select(y => new { Element = y.Key, Counter = y.Count() })
              .ToList();

これは匿名型のListを返し、各要素は必要な情報を取得するためにElementとCounterのプロパティを持ちます。

そして最後に、それがあなたが探している辞書であれば、あなたは使うことができます

var query = lst.GroupBy(x => x)
              .Where(g => g.Count() > 1)
              .ToDictionary(x => x.Key, y => y.Count());

これはあなたの要素をキーとして、そしてそれが値として繰り返された回数を持つ辞書を返します。

426
Save

列挙型に 重複 が含まれているかどうかを調べます。

var anyDuplicate = enumerable.GroupBy(x => x.Key).Any(g => g.Count() > 1);

列挙型内の all の値が unique であるかどうかを調べます。

var allUnique = enumerable.GroupBy(x => x.Key).All(g => g.Count() == 1);
98
maxbeaudoin

別の方法はHashSetを使うことです。

var hash = new HashSet<int>();
var duplicates = list.Where(i => !hash.Add(i));

重複リストに一意の値が必要な場合は、次の手順を実行します。

var myhash = new HashSet<int>();
var mylist = new List<int>(){1,1,2,2,3,3,3,4,4,4};
var duplicates = mylist.Where(item => !myhash.Add(item)).ToList().Distinct().ToList();

これは一般的な拡張方法と同じ解決策です。

public static class Extensions
{
  public static IEnumerable<TSource> GetDuplicates<TSource, TKey>(this IEnumerable<TSource> source, Func<TSource, TKey> selector, IEqualityComparer<TKey> comparer)
  {
    var hash = new HashSet<TKey>(comparer);
    return source.Where(item => !hash.Add(selector(item))).ToList();
  }

  public static IEnumerable<TSource> GetDuplicates<TSource>(this IEnumerable<TSource> source, IEqualityComparer<TSource> comparer)
  {
    return source.GetDuplicates(x => x, comparer);      
  }

  public static IEnumerable<TSource> GetDuplicates<TSource, TKey>(this IEnumerable<TSource> source, Func<TSource, TKey> selector)
  {
    return source.GetDuplicates(selector, null);
  }

  public static IEnumerable<TSource> GetDuplicates<TSource>(this IEnumerable<TSource> source)
  {
    return source.GetDuplicates(x => x, null);
  }
}
19
HuBeZa

あなたはこれを行うことができます：

var list = new[] {1,2,3,1,4,2};
var duplicateItems = list.Duplicates();

これらの拡張方法では：

public static class Extensions
{
    public static IEnumerable<TSource> Duplicates<TSource, TKey>(this IEnumerable<TSource> source, Func<TSource, TKey> selector)
    {
        var grouped = source.GroupBy(selector);
        var moreThan1 = grouped.Where(i => i.IsMultiple());
        return moreThan1.SelectMany(i => i);
    }

    public static IEnumerable<TSource> Duplicates<TSource, TKey>(this IEnumerable<TSource> source)
    {
        return source.Duplicates(i => i);
    }

    public static bool IsMultiple<T>(this IEnumerable<T> source)
    {
        var enumerator = source.GetEnumerator();
        return enumerator.MoveNext() && enumerator.MoveNext();
    }
}

DuplicatesメソッドでIsMultiple（）を使用すると、コレクション全体が反復されないため、Count（）よりも高速です。

10
Alex Siepman

これに対応するための拡張を作成しました。プロジェクトに含めることができます。これは、ListまたはLinqで重複を検索するときにほとんどの場合に返されると思います。

例：

//Dummy class to compare in list
public class Person
{
    public int Id { get; set; }
    public string Name { get; set; }
    public string Surname { get; set; }
    public Person(int id, string name, string surname)
    {
        this.Id = id;
        this.Name = name;
        this.Surname = surname;
    }
}


//The extention static class
public static class Extention
{
    public static IEnumerable<T> getMoreThanOnceRepeated<T>(this IEnumerable<T> extList, Func<T, object> groupProps) where T : class
    { //Return only the second and next reptition
        return extList
            .GroupBy(groupProps)
            .SelectMany(z => z.Skip(1)); //Skip the first occur and return all the others that repeats
    }
    public static IEnumerable<T> getAllRepeated<T>(this IEnumerable<T> extList, Func<T, object> groupProps) where T : class
    {
        //Get All the lines that has repeating
        return extList
            .GroupBy(groupProps)
            .Where(z => z.Count() > 1) //Filter only the distinct one
            .SelectMany(z => z);//All in where has to be retuned
    }
}

//how to use it:
void DuplicateExample()
{
    //Populate List
    List<Person> PersonsLst = new List<Person>(){
    new Person(1,"Ricardo","Figueiredo"), //fist Duplicate to the example
    new Person(2,"Ana","Figueiredo"),
    new Person(3,"Ricardo","Figueiredo"),//second Duplicate to the example
    new Person(4,"Margarida","Figueiredo"),
    new Person(5,"Ricardo","Figueiredo")//third Duplicate to the example
    };

    Console.WriteLine("All:");
    PersonsLst.ForEach(z => Console.WriteLine("{0} -> {1} {2}", z.Id, z.Name, z.Surname));
    /* OUTPUT:
        All:
        1 -> Ricardo Figueiredo
        2 -> Ana Figueiredo
        3 -> Ricardo Figueiredo
        4 -> Margarida Figueiredo
        5 -> Ricardo Figueiredo
        */

    Console.WriteLine("All lines with repeated data");
    PersonsLst.getAllRepeated(z => new { z.Name, z.Surname })
        .ToList()
        .ForEach(z => Console.WriteLine("{0} -> {1} {2}", z.Id, z.Name, z.Surname));
    /* OUTPUT:
        All lines with repeated data
        1 -> Ricardo Figueiredo
        3 -> Ricardo Figueiredo
        5 -> Ricardo Figueiredo
        */
    Console.WriteLine("Only Repeated more than once");
    PersonsLst.getMoreThanOnceRepeated(z => new { z.Name, z.Surname })
        .ToList()
        .ForEach(z => Console.WriteLine("{0} -> {1} {2}", z.Id, z.Name, z.Surname));
    /* OUTPUT:
        Only Repeated more than once
        3 -> Ricardo Figueiredo
        5 -> Ricardo Figueiredo
        */
}
6
Ricardo Figueiredo

重複した値だけを見つけるには： 

var duplicates = list.GroupBy(x => x.Key).Any(g => g.Count() > 1);

例えば。 var list = new [] {1,2,3,1,4,2};

そのため、group byはそれらのキーで番号をグループ化し、それを使ってカウント（繰り返し回数）を維持します。その後、私たちはただ何度も繰り返した値をチェックしているだけです。

固有値のみを検索するには： 

var unique = list.GroupBy(x => x.Key).All(g => g.Count() == 1);

例えば。 var list = new [] {1,2,3,1,4,2};

そのため、group byはそれらのキーで番号をグループ化し、それを使ってカウント（繰り返し回数）を維持します。その後は、一度だけ繰り返した値が一意であることを確認しています。

2
LAV VISHWAKARMA

MS SQL Serverでチェックされた重複機能のSQL拡張へのLinqの完全なセット。 .ToList（）またはIEnumerableを使用せずに。 これらのクエリはメモリではなくSQL Serverで実行されます。 。結果はメモリに戻るだけです。

public static class Linq2SqlExtensions {

    public class CountOfT<T> {
        public T Key { get; set; }
        public int Count { get; set; }
    }

    public static IQueryable<TKey> Duplicates<TSource, TKey>(this IQueryable<TSource> source, Expression<Func<TSource, TKey>> groupBy)
        => source.GroupBy(groupBy).Where(w => w.Count() > 1).Select(s => s.Key);

    public static IQueryable<TSource> GetDuplicates<TSource, TKey>(this IQueryable<TSource> source, Expression<Func<TSource, TKey>> groupBy)
        => source.GroupBy(groupBy).Where(w => w.Count() > 1).SelectMany(s => s);

    public static IQueryable<CountOfT<TKey>> DuplicatesCounts<TSource, TKey>(this IQueryable<TSource> source, Expression<Func<TSource, TKey>> groupBy)
        => source.GroupBy(groupBy).Where(w => w.Count() > 1).Select(y => new CountOfT<TKey> { Key = y.Key, Count = y.Count() });

    public static IQueryable<Tuple<TKey, int>> DuplicatesCountsAsTuble<TSource, TKey>(this IQueryable<TSource> source, Expression<Func<TSource, TKey>> groupBy)
        => source.GroupBy(groupBy).Where(w => w.Count() > 1).Select(s => Tuple.Create(s.Key, s.Count()));
}
1
GeoB