web-dev-qa-db-ja.com

numpy配列で同じ値のシーケンスの長さを見つける（ランレングスエンコーディング）

Pylabプログラム（おそらくmatlabプログラムでもかまいません）には、距離を表す数字の配列があります：_d[t]_は距離時間t（そして私のデータのタイムスパンはlen(d)時間単位です）。

私が興味を持っているイベントは、距離が特定のしきい値を下回っているときであり、これらのイベントの期間を計算したいと思います。 _b = d<threshold_を使用してブール値の配列を取得するのは簡単です。問題は、b内のTrueのみの単語の長さのシーケンスを計算することにあります。しかし、それを効率的に行う方法（つまり、numpyプリミティブを使用する方法）がわからないため、配列をウォークして手動の変更検出を行うことにしました（つまり、値がFalseからTrueになったときにカウンターを初期化し、値がTrueである限りカウンターを増やします） 、値がFalseに戻ったときに、カウンターをシーケンスに出力します）。しかし、これは非常に遅いです。

Numpy配列でその種のシーケンスを効率的に検出するにはどうすればよいですか？

以下は私の問題を説明するいくつかのpythonコードです：4番目のドットが表示されるまでに非常に長い時間がかかります（そうでない場合は、配列のサイズを増やしてください）

_from pylab import *

threshold = 7

print '.'
d = 10*Rand(10000000)

print '.'

b = d<threshold

print '.'

durations=[]
for i in xrange(len(b)):
    if b[i] and (i==0 or not b[i-1]):
        counter=1
    if  i>0 and b[i-1] and b[i]:
        counter+=1
    if (b[i-1] and not b[i]) or i==len(b)-1:
        durations.append(counter)

print '.'
_
pythonmatlabnumpymatplotlib
43
Gyom

numpyプリミティブではありませんが、itertools関数は非常に高速であることが多いので、これを試してみてください（もちろん、これを含むさまざまなソリューションの時間を測定してください）。

def runs_of_ones(bits):
  for bit, group in itertools.groupby(bits):
    if bit: yield sum(group)

リストに値が必要な場合は、もちろんlist（runs_of_ones（bits））を使用できます。しかし、リスト内包表記はまだわずかに速いかもしれません：

def runs_of_ones_list(bits):
  return [sum(g) for b, g in itertools.groupby(bits) if b]

「numpy-native」の可能性に移行すると、どうでしょうか。

def runs_of_ones_array(bits):
  # make sure all runs of ones are well-bounded
  bounded = numpy.hstack(([0], bits, [0]))
  # get 1 at run starts and -1 at run ends
  difs = numpy.diff(bounded)
  run_starts, = numpy.where(difs > 0)
  run_ends, = numpy.where(difs < 0)
  return run_ends - run_starts

繰り返しになりますが、現実的な例で、ソリューションを相互にベンチマークするようにしてください。

44
Alex Martelli

あらゆる配列の完全に無数のベクトル化された汎用RLE（文字列、ブール値などでも機能します）。

ランレングス、開始位置、および値のタプルを出力します。

import numpy as np

def rle(inarray):
        """ run length encoding. Partial credit to R rle function. 
            Multi datatype arrays catered for including non Numpy
            returns: Tuple (runlengths, startpositions, values) """
        ia = np.asarray(inarray)                  # force numpy
        n = len(ia)
        if n == 0: 
            return (None, None, None)
        else:
            y = np.array(ia[1:] != ia[:-1])     # pairwise unequal (string safe)
            i = np.append(np.where(y), n - 1)   # must include last element posi
            z = np.diff(np.append(-1, i))       # run lengths
            p = np.cumsum(np.append(0, z))[:-1] # positions
            return(z, p, ia[i])

かなり速い（i7）：

xx = np.random.randint(0, 5, 1000000)
%timeit yy = rle(xx)
100 loops, best of 3: 18.6 ms per loop

複数のデータ型：

rle([True, True, True, False, True, False, False])
Out[8]: 
(array([3, 1, 1, 2]),
 array([0, 3, 4, 5]),
 array([ True, False,  True, False], dtype=bool))

rle(np.array([5, 4, 4, 4, 4, 0, 0]))
Out[9]: (array([1, 4, 2]), array([0, 1, 5]), array([5, 4, 0]))

rle(["hello", "hello", "my", "friend", "okay", "okay", "bye"])
Out[10]: 
(array([2, 1, 1, 2, 1]),
 array([0, 2, 3, 4, 6]),
 array(['hello', 'my', 'friend', 'okay', 'bye'], 
       dtype='|S6'))

上記のAlexMartelliと同じ結果：

xx = np.random.randint(0, 2, 20)

xx
Out[60]: array([1, 1, 1, 1, 0, 0, 1, 1, 1, 1, 1, 0, 1, 1, 0, 1, 1, 1, 1, 1])

am = runs_of_ones_array(xx)

tb = rle(xx)

am
Out[63]: array([4, 5, 2, 5])

tb[0][tb[2] == 1]
Out[64]: array([4, 5, 2, 5])

%timeit runs_of_ones_array(xx)
10000 loops, best of 3: 28.5 µs per loop

%timeit rle(xx)
10000 loops, best of 3: 38.2 µs per loop

アレックスより少し遅い（しかしそれでも非常に速い）、そしてはるかに柔軟です。

40
Thomas Browne

配列のみを使用するソリューションは次のとおりです。一連のboolを含む配列を取得し、遷移の長さをカウントします。

>>> from numpy import array, arange
>>> b = array([0,0,0,1,1,1,0,0,0,1,1,1,1,0,0], dtype=bool)
>>> sw = (b[:-1] ^ b[1:]); print sw
[False False  True False False  True False False  True False False False
  True False]
>>> isw = arange(len(sw))[sw]; print isw
[ 2  5  8 12]
>>> lens = isw[1::2] - isw[::2]; print lens
[3 4]

swにはスイッチがある場合はtrueが含まれ、iswはそれらをインデックスに変換します。次に、iswの項目がlensでペアごとに減算されます。

シーケンスが1で始まっている場合は、0のシーケンスの長さをカウントすることに注意してください。これは、レンズを計算するためのインデックス付けで修正できます。また、長さ1のシーケンスなどのコーナーケースはテストしていません。

すべてのTrue-サブ配列の開始位置と長さを返す完全な関数。

import numpy as np

def count_adjacent_true(arr):
    assert len(arr.shape) == 1
    assert arr.dtype == np.bool
    if arr.size == 0:
        return np.empty(0, dtype=int), np.empty(0, dtype=int)
    sw = np.insert(arr[1:] ^ arr[:-1], [0, arr.shape[0]-1], values=True)
    swi = np.arange(sw.shape[0])[sw]
    offset = 0 if arr[0] else 1
    lengths = swi[offset+1::2] - swi[offset:-1:2]
    return swi[offset:-1:2], lengths

さまざまなブール1D配列（空の配列、単一/複数の要素、偶数/奇数の長さ、True/Falseで始まる、True/False要素）。

8
piro

誰かが興味を持っている場合に備えて（そしてあなたがMATLABについて言及したので）、MATLABでそれを解決する1つの方法があります：

threshold = 7;
d = 10*Rand(1,100000);  % Sample data
b = diff([false (d < threshold) false]);
durations = find(b == -1)-find(b == 1);

私はPythonにあまり詳しくありませんが、これはあなたにいくつかのアイデアを与えるのに役立つかもしれません。 =）

6
gnovice
durations = []
counter   = 0

for bool in b:
    if bool:
        counter += 1
    Elif counter > 0:
        durations.append(counter)
        counter = 0

if counter > 0:
    durations.append(counter)
0
John Kugelman