web-dev-qa-db-ja.com

Rの並列foreachの共有メモリ

問題の説明：

RAMメモリにロードされた大きな行列cがあります。私の目標は、並列処理を介してそれに読み取り専用のアクセス権を与えることです。ただし、接続を作成するときは、doSNOW、doMPI、big.matrixなど、RAMの使用量は劇的に増加します。

すべてのデータのローカルコピーを作成せずに、すべてのプロセスが読み取り可能な共有メモリを適切に作成する方法はありますか？

例：

libs<-function(libraries){# Installs missing libraries and then load them
  for (lib in libraries){
    if( !is.element(lib, .packages(all.available = TRUE)) ) {
      install.packages(lib)
    }
    library(lib,character.only = TRUE)
  }
}

libra<-list("foreach","parallel","doSNOW","bigmemory")
libs(libra)

#create a matrix of size 1GB aproximatelly
c<-matrix(runif(10000^2),10000,10000)
#convert it to bigmatrix
x<-as.big.matrix(c)
# get a description of the matrix
mdesc <- describe(x)
# Create the required connections    
cl <- makeCluster(detectCores ())
registerDoSNOW(cl)
out<-foreach(linID = 1:10, .combine=c) %dopar% {
  #load bigmemory
  require(bigmemory)
  # attach the matrix via shared memory??
  m <- attach.big.matrix(mdesc)
  #dummy expression to test data aquisition
  c<-m[1,1]
}
closeAllConnections()

羊： - Ram usage during <code>foreach</code> 上の画像では、foreachが終了して解放されるまで、メモリが大幅に増加する場合があります。

rforeachparallel-processingr-bigmemory
24
Stanislav

この問題の解決策は、foreachパッケージの作成者であるSteve Westonの投稿 here からわかると思います。そこで彼は述べています：

DoParallelパッケージは、foreachループで参照されるワーカーに変数を自動エクスポートします。

だから問題はあなたのコードであなたの大きな行列cが割り当てc<-m[1,1]で参照されていることだと思います。代わりにxyz <- m[1,1]を試して、何が起こるかを確認してください。

以下は、ファイルを利用したbig.matrixの例です。

#create a matrix of size 1GB aproximatelly
n <- 10000
m <- 10000
c <- matrix(runif(n*m),n,m)
#convert it to bigmatrix
x <- as.big.matrix(x = c, type = "double", 
                 separated = FALSE, 
                 backingfile = "example.bin", 
                 descriptorfile = "example.desc")
# get a description of the matrix
mdesc <- describe(x)
# Create the required connections    
cl <- makeCluster(detectCores ())
registerDoSNOW(cl)
## 1) No referencing
out <- foreach(linID = 1:4, .combine=c) %dopar% {
  t <- attach.big.matrix("example.desc")
  for (i in seq_len(30L)) {
    for (j in seq_len(m)) {
      y <- t[i,j]
    }
  }
  return(0L)
}

enter image description here

## 2) Referencing
out <- foreach(linID = 1:4, .combine=c) %dopar% {
  invisible(c) ## c is referenced and thus exported to workers
  t <- attach.big.matrix("example.desc")
  for (i in seq_len(30L)) {
    for (j in seq_len(m)) {
      y <- t[i,j]
    }
  }
  return(0L)
}
closeAllConnections()

enter image description here

14
NoBackingDown

または、Linux/Macを使用していて、CoW共有メモリが必要な場合は、フォークを使用します。最初にすべてのデータをメインスレッドに読み込み、次にmcparallelパッケージから一般関数parallelを使用して作業スレッド（フォーク）を起動します。

次のように、mccollectを使用して、またはRdsmライブラリを使用して本当に共有されたメモリを使用して、結果を収集できます。

library(parallel)
library(bigmemory) #for shared variables
shared<-bigmemory::big.matrix(nrow = size, ncol = 1, type = 'double')
shared[1]<-1 #Init shared memory with some number

job<-mcparallel({shared[1]<-23}) #...change it in another forked thread
shared[1,1] #...and confirm that it gets changed
# [1] 23

書き込みを遅らせると、値が実際にbackgruoundで更新されることを確認できます。

fn<-function()
{
  Sys.sleep(1) #One second delay
  shared[1]<-11
}

job<-mcparallel(fn())
shared[1] #Execute immediately after last command
# [1] 23
aaa[1,1] #Execute after one second
# [1] 11
mccollect() #To destroy all forked processes (and possibly collect their output)

並行性を制御し、競合状態を回避するには、ロックを使用します。

library(synchronicity) #for locks
m<-boost.mutex() #Lets create a mutex "m"

bad.incr<-function() #This function doesn't protect the shared resource with locks:
{
  a<-shared[1]
  Sys.sleep(1)
  shared[1]<-a+1
}

good.incr<-function()
{
  lock(m)
  a<-shared[1]
  Sys.sleep(1)
  shared[1]<-a+1
  unlock(m)
}

shared[1]<-1
for (i in 1:5) job<-mcparallel(bad.incr())
shared[1] #You can verify, that the value didn't get increased 5 times due to race conditions

mccollect() #To clear all threads, not to get the values
shared[1]<-1
for (i in 1:5) job<-mcparallel(good.incr())
shared[1] #As expected, eventualy after 5 seconds of waiting you get the 6
#[1] 6 

mccollect()

編集：

Rdsm::mgrmakevarをbigmemory::big.matrixに交換することで、依存関係を少し簡略化しました。とにかくmgrmakevarは内部的にbig.matrixを呼び出します。これ以上何も必要ありません。

4
Adam Ryczkowski