web-dev-qa-db-ja.com

PandasデータフレームをDaskデータフレームに変換

pandasのデータフレームがあるとします：

df=pd.DataFrame({'a':[1,2,3],'b':[4,5,6]})

nameおよびdivisionsパラメーターは、次のもので構成する必要があります。

from dask import dataframe as dd 
sd=dd.DataFrame(df.to_dict(),divisions=1,meta=pd.DataFrame(columns=df.columns,index=df.index))

TypeError：init（）必須の位置引数が1つありません： 'name'

編集：pandasのようなデータフレームを作成するとします：

pd.DataFrame({'a':[1,2,3],'b':[4,5,6]})

同様に、name,divisionsおよびmetaの3つの追加引数が必要なため、ダスクデータフレームを作成する方法。

sd=dd.Dataframe({'a':[1,2,3],'b':[4,5,6]},name=,meta=,divisions=)

お返事ありがとうございます。

pythonpandasdataframedata-conversiondask
17
rey

dask.dataframe.from_pandas ：

from dask import dataframe as dd 
sd = dd.from_pandas(df, npartitions=3)
print (sd)
dd.DataFrame<from_pa..., npartitions=2, divisions=(0, 1, 2)>

編集：

ソリューション ：

import pandas as pd
import dask.dataframe as dd
from dask.dataframe.utils import make_meta

df=pd.DataFrame({'a':[1,2,3],'b':[4,5,6]})

dsk = {('x', 0): df}

meta = make_meta({'a': 'i8', 'b': 'i8'}, index=pd.Index([], 'i8'))
d = dd.DataFrame(dsk, name='x', meta=meta, divisions=[0, 1, 2])
print (d)
dd.DataFrame<x, npartitions=2, divisions=(0, 1, 2)>
29
jezrael