web-dev-qa-db-ja.com

Unicode .csvをRに読み込めません

次のデータを含む.csvファイルがあります。

"Ա","Բ"
1,10
2,20

Rに読み込むことができないため、列名がファイル内のように表示されます。

d <- read.csv("./Data/1.csv", fileEncoding="UTF-8")
head(d)

以下を生成します。

> d <- read.csv("./Data/1.csv", fileEncoding="UTF-8")
Warning messages:
1: In read.table(file = file, header = header, sep = sep, quote = quote,  :
  invalid input found on input connection './Data/1.csv'
2: In read.table(file = file, header = header, sep = sep, quote = quote,  :
  incomplete final line found by readTableHeader on './Data/1.csv'
> head(d)
[1] X.
<0 rows> (or 0-length row.names)

一方、fileEncodingを指定せずに同じことを行うと、次のようになります。

> d <- read.csv("./Data/1.csv")
> head(d)
  Ô. Ô²
1  1 10
2  2 20

「ファイル」ユーティリティを実行してファイルのエンコーディングを確認すると、UTF-8と表示されます。

Data\1.csv: UTF-8 Unicode text, with CRLF line terminators

RStudio、Windows 7、Rバージョン2.15.2、32ビットを使用しています。

前もって感謝します。

windowsrcsvutf-8read.table
22
Ando Khachatryan

私は同じ問題についてより長い答えをここに書きました： WindowsのR：文字エンコーディング地獄 。

FileEncodingの代わりにパラメータエンコーディングを使用すると、最初の問題を解決できます。 RStudioのコンソールビューまたはテーブルビューのいずれかで読み取ることはできませんが、数式で使用することはできます。

d <- read.csv("./Data/1.csv", encoding="UTF-8")
head(d)

テーブルをUTF-8ファイルに保存した後：

> test2 <- read.csv("test2.csv", header = FALSE, sep = ",", quote = "\"", dec = ".", fill = TRUE, comment.char = "", encoding = "UTF-8")
Warning message:
In read.table(file = file, header = header, sep = sep, quote = quote,  :
  incomplete final line found by readTableHeader on 'test2.csv'

これにより、コンソールとRStudioビューでの外観がわかります

> test2
        V1       V2
1 <U+0531> <U+0532>
2        1       10
3        2       20

ただし、重要なことに、R内でこれを操作できます。したがって、私の場合、スクリプトウィンドウの入力UTFがUTF-8エンコーディングであり、grepがテーブルでこのエンコーディングを正しく検出していることがわかります。

> Encoding("Ա")
[1] "UTF-8"
> grep("Ա", as.character(test2[1,1]))
[1] 1

設定で機能する適切なエンコーディングバリアントを見つけるか、変更する必要がある場合があります。残念ながら、それがどこで行われるのかわかりません。

あなたはそれをすべての段階できれいにすることができないかもしれませんが、それをWindows 7環境でも動作させることは間違いなく可能です。

11
puslet88

問題を再現するために2つの方法を試しました。

上記の文字をRStudioにコピーし、次のコードでcsvに保存しました。

write.csv(c("Ա","Բ",
             1,10,
             2,20), "test.csv")

df <- read.csv("test.csv")

これはうまくいきました。

次に、RでCSVに保存したときにRが不正行為をしているのではないかと考えました。文字をテキストファイルに貼り付け、CSVとして保存しました。このアプローチにも問題はありません。

これが私のセッション情報です：

sessionInfo()
R version 3.0.1 (2013-05-16)
Platform: x86_64-pc-linux-gnu (64-bit)

locale:
[1] LC_CTYPE=en_CA.UTF-8       LC_NUMERIC=C               LC_TIME=en_CA.UTF-8       
[4] LC_COLLATE=en_CA.UTF-8     LC_MONETARY=en_CA.UTF-8    LC_MESSAGES=en_CA.UTF-8   
[7] LC_PAPER=C                 LC_NAME=C                  LC_ADDRESS=C              
[10] LC_TELEPHONE=C             LC_MEASUREMENT=en_CA.UTF-8 LC_IDENTIFICATION=C       

attached base packages:
[1] stats4    grid      stats     graphics  grDevices utils     datasets  methods   base     

other attached packages:
[1] party_1.0-9       modeltools_0.2-21 strucchange_1.4-7 sandwich_2.2-10   Zoo_1.7-10       
[6] GGally_0.4.4      reshape_0.8.4     plyr_1.8          ggplot2_0.9.3.1  

loaded via a namespace (and not attached):
[1] coin_1.0-23        colorspace_1.2-2   dichromat_2.0-0    digest_0.6.3      
[5] gtable_0.1.2       labeling_0.2       lattice_0.20-23    MASS_7.3-29       
[9] munsell_0.4.2      mvtnorm_0.9-9995   proto_0.3-10       RColorBrewer_1.0-5
[13] reshape2_1.2.2     scales_0.2.3       splines_3.0.1      stringr_0.6.2
0
Statwonk

同じ問題があり、ファイルが破損していることがわかりました。

OpenOfficeでファイルを開き、「UTF8」文字セットを使用してファイルを保存し直し（[フィルター設定の編集]ボックスをクリックする必要があります）、read.csv()（エンコーディングまたはファイルコーディングオプションなし）でインポートしました。大丈夫。

0
Julien Colomb