redshiftデータ読み込みで不良レコードをスキップする

Question

次のコマンドを使用してAWS redshiftにデータをロードしようとしています

copy venue from 's3://mybucket/venue'
credentials 'aws_access_key_id=<access-key-id>;aws_secret_access_key=<secret-access-key>'
delimiter '\t';

しかし、データの読み込みに失敗しました。その特定の読み込みについてクエリセクションを確認したところ、「Bad UTF8 hex sequence：a4（error 3）」が原因で失敗したことに気付きました。

Redshiftへのデータロードで不良レコードをスキップする方法はありますか？

Answer 1

はい、maxerrorパラメータを使用できます。この例では、最大250の不良レコードをスキップできます（エラーはstl_load_errorsに書き込まれます）。

copy venue from 's3://mybucket/venue' credentials 'aws_access_key_id=;aws_secret_access_key=' delimiter '\t' maxerror as 250;