web-dev-qa-db-ja.com

Python 3 UnicodeDecodeError-UnicodeDecodeErrorをデバッグするにはどうすればよいですか？

出版社（米国証券取引委員会）がUTF-8でエンコードされていると主張するテキストファイルがあります（ https://www.sec.gov/files/aqfs.pdf 、セクション4）。私は次のコードで行を処理しています：

def tags(filename):
    """Yield Tag instances from tag.txt."""
    with codecs.open(filename, 'r', encoding='utf-8', errors='strict') as f:
        fields = f.readline().strip().split('\t')
        for line in f.readlines():
            yield process_tag_record(fields, line)

次のエラーが表示されます。

Traceback (most recent call last):
  File "/home/randm/Projects/finance/secxbrl.py", line 151, in <module>
    main()
  File "/home/randm/Projects/finance/secxbrl.py", line 143, in main
    all_tags = list(tags("tag.txt"))
  File "/home/randm/Projects/finance/secxbrl.py", line 109, in tags
    content = f.read()
  File "/home/randm/Libraries/anaconda3/lib/python3.6/codecs.py", line 698, in read
    return self.reader.read(size)
  File "/home/randm/Libraries/anaconda3/lib/python3.6/codecs.py", line 501, in read
    newchars, decodedbytes = self.decode(data, self.errors)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xad in position 3583587: invalid start byte

おそらくSECに戻って、UTF-8でエンコードされていないように見えるファイルがあることを伝えることができないとすると、このエラーをデバッグしてキャッチするにはどうすればよいですか？

何を試しましたか

ファイルの16進ダンプを実行したところ、問題のテキストが「現金以外の投資の補足開示」というテキストであることがわかりました。問題のあるバイトを16進コードポイント（つまり、「U + 00AD」）としてデコードする場合、それはソフトハイフンであるため、コンテキストでは意味があります。しかし、以下は機能していないようです。

Python 3.5.2 (default, Nov 17 2016, 17:05:23) 
[GCC 5.4.0 20160609] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> b"\x41".decode("utf-8")
'A'
>>> b"\xad".decode("utf-8")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'utf-8' codec cant decode byte 0xad in position 0: invalid start byte
>>> b"\xc2ad".decode("utf-8")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'utf-8' codec cant decode byte 0xc2 in position 0: invalid continuation byte

errors='replace'を使用しました。これは合格のようです。しかし、それをデータベースに挿入しようとするとどうなるかを理解したいと思います。

Hexdumpを追加するために編集：

0036ae40  31 09 09 09 09 53 55 50  50 4c 45 4d 45 4e 54 41  |1....SUPPLEMENTA|
0036ae50  4c 20 44 49 53 43 4c 4f  53 55 52 45 20 4f 46 20  |L DISCLOSURE OF |
0036ae60  4e 4f 4e ad 43 41 53 48  20 49 4e 56 45 53 54 49  |NON.CASH INVESTI|
0036ae70  4e 47 20 41 4e 44 20 46  49 4e 41 4e 43 49 4e 47  |NG AND FINANCING|
0036ae80  20 41 43 54 49 56 49 54  49 45 53 3a 09 0a 50 72  | ACTIVITIES:..Pr|
pythonpython-3.xunicodeutf-8character-encoding
6
MikeRand

破損したデータファイルがあります。その文字が実際に + 00AD SOFT HYPHEN であることが意図されている場合は、0xC2バイトが欠落しています。

_>>> '\u00ad'.encode('utf8')
b'\xc2\xad'
_

0xADで終わる可能性のあるすべてのUTF-8エンコーディングの中で、ソフトハイフンが最も理にかなっています。ただし、mayに他のバイトが欠落している可能性があることをデータセットが示しています。あなたはたまたま重要なものにぶつかった。

このデータセットのソースに戻り、ダウンロード時にファイルが破損していないことを確認します。それ以外の場合は、区切り文字（タブ、改行など）が欠落していない限り、_error='replace'_を使用することが実行可能な回避策です。

もう1つの可能性は、SECが実際にファイルにdifferentエンコーディングを使用していることです。たとえば、Windows Codepage 1252およびLatin-1では、_0xAD_はソフトハイフンの正しいエンコーディングです。実際、 同じデータセットを直接ダウンロード（警告、大きなZipファイルがリンクされています） 、_tags.txt_を開くと、データをUTF-8としてデコードできません。

_>>> open('/tmp/2017q1/tag.txt', encoding='utf8').read()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/.../lib/python3.6/codecs.py", line 321, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xad in position 3583587: invalid start byte
>>> from pprint import pprint
>>> f = open('/tmp/2017q1/tag.txt', 'rb')
>>> f.seek(3583550)
3583550
>>> pprint(f.read(100))
(b'1\t1\t\t\t\tSUPPLEMENTAL DISCLOSURE OF NON\xadCASH INVESTING AND FINANCING A'
 b'CTIVITIES:\t\nProceedsFromSaleOfIn')
_

ファイルには、このような非ASCII文字が2つあります。

_>>> f.seek(0)
0
>>> pprint([l for l in f if any(b > 127 for b in l)])
[b'SupplementalDisclosureOfNoncashInvestingAndFinancingActivitiesAbstract\t0'
 b'001654954-17-000551\t1\t1\t\t\t\tSUPPLEMENTAL DISCLOSURE OF NON\xadCASH I'
 b'NVESTING AND FINANCING ACTIVITIES:\t\n',
 b'HotelKranichhheMember\t0001558370-17-001446\t1\t0\tmember\tD\t\tHotel Krani'
 b'chhhe [Member]\tRepresents information pertaining to Hotel Kranichh\xf6h'
 b'e.\n']
_

ラテン語-1としてデコードされた_Hotel Kranichh\xf6he_は HotelKranichhöhe です。

ファイルには、0xC1/0xD1のペアもいくつかあります。

_>>> f.seek(0)
0
>>> quotes = [l for l in f if any(b in {0x1C, 0x1D} for b in l)]
>>> quotes[0].split(b'\t')[-1][50:130]
b'Temporary Payroll Tax Cut Continuation Act of 2011 (\x1cTCCA\x1d) recognized during th'
>>> quotes[1].split(b'\t')[-1][50:130]
b'ributory defined benefit pension plan (the \x1cAetna Pension Plan\x1d) to allow certai'
_

私はそれらが本当に + 201C LEFT DOUBLE QUOTATION MARK および + 201D RIGHT DOUBLE QUOTATION MARK 文字であると確信しています。 _1C_と_1D_の部分に注意してください。エンコーダーがUTF-16を取得し、UTF-8に適切にエンコードするのではなく、すべての上位バイトを削除したように感じます。

_'\u201C\u201D'_を_b'\x1C\x1D'_にエンコードするPythonで出荷されるコーデックはないため、SECがエンコードプロセスをどこかで失敗させた可能性が高くなります。実際、おそらくenおよびemダッシュである0x13および0x14文字もあります（ + 201 および + 2014 ）、およびほぼ確実に一重引用符である0x19バイト（ + 2019 ）。図を完成させるために欠落しているのは、表す0x18バイトだけです。 + 2018 。

エンコーディングが壊れていると想定した場合、修復を試みることができます。次のコードは、残りのデータが引用符以外のLatin-1以外の文字を使用していないと仮定して、ファイルを読み取り、引用符の問題を修正します。

__map = {
    # dashes
    0x13: '\u2013', 0x14: '\u2014',
    # single quotes
    0x18: '\u2018', 0x19: '\u2019',
    # double quotes
    0x1c: '\u201c', 0x1d: '\u201d',
}
def repair(line, _map=_map):
    """Repair mis-encoded SEC data. Assumes line was decoded as Latin-1"""
    return line.translate(_map)
_

次に、それを読んだ行に適用します。

_with open(filename, 'r', encoding='latin-1') as f:
    repaired = map(repair, f)
    fields = next(repaired).strip().split('\t')
    for line in repaired:
        yield process_tag_record(fields, line)
_

これとは別に、投稿されたコードに対処することで、Pythonが必要以上に機能するようになります。codecs.open();は使用しないでください。これは、既知の問題があり、より遅いレガシーコードです。新しいPython 3 I/Oレイヤー。open()を使用するだけです。f.readlines()は使用しないでください。ファイル全体を読み込む必要はありません。ここにリストがあります。ファイルを直接繰り返します。

_def tags(filename):
    """Yield Tag instances from tag.txt."""
    with open(filename, 'r', encoding='utf-8', errors='strict') as f:
        fields = next(f).strip().split('\t')
        for line in f:
            yield process_tag_record(fields, line)
_

_process_tag_record_もタブで分割される場合は、csv.reader()オブジェクトを使用し、各行を手動で分割しないようにします。

_import csv

def tags(filename):
    """Yield Tag instances from tag.txt."""
    with open(filename, 'r', encoding='utf-8', errors='strict') as f:
        reader = csv.reader(f, delimiter='\t')
        fields = next(reader)
        for row in reader:
            yield process_tag_record(fields, row)
_

_process_tag_record_がfieldsリストとrowの値を組み合わせて辞書を作成する場合は、代わりにcsv.DictReader()を使用してください。

_def tags(filename):
    """Yield Tag instances from tag.txt."""
    with open(filename, 'r', encoding='utf-8', errors='strict') as f:
        reader = csv.DictReader(f, delimiter='\t')
        # first row is used as keys for the dictionary, no need to read fields manually.
        yield from reader
_
8
Martijn Pieters