web-dev-qa-db-ja.com

文字列バイトエンコーディングを検出する方法は？

os.listdir()によって読み込まれるファイル名は約1000個あり、それらの一部はUTF8でエンコードされ、一部はCP1252です。

スクリプトでさらに処理するために、すべてをUnicodeにデコードします。ソースエンコーディングをユニコードに正しくデコードする方法はありますか？

例：

for item in os.listdir(rootPath):

    #Convert to Unicode
    if isinstance(item, str):
        item = item.decode('cp1252')  # or item = item.decode('utf-8')
    print item
pythonstringunicodeencodingbyte
30
Phil

ファイルがcp1252およびutf-8、それから簡単な方法があります。

import logging
def force_decode(string, codecs=['utf8', 'cp1252']):
    for i in codecs:
        try:
            return string.decode(i)
        except UnicodeDecodeError:
            pass

    logging.warn("cannot decode url %s" % ([string]))

for item in os.listdir(rootPath):
    #Convert to Unicode
    if isinstance(item, str):
        item = force_decode(item)
    print item

それ以外の場合は、文字セット検出ライブラリがあります。

Python-文字セットを検出してutf-8に変換

https://pypi.python.org/pypi/chardet

30
lucemia

Chardetライブラリを使用します。超簡単です

import chardet

the_encoding = chardet.detect('your string')['encoding']

以上です！

22
george