web-dev-qa-db-ja.com

UTF-8テキストで、UTF-8としてエスケープシーケンスとして保存

サンプルコード：

>>> import json
>>> json_string = json.dumps("ברי צקלה")
>>> print json_string
"\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4"

問題は、人間が読めないことです。私の（賢い）ユーザーは、JSONダンプを使ってテキストファイルを検証したり編集したりしたいと思います。 （そして私はむしろXMLを使用したくない）

オブジェクトを（\ uXXXXではなく）UTF-8 JSON文字列にシリアル化する方法はありますか？

これは役に立ちません：

>>> output = json_string.decode('string-escape')
"\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4"

これは は動作しますが、 サブオブジェクトがpython-unicodeでutf-8ではない場合、ゴミを捨てます：

>>> #### ok:
>>> s= json.dumps( "ברי צקלה", ensure_ascii=False)    
>>> print json.loads(s)   
ברי צקלה

>>> #### NOT ok:
>>> d={ 1: "ברי צקלה", 2: u"ברי צקלה" }
>>> print d
{1: '\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94', 
 2: u'\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94'}
>>> s = json.dumps( d, ensure_ascii=False, encoding='utf8')
>>> print json.loads(s)['1']
ברי צקלה
>>> print json.loads(s)['2']
××¨× ×¦×§××
pythonjsonunicodeutf-8escaping
329
Berry Tsakala

ensure_ascii=Falseスイッチを使用してjson.dumps()にしてから、手動で値をUTF-8にエンコードします。

>>> json_string = json.dumps(u"ברי צקלה", ensure_ascii=False).encode('utf8')
>>> json_string
'"\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94"'
>>> print json_string
"ברי צקלה"

これをファイルに書き込む場合は、io.open()の代わりに open() を使用して、書き込み時にUnicode値をエンコードするファイルオブジェクトを作成してから、そのファイルに書き込む代わりにjson.dump()を使用できます。

with io.open('filename', 'w', encoding='utf8') as json_file:
    json.dump(u"ברי צקלה", json_file, ensure_ascii=False)

Python 3では、組み込みのopen()はio.open()のエイリアスです。 jsonモジュールには バグがあることに注意してくださいensure_ascii=Falseフラグはunicodeとstrオブジェクトのmixを生成することがあります。 Python 2の場合の回避策は次のとおりです。

with io.open('filename', 'w', encoding='utf8') as json_file:
    data = json.dumps(u"ברי צקלה", ensure_ascii=False)
    # unicode(data) auto-decodes data to unicode if str
    json_file.write(unicode(data))

UTF-8にエンコードされたバイト文字列（Python 2ではstr、Python 3ではbytes）を渡す場合は、必ずencodingキーワードも設定してください。

>>> d={ 1: "ברי צקלה", 2: u"ברי צקלה" }
>>> d
{1: '\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94', 2: u'\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4'}

>>> s=json.dumps(d, ensure_ascii=False, encoding='utf8')
>>> s
u'{"1": "\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4", "2": "\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4"}'
>>> json.loads(s)['1']
u'\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4'
>>> json.loads(s)['2']
u'\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4'
>>> print json.loads(s)['1']
ברי צקלה
>>> print json.loads(s)['2']
ברי צקלה

your 2番目のサンプルは not valid Unicodeです。あなたはそれをnever動作するでしょう、UnicodeリテラルとしてUTF-8バイトを与えました：

>>> s = u'\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94'
>>> print s
××¨× ×¦×§××
>>> print s.encode('latin1').decode('utf8')
ברי צקלה

その文字列をLatin 1（Unicodeのコードポイントが1対1からバイトにマップされている）にエンコードしてからUTF-8としてデコードした場合にのみ、期待通りの出力が得られます。それはJSONとは関係がなく、あなたが間違った入力を使用することと関係があります。結果は モジバケ と呼ばれます。

文字列リテラルからそのUnicode値を取得した場合、それは間違ったコーデックを使用してデコードされました。端末の設定が間違っているか、テキストエディタがPythonにファイルの読み取りを指示したものとは異なるコーデックを使用してソースコードを保存している可能性があります。または、間違ったコーデックを適用したライブラリからそれを入手しました。 これはすべてJSONライブラリとは無関係です 。

450
Martijn Pieters

ファイルに書き込む

import codecs
import json

with codecs.open('your_file.txt', 'w', encoding='utf-8') as f:
    json.dump({"message":"xin chào việt nam"}, f, ensure_ascii=False)

標準入力に印刷する

import codecs
import json
print(json.dumps({"message":"xin chào việt nam"}, ensure_ascii=False))
51
Trần Quang Hiệp

更新：これは間違った答えですが、それがなぜ間違っているのか理解するのに役立ちます。コメントを見てください。

unicode-escapeはどうですか？

>>> d = {1: "ברי צקלה", 2: u"ברי צקלה"}
>>> json_str = json.dumps(d).decode('unicode-escape').encode('utf8')
>>> print json_str
{"1": "ברי צקלה", "2": "ברי צקלה"}
27
monitorius

Petersのpython 2回避策は、Edgeのケースでは失敗します。

d = {u'keyword': u'bad credit  \xe7redit cards'}
with io.open('filename', 'w', encoding='utf8') as json_file:
    data = json.dumps(d, ensure_ascii=False).decode('utf8')
    try:
        json_file.write(data)
    except TypeError:
        # Decode data to Unicode first
        json_file.write(data.decode('utf8'))

UnicodeEncodeError: 'ascii' codec can't encode character u'\xe7' in position 25: ordinal not in range(128)

それは3行目の.decode（ 'utf8'）部分でクラッシュしていました。私はそのステップとasciiの特別なケースを避けることによってプログラムをもっと単純にすることによって問題を修正しました：

with io.open('filename', 'w', encoding='utf8') as json_file:
  data = json.dumps(d, ensure_ascii=False, encoding='utf8')
  json_file.write(unicode(data))

cat filename
{"keyword": "bad credit  çredit cards"}
24
Jonathan Ray

以下は私の理解var上記の答えとグーグルです。

# coding:utf-8
r"""
@update: 2017-01-09 14:44:39
@explain: str, unicode, bytes in python2to3
    #python2 UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 7: ordinal not in range(128)
    #1.reload
    #importlib,sys
    #importlib.reload(sys)
    #sys.setdefaultencoding('utf-8') #python3 don't have this attribute.
    #not suggest even in python2 #see:http://stackoverflow.com/questions/3828723/why-should-we-not-use-sys-setdefaultencodingutf-8-in-a-py-script
    #2.overwrite /usr/lib/python2.7/sitecustomize.py or (sitecustomize.py and PYTHONPATH=".:$PYTHONPATH" python)
    #too complex
    #3.control by your own (best)
    #==> all string must be unicode like python3 (u'xx'|b'xx'.encode('utf-8')) (unicode 's disappeared in python3)
    #see: http://blog.ernest.me/post/python-setdefaultencoding-unicode-bytes

    #how to Saving utf-8 texts in json.dumps as UTF8, not as \u escape sequence
    #http://stackoverflow.com/questions/18337407/saving-utf-8-texts-in-json-dumps-as-utf8-not-as-u-escape-sequence
"""

from __future__ import print_function
import json

a = {"b": u"中文"}  # add u for python2 compatibility
print('%r' % a)
print('%r' % json.dumps(a))
print('%r' % (json.dumps(a).encode('utf8')))
a = {"b": u"中文"}
print('%r' % json.dumps(a, ensure_ascii=False))
print('%r' % (json.dumps(a, ensure_ascii=False).encode('utf8')))
# print(a.encode('utf8')) #AttributeError: 'dict' object has no attribute 'encode'
print('')

# python2:bytes=str; python3:bytes
b = a['b'].encode('utf-8')
print('%r' % b)
print('%r' % b.decode("utf-8"))
print('')

# python2:unicode; python3:str=unicode
c = b.decode('utf-8')
print('%r' % c)
print('%r' % c.encode('utf-8'))
"""
#python2
{'b': u'\u4e2d\u6587'}
'{"b": "\\u4e2d\\u6587"}'
'{"b": "\\u4e2d\\u6587"}'
u'{"b": "\u4e2d\u6587"}'
'{"b": "\xe4\xb8\xad\xe6\x96\x87"}'

'\xe4\xb8\xad\xe6\x96\x87'
u'\u4e2d\u6587'

u'\u4e2d\u6587'
'\xe4\xb8\xad\xe6\x96\x87'

#python3
{'b': '中文'}
'{"b": "\\u4e2d\\u6587"}'
b'{"b": "\\u4e2d\\u6587"}'
'{"b": "中文"}'
b'{"b": "\xe4\xb8\xad\xe6\x96\x87"}'

b'\xe4\xb8\xad\xe6\x96\x87'
'中文'

'中文'
b'\xe4\xb8\xad\xe6\x96\x87'
"""
7
Cheney

これがjson.dump（）を使った私の解決策です：

def jsonWrite(p, pyobj, ensure_ascii=False, encoding=SYSTEM_ENCODING, **kwargs):
    with codecs.open(p, 'wb', 'utf_8') as fileobj:
        json.dump(pyobj, fileobj, ensure_ascii=ensure_ascii,encoding=encoding, **kwargs)

sYSTEM_ENCODINGは次のように設定されています。

locale.setlocale(locale.LC_ALL, '')
SYSTEM_ENCODING = locale.getlocale()[1]
5
Neit Sabes

可能であればコーデックを使う

with codecs.open('file_path', 'a+', 'utf-8') as fp:
    fp.write(json.dumps(res, ensure_ascii=False))
3
Yulin GUO

Python 3.7以降、次のコードは問題なく動作します。

from json import dumps
result = {"symbol": "ƒ"}
json_string = dumps(result, sort_keys=True, indent=2, ensure_ascii=False)
print(json_string)

出力：

{"symbol": "ƒ"}
1
Nik

ファイルおよびファイルコンテンツからアラビア語のテキストからJSON文字列を読み込む場合。その後、これは動作します。

次のようなファイルを想定：arabic.json

{ 
"key1" : "لمستخدمين",
"key2" : "إضافة مستخدم"
}

Arabic.jsonファイルからアラビア語のコンテンツを取得します

with open(arabic.json, encoding='utf-8') as f:
   # deserialises it
   json_data = json.load(f)
   fh.close()


# json formatted string
json_data2 = json.dumps(json_data, ensure_ascii = False)

DjangoテンプレートでJSONデータを使用するには、以下の手順に従います。

# If have to get the JSON index in Django Template file, then simply decode the encoded string.

json.JSONDecoder().decode(json_data2)

できた！これで、アラビア語の値を持つJSONインデックスとして結果を取得できます。

0
Chandan Sharma