web-dev-qa-db-ja.com

DjangoにUnicode文字列を保存すると、MySQLの「不正な文字列値」エラーが発生する

First_name、last_nameをDjangoのauth_userモデルに保存しようとすると、奇妙なエラーメッセージが表示されました。

失敗した例

user = User.object.create_user(username, email, password)
user.first_name = u'Rytis'
user.last_name = u'Slatkevičius'
user.save()
>>> Incorrect string value: '\xC4\x8Dius' for column 'last_name' at row 104

user.first_name = u'Валерий'
user.last_name = u'Богданов'
user.save()
>>> Incorrect string value: '\xD0\x92\xD0\xB0\xD0\xBB...' for column 'first_name' at row 104

user.first_name = u'Krzysztof'
user.last_name = u'Szukiełojć'
user.save()
>>> Incorrect string value: '\xC5\x82oj\xC4\x87' for column 'last_name' at row 104

成功例

user.first_name = u'Marcin'
user.last_name = u'Król'
user.save()
>>> SUCCEED

MySQL設定

mysql> show variables like 'char%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       | 
| character_set_connection | utf8                       | 
| character_set_database   | utf8                       | 
| character_set_filesystem | binary                     | 
| character_set_results    | utf8                       | 
| character_set_server     | utf8                       | 
| character_set_system     | utf8                       | 
| character_sets_dir       | /usr/share/mysql/charsets/ | 
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

テーブルの文字セットと照合

テーブルauth_userには、utf8_general_ci照合によるutf-8文字セットがあります。

UPDATEコマンドの結果

UPDATEコマンドを使用して上記の値をauth_userテーブルに更新しても、エラーは発生しませんでした。

mysql> update auth_user set last_name='Slatkevičiusa' where id=1;
Query OK, 1 row affected, 1 warning (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> select last_name from auth_user where id=100;
+---------------+
| last_name     |
+---------------+
| Slatkevi?iusa | 
+---------------+
1 row in set (0.00 sec)

PostgreSQL

上記の失敗した値は、Djangoでデータベースバックエンドを切り替えたときにPostgreSQLテーブルに更新できます。変わっている。

mysql> SHOW CHARACTER SET;
+----------+-----------------------------+---------------------+--------+
| Charset  | Description                 | Default collation   | Maxlen |
+----------+-----------------------------+---------------------+--------+
...
| utf8     | UTF-8 Unicode               | utf8_general_ci     |      3 | 
...

しかし http://www.postgresql.org/docs/8.1/interactive/multibyte.html から、次のことがわかりました。

Name Bytes/Char
UTF8 1-4

ユニコード文字はPostgreSQLでは4バイトのmaxlenを持っていますが、MySQLでは3バイトであるため上記のエラーが発生したということですか？

pythonmysqldjangounicodeutf-8
146
jack

上記のエラーを回避する1つの方法を見つけました。

データベースに保存

user.first_name = u'Rytis'.encode('unicode_escape')
user.last_name = u'Slatkevičius'.encode('unicode_escape')
user.save()
>>> SUCCEED

print user.last_name
>>> Slatkevi\u010dius
print user.last_name.decode('unicode_escape')
>>> Slatkevičius

これは、そのような文字列をMySQLテーブルに保存し、表示用のテンプレートにレンダリングする前にデコードする唯一の方法ですか？

8
jack

同じ問題があり、列の文字セットを変更することで解決しました。データベースにはutf-8のデフォルト文字セットがありますが、MySQLではデータベース列に異なる文字セットが含まれている可能性があると思います。私が使用したSQLクエリは次のとおりです。

    ALTER TABLE database.table MODIFY COLUMN col VARCHAR(255)
    CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL;
113
user27478

これらの答えはどれも私にとって問題を解決しませんでした。根本的な原因：

utf-8文字セットを使用してMySQLに4バイト文字を保存することはできません。

MySQLには tf-8文字の3バイト制限 （はい、それは奇抜です ここでDjango開発者によって簡単に要約されます ）

これを解決するには、以下を行う必要があります。

  1. tf8mb4文字セット を使用するようにMySQLデータベース、テーブル、および列を変更します（MySQL 5.5以降でのみ使用可能）
  2. Django設定ファイルで次のように文字セットを指定します。

settings.py

DATABASES = {
    'default': {
        'ENGINE':'Django.db.backends.mysql',
        ...
        'OPTIONS': {'charset': 'utf8mb4'},
    }
}

注：データベースを再作成するときに、「 指定されたキーが長すぎました 」問題が発生する場合があります。

最も可能性の高い原因は、CharFieldで、255のmax_lengthと何らかの種類のインデックス（一意など）があります。 utf8mb4はutf-8よりも33％多くのスペースを使用するため、これらのフィールドを33％小さくする必要があります。

この場合、max_lengthを255から191に変更します。

あるいは、 MySQL構成を編集してこの制限を削除します、ただしDjango hackery

UPDATE：もう一度この問題にぶつかり、最終的に PostgreSQLへの切り替え を削減できなかったため、VARCHAR〜191文字。

111
donturner

この問題がある場合、mysqlデータベースのすべての列を自動的に変更するpythonスクリプトがあります。

#! /usr/bin/env python
import MySQLdb

Host = "localhost"
passwd = "passwd"
user = "youruser"
dbname = "yourdbname"

db = MySQLdb.connect(Host=host, user=user, passwd=passwd, db=dbname)
cursor = db.cursor()

cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)

sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
cursor.execute(sql)

results = cursor.fetchall()
for row in results:
  sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
  cursor.execute(sql)
db.close()
69
madprops

新しいプロジェクトの場合は、データベースを削除し、適切な文字セットで新しいデータベースを作成します。

CREATE DATABASE <dbname> CHARACTER SET utf8;
21
Vanuan

テキストフィールドの照合順序をUTF8_general_ciに変更すると、問題は解決します。

これはDjangoでは実行できないことに注意してください。

6
Wei An

Unicode文字列を保存しようとするのではなく、UTF-8エンコーディングでバイト文字列を保存しようとしています。それらを実際のユニコード文字列リテラルにします：

user.last_name = u'Slatkevičius'

または（文字列リテラルがない場合）utf-8エンコードを使用してデコードします：

user.last_name = lastname.decode('utf-8')
1
Thomas Wouters

テーブルを変更するだけで、何もする必要はありません。このクエリをデータベースで実行するだけです。 ALTER TABLE table_nameCONVERT TO CHARACTER SET utf8

それは間違いなく動作します。

0
Rishabh Jhalani