web-dev-qa-db-ja.com

SQLAlchemy、to_sqlを使用したpandasを使用したMySQLデータベースへの書き込み

to_sqlを使用してpandasデータフレームをMySQLテーブルに書き込もうとしています。以前はflavor='mysql'を使用していましたが、将来的には減価されるため、SQLAlchemyエンジンの使用への移行を開始したいと考えていました。

サンプルコード：

import pandas as pd
import mysql.connector
from sqlalchemy import create_engine

engine = create_engine('mysql+mysqlconnector://[user]:[pass]@[Host]:[port]/[schema]', echo=False)
cnx = engine.raw_connection()
data = pd.read_sql('SELECT * FROM sample_table', cnx)
data.to_sql(name='sample_table2', con=cnx, if_exists = 'append', index=False)

読み取りは正常に動作しますが、to_sqlにエラーがあります。

DatabaseError：SQL 'SELECT name FROM sqlite_master WHERE type =' table 'AND name = ?;'で実行に失敗しました：文字列のフォーマット中に間違った数の引数

Sqliteを使用しようとしているように見えるのはなぜですか？ mysql、特にmysql.connectorとのsqlalchemy接続の正しい使用法は何ですか？

また、接続としてエンジンも渡そうとしましたが、カーソルオブジェクトを参照しないというエラーが発生しました。

data.to_sql(name='sample_table2', con=engine, if_exists = 'append', index=False)
>>AttributeError: 'Engine' object has no attribute 'cursor'
pythonmysqlpandassqlalchemymysql-connector
45
AsAP_Sherb

raw_connection()の代わりにエンジンを使用した場合：

import pandas as pd
import mysql.connector
from sqlalchemy import create_engine

engine = create_engine('mysql+mysqlconnector://[user]:[pass]@[Host]:[port]/[schema]', echo=False)
data.to_sql(name='sample_table2', con=engine, if_exists = 'append', index=False)

昨日これを試したときに、以前のエラーが表示された理由がわかりません。

67
AsAP_Sherb

または、pymysqlパッケージを使用...

import pymysql
from sqlalchemy import create_engine
cnx = create_engine('mysql+pymysql://[user]:[pass]@[Host]:[port]/[schema]', echo=False)

data = pd.read_sql('SELECT * FROM sample_table', cnx)
data.to_sql(name='sample_table2', con=cnx, if_exists = 'append', index=False)
8
openwonk

Pymysqlとsqlalchemyを使用すると、これはPandas v0.22で機能します。

import pandas as pd
import pymysql
from sqlalchemy import create_engine

user = 'yourUserName'
passw = 'password'
Host =  'hostName'  # either localhost or ip e.g. '172.17.0.2' or hostname address 
port = 3306 
database = 'dataBaseName'

mydb = create_engine('mysql+pymysql://' + user + ':' + passw + '@' + Host + ':' + str(port) + '/' + database , echo=False)

directory = r'directoryLocation'  # path of csv file
csvFileName = 'something.csv'

df = pd.read_csv(os.path.join(directory, csvFileName ))

df.to_sql(name=csvFileName[:-4], con=mydb, if_exists = 'replace', index=False)

"""
if_exists: {'fail', 'replace', 'append'}, default 'fail'
     fail: If table exists, do nothing.
     replace: If table exists, drop it, recreate it, and insert data.
     append: If table exists, insert data. Create if does not exist.
"""
7
DougR

私は質問のタイトルにWord SQLAlchemyが含まれていることを知っていますが、質問と回答にはpymysqlまたはmysql.connectorをインポートする必要性があり、SQLAlchemyを呼び出さずにpymysqlでジョブを実行することもできます。

import pymysql
user = 'root'
passw = 'my-secret-pw-for-mysql-12ud' # In previous posts variable "pass"
Host =  '172.17.0.2'
port = 3306

database = 'sample_table' # In previous posts similar to "schema"

conn = pymysql.connect(Host=host,
                       port=port,
                       user=user, 
                       passwd=passw,  
                       db=database)

data.to_sql(name=database, con=conn, if_exists = 'append', index=False, flavor = 'mysql')

SQLAlchemyを使用していませんが、このソリューションは良いと思います。

1
Rafael Valero