web-dev-qa-db-ja.com

executemanyを使用して、Python=

現在、MySQLとPythonを使用してWebからデータをスクレイピングします。具体的には、テーブルデータをスクレイピングしてデータベースに挿入しています。現在のソリューションは機能しますが、非常に非効率的ですコードを書き直さないとデータベースをロックする可能性が高いです。現在使用しているのは次のとおりです（部分的なコード）。

itemBank = []
for row in rows:
    itemBank.append((tempRow2,tempRow1,tempRow3,tempRow4)) #append data

#itemBank List of dictionaries representing data from each 
row of the table. i.e. 
('Item_Name':"Tomatoes",'Item_Price':"10",'Item_In_Stock':"10",'Item_Max':"30")

for item in itemBank:
    tempDict1 = item[0]
    tempDict2 = item[1]
    tempDict3 = item[2]
    tempDict4 = item[3]

    q = """ INSERT IGNORE INTO
         TABLE1   
        (
           Item_Name,
           Item_Price,
           Item_In_Stock,
           Item_Max,
           Observation_Date
         ) VALUES (
           "{0}",
           "{1}",
           "{2}",
           "{3}",
           "{4}"
           )
        """.format(tempDict1['Item_Name'],tempDict2['Item_Price'],tempDict3['Item_In_Stock'],
                   tempDict4['Item_Max'],getTimeExtra)

    try:
        x.execute(q)
        conn.commit()
    except:
        conn.rollback()

テーブルの各行の実行は面倒です。 executemanyを使用してみましたが、辞書の値に正しくアクセスする方法がわかりません。したがって、ここでexecutemanyを使用して、データの構造を指定してデータベースに挿入するにはどうすればよいですか？

pythonmysqlmysql-python
23
Alex Ketay
itemBank = [] 
for row in rows:
    itemBank.append((
        tempRow2['Item_Name'],
        tempRow1['Item_Price'],
        tempRow3['Item_In_Stock'],
        tempRow4['Item_Max'], 
        getTimeExtra
        )) #append data


q = """ insert ignore into TABLE1 (
        Item_Name, Item_Price, Item_In_Stock, Item_Max, Observation_Date ) 
        values (%s,%s,%s,%s,%s)           
    """

try:
    x.executemany(q, itemBank)
    conn.commit()
except:
    conn.rollback()

それがあなたを助けることを願っています

32
David.Zheng