web-dev-qa-db-ja.com

CSVストレージエンジンを使用してCSVファイルから直接mysqlテーブルを作成しますか？

Mysqlにはネイティブ CSVストレージエンジン があり、テーブルごとにデータをカンマ区切り値ファイルに保存することがわかりました。

アップロードされたCSVファイルから直接テーブルを作成することは可能ですか？

テーブルユーザーの作成<PATH/USERS.CSV

users.csvがユーザーによってアップロードされる場所

mysqldatabasecsvstorage-engines
52
Jonathan

これは不可能です。テーブルを作成するには、テーブルスキーマが必要です。あなたが持っているのはデータファイルです。それを使用してスキーマを作成することはできません。ファイルにヘッダー行があるかどうかを確認してください。その場合、そのヘッダー行を使用して手動でテーブルを作成できます。

ただし、 MySQLマニュアルのコメントセクションのJohn Swapceinski で説明されているように、バッチファイルによってcreate tableステートメントを生成する方法があります。

John Swapceinskiによる2011年9月5日5:33 am投稿。
。csvファイルのヘッダーを使用してテーブルを作成します。

#!/bin/sh
# pass in the file name as an argument: ./mktable filename.csv
echo "create table $1 ( "
head -1 $1 | sed -e 's/,/ varchar(255),\n/g'
echo " varchar(255) );"
38
Shiplu Mokaddim

csvkit が発見されました。これはCSVファイル用のUNIXコマンドラインツールのセットです。 Macにpip install csvkitでインストールされ、コマンドは次のとおりでした。

 csvsql --dialect mysql --snifflimit 100000 bigdatafile.csv > maketable.sql

または、db接続文字列を指定して、テーブルを直接ロードできます。

83
prototype

インポートデータがあるMySQL Workbenchを使用することをお勧めします。 Workbenchを使用すると、ユーザーはCSVまたはJSON形式のファイルから新しいテーブルを作成できます。ウィザードを数回クリックするだけで、テーブルスキーマとデータインポートを処理します。

MySQL Workbenchで、テーブルリストのコンテキストメニューを使用し、Table Data Import Wizardをクリックします。

MySQL Workbench image

MySQL Workbenchの詳細 6.5.1テーブルデータのエクスポートおよびインポートウィザード ドキュメント。 ここからMySQL Workbenchをダウンロード 。

9
Jan Damek

私はこれがトピックとして少し古くなっていることを知っていますが、もっと簡単な方法があります-IF-phpmyadminをmysqlフロントエンドとして使用しています。

1）デフォルト設定のみでデータベースを作成します。

2）データベースを選択します。

3）画面上部の「インポート」をクリックします。

4）[形式]でCSVを選択します。

5）csvファイルに適したオプションを選択します（csvファイルをテキストエディターで開き、参照して「適切な」オプションを取得します）。

問題なく処理できた場合は、データベースを削除してもう一度やり直してください。

9
Bill Isaacs

これは私を助けたものです。 csvファイルを追加するだけで準備完了です。

http://www.convertcsv.com/csv-to-sql.htm

6
pal4life

上記の他のソリューションに加えて、Macユーザーは、SQL ProにはCSVインポートオプションがあり、かなりうまく機能し、柔軟性があることに注意してください。インポート時に列名とフィールドタイプを変更できます。新しいテーブルを選択してください。そうしないと、最初のダイアログがやや落胆したように見えます。

SQL Pro： http://www.sequelpro.com Sequel Pro-MySQLデータベースを操作するためのデータベース管理アプリケーション

6
Tim Green

誰かがphp solutinを探している場合：

パッケージ： https://github.com/uzi88/PHP_MySQL_wrapper

$db = new MySQL_wrapper(MySQL_Host, MySQL_USER, MySQL_PASS, MySQL_DB);
$db->connect(); 

// this sample gets column names from first row of file
//$db->createTableFromCSV('test_files/countrylist.csv', 'csv_to_table_test');

// this sample generates column names 
$db->createTableFromCSV('test_files/countrylist1.csv', 'csv_to_table_test_no_column_names', ',', '"', '\\', 0, array(), 'generate', '\r\n');

/** Create table from CSV file and imports CSV data to Table with possibility to update rows while import.
 * @param   string      $file           - CSV File path
 * @param   string      $table          - Table name
 * @param   string      $delimiter      - COLUMNS TERMINATED BY (Default: ',')
 * @param   string      $Enclosure      - OPTIONALLY ENCLOSED BY (Default: '"')
 * @param   string      $escape         - ESCAPED BY (Default: '\')
 * @param   integer     $ignore         - Number of ignored rows (Default: 1)
 * @param   array       $update         - If row fields needed to be updated eg date format or increment (SQL format only @FIELD is variable with content of that field in CSV row) $update = array('SOME_DATE' => 'STR_TO_DATE(@SOME_DATE, "%d/%m/%Y")', 'SOME_INCREMENT' => '@SOME_INCREMENT + 1')
 * @param   string      $getColumnsFrom - Get Columns Names from (file or generate) - this is important if there is update while inserting (Default: file)
 * @param   string      $newLine        - New line delimiter (Default: \n)
 * @return  number of inserted rows or false
 */
// function createTableFromCSV($file, $table, $delimiter = ',', $Enclosure = '"', $escape = '\\', $ignore = 1, $update = array(), $getColumnsFrom = 'file', $newLine = '\r\n')

$db->close();
2
rjanjic

私は、必要に応じてshiplu.mokadd.imのスクリプトを採用しました。興味のある人：

#!/bin/bash
if [ "$#" -lt 2 ]; then
    if [ "$#" -lt 1 ]; then 
        echo "usage: $0 [path to csv file] <table name> > [sql filename]"
        exit 1
    fi
    TABLENAME=$1
else
    TABLENAME=$2
fi
echo "CREATE TABLE $TABLENAME ( "
FIRSTLINE=$(head -1 $1)
# convert lowercase characters to uppercase
FIRSTLINE=$(echo $FIRSTLINE | tr '[:lower:]' '[:upper:]')
# remove spaces
FIRSTLINE=$(echo $FIRSTLINE | sed -e 's/ /_/g')
# add tab char to the beginning of line
FIRSTLINE=$(echo "\t$FIRSTLINE")
# add tabs and newline characters
FIRSTLINE=$(echo $FIRSTLINE | sed -e 's/,/,\\n\\t/g')
# add VARCHAR
FIRSTLINE=$(echo $FIRSTLINE | sed -e 's/,/ VARCHAR(255),/g')
# print out result
echo -e $FIRSTLINE" VARCHAR(255));"
2
Johann Horvat

MySQL for Excelプラグインが役立ちます。

http://dev.mysql.com/doc/refman/5.6/en/mysql-for-Excel.html

CSVファイルをExcelで開きます。このプラグインを使用して、Excelデータをリモートまたはローカルmysqlサーバーの新しいテーブルにエクスポートできます。データ（上位100〜1000行）を分析し、対応するテーブルスキーマを作成します。

1
Ian Chang

それを行うWindowsコマンドラインツールを作成しました。

こちらからダウンロードできます： http://commandline.dk/csv2ddl.htm

使用法：

C:\Temp>csv2ddl.exe mysql test.csv test.sql

または

C:\Temp>csv2ddl.exe mysql advanced doublequote comma test.csv test.sql
1
Jacob

これは不可能ですが、既存のテーブルファイルを上書きすることはできます。ただし、ファイルの行末は、Windowsスタイル（\ r\nで終わる）ではなく、unixスタイル（\ nでのみ終わる）であり、Windowsで作業しているかどうかにかかわらず、必ず注意してください。

0
fancyPants

Pythonの使用に問題がない場合、Pandasはうまく機能しました（私の場合、csvsqlは永久にハングしました）。何かのようなもの：

from sqlalchemy import create_engine
import pandas as pd

df = pd.read_csv('/PATH/TO/FILE.csv')
# Optional, set your indexes to get Primary Keys
df = df.set_index(['COL A', 'COL B'])

engine = create_engine('mysql://user:pass@Host/db', echo=False)

df.to_sql(table_name, dwh_engine, index=False)

また、これは質問の一部であった「CSVエンジンを使用する」部分を解決しませんが、私にも役立つかもしれません。

0
ivansabik