web-dev-qa-db-ja.com

C＃でSQLデータリーダーからファイルに効率的に書き込む方法は？

クエリを実行してその結果をユーザーのローカルハードディスクに保存する必要があるC＃のリモートSQL接続があります。これが返すことができるデータはかなり大量にあるので、それを保存する効率的な方法を考える必要があります。その前に読んだことがあるので、最初に結果全体をメモリに入れてから書き込むのは良い考えではないので、誰かが助けてくれるなら素晴らしいでしょう！

現在、SQL結果データをDataTableに格納していますが、while(myReader.Read(){...}で何かを実行する方がよいと考えています。以下は、結果を取得するコードです。

          DataTable t = new DataTable();
            string myQuery = QueryLoader.ReadQueryFromFileWithBdateEdate(@"Resources\qrs\qryssysblo.q", newdate, newdate);
            using (SqlDataAdapter a = new SqlDataAdapter(myQuery, sqlconn.myConnection))
            {
                a.Fill(t);
            }

            var result = string.Empty;
    for(int i = 0; i < t.Rows.Count; i++)
    {
        for (int j = 0; j < t.Columns.Count; j++)
        {
            result += t.Rows[i][j] + ",";
        }


        result += "\r\n";
    }

これで、この巨大な結果文字列ができました。そして、私はデータテーブルを持っています。それを行うにはもっと良い方法が必要ですか？

ありがとう。

c#sqldatareaderwritetofile
9
Sam

あなたは正しい方向に進んでいます。 while(myReader.Read(){...}でループを使用し、ループ内のテキストファイルに各レコードを書き込みます。 .NET Frameworkとオペレーティングシステムは、効率的な方法でバッファをディスクにフラッシュします。

using(SqlConnection conn = new SqlConnection(connectionString))
using(SqlCommand cmd = conn.CreateCommand())
{
  conn.Open();
  cmd.CommandText = QueryLoader.ReadQueryFromFileWithBdateEdate(
    @"Resources\qrs\qryssysblo.q", newdate, newdate);

  using(SqlDataReader reader = cmd.ExecuteReader())
  using(StreamWriter writer = new StreamWriter("c:\temp\file.txt"))
  {
    while(reader.Read())
    {
      // Using Name and Phone as example columns.
      writer.WriteLine("Name: {0}, Phone : {1}", 
        reader["Name"], reader["Phone"]);
    }
  }
}
20
Anders Abel

私はこれを思いついた、それは他の答えよりも優れたCSVライターです：

public static class DataReaderExtension
{
    public static void ToCsv(this IDataReader dataReader, string fileName, bool includeHeaderAsFirstRow)
    {

        const string Separator = ",";

        StreamWriter streamWriter = new StreamWriter(fileName);

        StringBuilder sb = null;

        if (includeHeaderAsFirstRow)
        {
            sb = new StringBuilder();
            for (int index = 0; index < dataReader.FieldCount; index++)
            {
                if (dataReader.GetName(index) != null)
                    sb.Append(dataReader.GetName(index));

                if (index < dataReader.FieldCount - 1)
                    sb.Append(Separator);
            }
            streamWriter.WriteLine(sb.ToString());
        }

        while (dataReader.Read())
        {
            sb = new StringBuilder();
            for (int index = 0; index < dataReader.FieldCount; index++)
            {
                if (!dataReader.IsDBNull(index))
                {
                    string value = dataReader.GetValue(index).ToString();
                    if (dataReader.GetFieldType(index) == typeof(String))
                    {
                        if (value.IndexOf("\"") >= 0)
                            value = value.Replace("\"", "\"\"");

                        if (value.IndexOf(Separator) >= 0)
                            value = "\"" + value + "\"";
                    }
                    sb.Append(value);
                }

                if (index < dataReader.FieldCount - 1)
                    sb.Append(Separator);
            }

            if (!dataReader.IsDBNull(dataReader.FieldCount - 1))
                sb.Append(dataReader.GetValue(dataReader.FieldCount - 1).ToString().Replace(Separator, " "));

            streamWriter.WriteLine(sb.ToString());
        }
        dataReader.Close();
        streamWriter.Close();
    }
}

使用法：mydataReader.ToCsv（ "myfile.csv"、true）

3
Rob Sedgwick

ここでの最善の策はSqlDataReaderを使用することであることに同意します。このようなもの：

StreamWriter YourWriter = new StreamWriter(@"c:\testfile.txt");
SqlCommand YourCommand = new SqlCommand();
SqlConnection YourConnection = new SqlConnection(YourConnectionString);
YourCommand.Connection = YourConnection;
YourCommand.CommandText = myQuery;

YourConnection.Open();

using (YourConnection)
{
    using (SqlDataReader sdr = YourCommand.ExecuteReader())
        using (YourWriter)
        {
            while (sdr.Read())
                YourWriter.WriteLine(sdr[0].ToString() + sdr[1].ToString() + ",");

        }
}

whileループでは、SqlDataReaderの列データに適していると思われる形式でその行をテキストファイルに書き込むことができます。

2
user596075

元のアプローチを維持しながら、ここに簡単な勝利があります。

Stringを一時バッファとして使用する代わりに、 StringBuilder を使用します。これにより、演算子_+=_を使用する代わりに、連結に関数.append(String)を使用できるようになります。

演算子_+=_は特に非効率的であるため、ループに配置して（潜在的に）何百万回も繰り返されると、パフォーマンスに影響が出ます。

.append(String)メソッドは元のオブジェクトを破棄しないため、より高速です

2
Nicolas

ロブ・セジウィックの答えはそれに似ていますが、改善および簡素化することができます。これは私がそれをした方法です：

string separator = ";";
string fieldDelimiter = "";
bool useHeaders = true;

string connectionString = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx";

using (SqlConnection conn = new SqlConnection(connectionString))
{
     using (SqlCommand cmd = conn.CreateCommand())
     {
          conn.Open();
          string query = @"SELECT whatever";

          cmd.CommandText = query;

          using (SqlDataReader reader = cmd.ExecuteReader())
          {
                if (!reader.Read())
                {
                     return;
                }

                List<string> columnNames = GetColumnNames(reader);

                // Write headers if required
                if (useHeaders)
                {
                     first = true;
                     foreach (string columnName in columnNames)
                     {
                          response.Write(first ? string.Empty : separator);
                          line = string.Format("{0}{1}{2}", fieldDelimiter, columnName, fieldDelimiter);
                          response.Write(line);
                          first = false;
                     }

                     response.Write("\n");
                }

                // Write all records
                do
                {
                     first = true;
                     foreach (string columnName in columnNames)
                     {
                          response.Write(first ? string.Empty : separator);
                          string value = reader[columnName] == null ? string.Empty : reader[columnName].ToString();
                          line = string.Format("{0}{1}{2}", fieldDelimiter, value, fieldDelimiter);
                          response.Write(line);
                          first = false;
                     }

                     response.Write("\n");
                }
                while (reader.Read());
          }
     }
}

そして、あなたは関数GetColumnNamesを持っている必要があります：

List<string> GetColumnNames(IDataReader reader)
{
    List<string> columnNames = new List<string>();
    for (int i = 0; i < reader.FieldCount; i++)
    {
         columnNames.Add(reader.GetName(i));
    }

    return columnNames;
}
2
RWC

。CSVを使用して、データベースからDataReaderによってデータをエクスポートしました。私のプロジェクトでは、データリーダーを読み取り、.CSVファイルを手動で作成します。ループ内でデータリーダーを読み取り、すべての行についてセル値を結果文字列に追加します。個別の列には「、」を使用し、個別の行には「\ n」を使用します。最後に、結果文字列をresult.csvとして保存しました。

私はこれを提案します 高性能拡張 。テストして、600,000行を.CSVとしてすばやくエクスポートしました。

1
Nigje

response.Close()なしで応答オブジェクトを使用すると、少なくとも場合によっては、データを書き込んでいるページのhtmlがファイルに書き込まれます。 Response.Close()を使用すると、接続が途中で閉じられ、ファイルの生成中にエラーが発生する可能性があります。

HttpApplication.CompleteRequest() を使用することをお勧めしますが、これにより、常にhtmlがファイルの最後に書き込まれるように見えます。

応答オブジェクトと組み合わせてストリームを試し、開発環境で成功しました。まだ本番環境で試していません。

1
David Coulter