エクスプレス経由でフォルダーノードにZipを抽出します

Question

Zip（postmanなど）を送信してハンドラーでこのZipを取得し、unzip指定されたフォルダexpressを使用して圧縮する例があまり見つかりませんでした。パス_web/app_に解凍します

私にはうまくいかない次のようなものを試します、Zipファイルは指定されたフォルダに解凍されません、何が間違っているのでしょうか？

https://nodejs.org/api/zlib.html#zlib_zlib

_var zlib = require('zlib');
var fs = require('fs');
const dir = path.join(__dirname, 'web/app/');

if (req.file.mimetype === 'application/Zip') {

    var unzip = zlib.createUnzip();

    var read = fs.createReadStream(req.file);
    var write = fs.createWriteStream(dir);
    //Transform stream which is unzipping the zipped file
    read.pipe(unzip).pipe(write);   
    console.log("unZipped Successfully");

}
_

どんな実用的な例でも非常に役に立ちます、またはどこで問題があったか参照できます...

デバッグ中にコードが失敗したとき

var read = fs.createReadStream(req.file);

なぜか？

私も試しました

var read = fs.createReadStream(req.file.body);

エラー、理由などが表示されない問題.

に変更すると

var read = fs.createReadStream(req.file.buffer);

プログラムは終了せず、ロガーconsole.log("unZipped Successfully");まで実行できましたが、何も起こりません...

https://www.npmjs.com/package/yauzlyauzlおよびmulterを使用した例がある場合素晴らしいだろう

update-これは郵便配達員のリクエストです

Answer 1

まず、zlibはZipファイルの抽出をサポートしていません。

ファイルの処理には formidable をお勧めします。

1. その戦いはテストされました
2. 最も広く使用されている
3. リクエストからのファイルストリームの読み取り、エラーの保存と処理などの定型プレートコードの記述を回避
4. 簡単に設定可能

前提条件
npm i -S extract-Zip formidable expressまたはyarn add extract-Zip formidable expressを使用して依存関係をインストールします

formidableとextract-Zipによる問題の最小限の解決策

const express = require('express');
const fs = require('fs');
const extract = require('extract-Zip')
const formidable = require('formidable');
const path = require('path');
const uploadDir = path.join(__dirname, '/uploads/');
const extractDir = path.join(__dirname, '/app/');
if (!fs.existsSync(uploadDir)) {
  fs.mkdirSync(uploadDir);
}
if (!fs.existsSync(extractDir)) {
  fs.mkdirSync(extractDir);
}

const server = express();

const uploadMedia = (req, res, next) => {
  const form = new formidable.IncomingForm();
  // file size limit 100MB. change according to your needs
  form.maxFileSize = 100 * 1024 * 1024;
  form.keepExtensions = true;
  form.multiples = true;
  form.uploadDir = uploadDir;

  // collect all form files and fileds and pass to its callback
  form.parse(req, (err, fields, files) => {
    // when form parsing fails throw error
    if (err) return res.status(500).json({ error: err });

    if (Object.keys(files).length === 0) return res.status(400).json({ message: "no files uploaded" });

    // Iterate all uploaded files and get their path, extension, final extraction path
    const filesInfo = Object.keys(files).map((key) => {
      const file = files[key];
      const filePath = file.path;
      const fileExt = path.extname(file.name);
      const fileName = path.basename(file.name, fileExt);
      const destDir = path.join(extractDir, fileName);

      return { filePath, fileExt, destDir };
    });

    // Check whether uploaded files are Zip files
    const validFiles = filesInfo.every(({ fileExt }) => fileExt === '.Zip');

    // if uploaded files are not Zip files, return error
    if (!validFiles) return res.status(400).json({ message: "unsupported file type" });

    res.status(200).json({ uploaded: true });

    // iterate through each file path and extract them
    filesInfo.forEach(({filePath, destDir}) => {
      // create directory with timestamp to prevent overwrite same directory names
      extract(filePath, { dir: `${destDir}_${new Date().getTime()}` }, (err) => {
        if (err) console.error('extraction failed.');
      });
    });
  });

  // runs when new file detected in upload stream
  form.on('fileBegin', function (name, file) {
    // get the file base name `index.css.Zip` => `index.html`
    const fileName = path.basename(file.name, path.extname(file.name));
    const fileExt = path.extname(file.name);
    // create files with timestamp to prevent overwrite same file names
    file.path = path.join(uploadDir, `${fileName}_${new Date().getTime()}${fileExt}`);
  });
}

server.post('/upload', uploadMedia);

server.listen(3000, (err) => {
  if (err) throw err;
});

このソリューションは、単一/複数のファイルのアップロードで機能します。このソリューションの1つの問題は、サーバーがエラーをスローしても、間違ったファイルタイプがuploadedディレクトリにアップロードされることです。

郵便配達員でテストするには：

Answer 2

前提条件：

1. npm i express unzipper multiparty bluebird
2. プロジェクトルートにapp/webディレクトリを作成します（必要に応じて、作成を自動化できます）。
3. これらすべてのファイルを1つのディレクトリに配置します。
4. async/awaitをサポートするノードバージョン（私の知る限りでは7.6以上）

server.js：

const express = require('express');
const Promise = require('bluebird');
const fs = require('fs');
const writeFile = Promise.promisify(fs.writeFile);

const { parseRequest, getFile } = require('./multipart');
const { extractFiles } = require('./Zip')

const EXTRACT_DIR = 'web/app';

const app = express();

const uploadFile = async (req, res, next) => {
  try {
    const body = await parseRequest(req);
    const bodyFile = getFile(body, 'file');
    if (!/\.Zip$/.test(bodyFile.originalFilename)) {
      res.status(200).json({ notice: 'not a Zip archive, skipping' })
      return;
    }
    const archiveFiles = await extractFiles(bodyFile);

    await Promise.each(archiveFiles, async (file) => {
      await writeFile(EXTRACT_DIR + '/' + file.path, file.buffer);
    })
    res.status(200).end();
  } catch (e) {
    res.status(500).end();
  }
};

app.post('/files', uploadFile);

app.listen(3000, () => {
  console.log('App is listening on port 3000');
});

multipart.js

const Promise = require('bluebird');
const { Form } = require('multiparty');

function parseRequest (req, options) {
    return new Promise((resolve, reject) => {
        const form = new Form(options)
        form.parse(req, (err, fields, files) => {
            if (err) {
                return reject(err);
            }
            return resolve({ fields, files });
        });
    });
}

function getFile (body, field) {
    const bodyFile = body.files[field];
    const value = bodyFile ? bodyFile[0] : null;
    return value || null;
}

module.exports = {
    parseRequest,
    getFile,
};

Zip.js

const unzip = require('unzipper');
const fs = require('fs');

async function extractFiles (file) {
    const files = [];
    await fs.createReadStream(file.path).pipe(unzip.Parse()).on('entry', async entry => {
    // Cleanup system hidden files (or drop this code if not needed)
        if (
            entry.type !== 'File'
            || /^__MACOSX/.test(entry.path)
            || /.DS_Store/.test(entry.path)
        ) {
            entry.autodrain()
            return
        }
        const pathArr = entry.path.split('/');
        const path = entry.path;
        const buffer = await entry.buffer();
        files.Push({ buffer, path, originalFilename: pathArr[pathArr.length - 1] });
    }).promise();
    return files;
}

module.exports = {
    extractFiles,
};

使用方法：

1. node serverでサーバーを起動します
2. リクエストのfileフィールドでファイルを送信します（郵便配達員のキーfile）。 curlの例curl -XPOST -F 'file=@../ttrra-dsp-agency-api/banner.Zip' 'localhost:3000/files'）

欠点：

1. 解凍されたファイルはバッファに保存されるため、この方法はうまく機能せず、は大きなアーカイブにはお勧めできません。

Answer 3

完全な例がなければ、実際の問題が何であるかを言うのは難しいです。しかし、 Express docs によると、

Express 4では、req.filesはデフォルトでreqオブジェクトで使用できなくなりました。 req.filesオブジェクトのアップロードされたファイルにアクセスするには、busboy、multer、fmidable、multiparty、connect-multiparty、pezなどのマルチパート処理ミドルウェアを使用します。

したがって、ファイルのアップロードを処理するためにミドルウェアライブラリを使用していない場合、req.fileの値を特定するのは困難です。

library はgzipのみをサポートしているため、zlibを使用してZipファイルを解凍しようとしていることも少し心配です。

Zlibモジュールは、GzipおよびDeflate/Inflateを使用して実装された圧縮機能を提供します

req.file.mimetype === 'application/gzip'を確認します

Zipファイルの解凍に関するいくつかの投稿を次に示します。

• NodeJのメモリにZipファイルをダウンロードして解凍する方法
• Node.jsクロスプラットフォームでファイルをダウンロードして解凍する最も簡単な方法は？