大量のデータをインポートすると、cronとキューでプロセスが遅くなる
現在大量のデータをDrupalにインポートしています。フックAPIでキューAPIを使用しており、これまでのところすべてが機能しています。データはノードとしてインポートされ、ノード間の関係が作成され、ビューはデータを適切に表示しています。
私が抱えている問題は、データのインポートを実行するのにかかる時間です。 「Ultimate Cron」を使用して、cronジョブの並列処理で処理速度が向上するかどうかを確認しようとしましたが、うまくいきませんでした。
処理待ちの保留中のデータでいっぱいのキューがあり、それを高速化する方法を考えることができます。複数のキューの作成について読みましたが、まだ試していません。
サーバーはかなりまともなサーバーであり、サーバーの負荷は常に2％未満であり、スワップは空で、800 MBの16 GBのRAMしか使用していません。
複数のキューと個別のphp非ブロッキング（Shell_exec）プロセスを使用して各キューを読み取るのは良いことだと思います。アイデアは、バックグラウンドで実行するphpスクリプトを呼び出し、キューデータを選択してノードなどを作成することです。