トラフィックの多いアプリでのリアルタイム予測のための本番環境でのTensorFlow-使用方法は？
トラフィックの多いアプリケーションでリアルタイム予測にTensorFlowを使用する正しい方法は何ですか。
理想的には、アプリサーバーから接続してデータベースの使用方法と同様の予測を取得できるポートでテンソルフローリッスンを実行しているサーバー/クラスターが必要です。トレーニングは、ネットワークを介して同じサーバー/クラスターにトレーニングデータをフィードするcronジョブによって実行する必要があります。
実際に本番環境でテンソルフローをどのように使用しますか？ pythonがサーバーとして実行されているセットアップを構築し、pythonスクリプトを使用して予測を取得する必要がありますか？私はまだこれに慣れていませんが、感じていますそのようなスクリプトは、スケーラブルではないセッションなどを開く必要があります（私は数百の予測/秒について話しています）。
関連情報へのポインタは高く評価されます。何も見つかりませんでした。
今朝、私たちの同僚はGitHubで TensorFlow Serving をリリースしました。これは、あなたが言及したいくつかのユースケースに対応しています。これは、複数のモデルの高性能サービングをサポートするように設計されたTensorFlowの分散ラッパーです。一括処理とアプリサーバーからのインタラクティブリクエストの両方をサポートします。