web-dev-qa-db-ja.com

IDE）を使用してストームプロダクションクラスターでトポロジを送信する方法

IDEを使用して本番クラスターにトポロジを送信しているときにMust submit topologies using the 'storm' client script so that StormSubmitter knows which jar to uploadの問題に直面していますが、storm jarコマンドを使用してコマンドラインで実行すると、天国のように実行されます。 githublink から同じ例を見てきました。

トポロジを送信するために、私はこれらの行のセットを使用しています

conf.put(Config.NIMBUS_Host, NIMBUS_NODE);
conf.put(Config.NIMBUS_THRIFT_PORT,6627);
conf.put(Config.STORM_ZOOKEEPER_PORT,2181);
conf.put(Config.STORM_ZOOKEEPER_SERVERS,ZOOKEEPER_ID);
conf.setNumWorkers(20);
conf.setMaxSpoutPending(5000);
StormSubmitter submitter = new StormSubmitter();
submitter.submitTopology("test", conf, builder.createTopology());

これが実行する正しいアプローチであるかどうかを教えてください。

javaapache-storm
17
abhi

よく解決策を見つけました。 「stormjar」を実行すると、送信されたjar内のstorm.jarのプロパティフラグがトリガーされます。したがって、プログラムでjarを送信する場合は、この方法でフラグを設定するだけです。

System.setProperty("storm.jar", <path-to-jar>);

例えば：

System.setProperty("storm.jar", "/Users/programming/Apache-storm-1.0.1/lib/storm-core-1.0.1.jar");
StormSubmitter.submitTopology("myTopology", config, builder.createTopology());
29
abhi

トポロジをリモートStormクラスターに送信するには、そのjarをnimbusマシンにアップロードしてから、NimbusClientを使用してそのjarをクラスターに送信する必要があります。
次のように実行できます。

Map storm_conf = Utils.readStormConfig();
storm_conf.put("nimbus.Host", "<Nimbus Machine IP>");
Client client = NimbusClient.getConfiguredClient(storm_conf)
                                .getClient();
String inputJar = "C:\\workspace\\TestStormRunner\\target\\TestStormRunner-0.0.1-SNAPSHOT-jar-with-dependencies.jar";
NimbusClient nimbus = new NimbusClient(storm_conf, "<Nimbus Machine IP>",
                                <Nimbus Machine Port>);
 // upload topology jar to Cluster using StormSubmitter
String uploadedJarLocation = StormSubmitter.submitJar(storm_conf,
                                inputJar);

String jsonConf = JSONValue.toJSONString(storm_conf);
nimbus.getClient().submitTopology("testtopology",
                      <uploadedJarLocation>, jsonConf, builder.createTopology());

実例は次のとおりです： リモートストームクラスターへのトポロジの送信

5
Nishu Tayal

私は自分自身を提出するためのJavaコードを実行しませんでしたが、ストームコマンドをチェックしました-そしてそれはpythonファイルであり、Javaおよび http://nathanmarz.github.com/storm/doc/backtype/storm/StormSubmitter.html クラス

心配する必要があると思うのは、実行時に必要なすべてのライブラリを含めることだけです。

4
Alex

@abhiと@NishuTayalの回答に基づいて、この問題を解決しました。コードをここに投稿したいと思います。

public static void submitLocalTopologyWay1(String topologyName, Config topologyConf, 
        StormTopology topology, String localJar) {
    try {
        //get default storm config
        Map defaultStormConf = Utils.readStormConfig();
        defaultStormConf.putAll(topologyConf);

        //set JAR
        System.setProperty("storm.jar",localJar);

        //submit topology
        StormSubmitter.submitTopology(topologyName, defaultStormConf, topology);

    } catch (Exception e) {
        String errorMsg = "can't deploy topology " + topologyName + ", " + e.getMessage();
        System.out.println(errorMsg);
        e.printStackTrace();
    } 
}

public static void submitLocalTopologyWay2(String topologyName, Config topologyConf, 
        StormTopology topology, String localJar) {
    try {
        //get nimbus client
        Map defaultStormConf = Utils.readStormConfig();
        defaultStormConf.putAll(topologyConf);
        Client client = NimbusClient.getConfiguredClient(defaultStormConf).getClient();

        //upload JAR
        String remoteJar = StormSubmitter.submitJar(defaultStormConf, localJar);

        //submit topology
        client.submitTopology(topologyName, remoteJar, JSONValue.toJSONString(topologyConf), topology);

    } catch (Exception e) {
        String errorMsg = "can't deploy topology " + topologyName + ", " + e.getMessage();
        System.out.println(errorMsg);
        e.printStackTrace();
    } 
}

次に、ここにテストがあります。最初にコードをJARファイルにビルドする必要があります。

public void testSubmitTopologySubmitLocalTopologyWay1() {   
    Config config = new Config();
    config.put(Config.NIMBUS_Host,"9.119.84.179");   
    config.put(Config.NIMBUS_THRIFT_PORT, 6627);
    config.put(Config.STORM_ZOOKEEPER_SERVERS, Arrays.asList("9.119.84.177","9.119.84.178","9.119.84.176")); 
    config.put(Config.STORM_ZOOKEEPER_PORT,2181);

    config.put(Config.TOPOLOGY_WORKERS, 3);

    RemoteSubmitter.submitLocalTopologyWay1("Word-count-test-1", config, 
            WordCountTopology.buildTopology(), // your topology
            "C:\\MyWorkspace\\project\\storm-sample-0.0.1-SNAPSHOT-jar-with-dependencies.jar");//the JAR file
}
3
leon