web-dev-qa-db-ja.com

hbaseで複数の行を一括削除する方法は？

Hbaseテーブル「mytable」にこれらのキーを持つ次の行があります

user_1
user_2
user_3
...
user_9999999

Hbase Shellを使用して、次の行を削除します。

user_500からuser_900

削除する方法はありませんが、「BulkDeleteProcessor」を使用して削除する方法はありますか？

ここに表示されます：

https://github.com/Apache/hbase/blob/master/hbase-examples/src/test/Java/org/Apache/hadoop/hbase/coprocessor/example/TestBulkDeleteProtocol.Java

インポートに貼り付けてからシェルに貼り付けたいのですが、どうすればいいのかわかりません。 jruby hbaseシェルからこのエンドポイントをどのように使用できるか知っていますか？

   Table ht = TEST_UTIL.getConnection().getTable("my_table");
    long noOfDeletedRows = 0L;
    Batch.Call<BulkDeleteService, BulkDeleteResponse> callable =
      new Batch.Call<BulkDeleteService, BulkDeleteResponse>() {
      ServerRpcController controller = new ServerRpcController();
      BlockingRpcCallback<BulkDeleteResponse> rpcCallback =
        new BlockingRpcCallback<BulkDeleteResponse>();

      public BulkDeleteResponse call(BulkDeleteService service) throws IOException {
        Builder builder = BulkDeleteRequest.newBuilder();
        builder.setScan(ProtobufUtil.toScan(scan));
        builder.setDeleteType(deleteType);
        builder.setRowBatchSize(rowBatchSize);
        if (timeStamp != null) {
          builder.setTimestamp(timeStamp);
        }
        service.delete(controller, builder.build(), rpcCallback);
        return rpcCallback.get();
      }
    };
    Map<byte[], BulkDeleteResponse> result = ht.coprocessorService(BulkDeleteService.class, scan
        .getStartRow(), scan.getStopRow(), callable);
    for (BulkDeleteResponse response : result.values()) {
      noOfDeletedRows += response.getRowsDeleted();
    }
    ht.close();

JRubyを介してこれを行う方法がない場合は、Javaまたは、複数の行をすばやく削除する別の方法で問題ありません。

javahbasejruby
24
Rolando

他にもさまざまな優れた方法があるので、本当にシェルでそれをしたいですか。 1つの方法は、ネイティブJava API

  • 削除の配列リストを作成します
  • この配列リストをTable.deleteメソッドに渡します

方法1：すでにキーの範囲がわかっている場合。

public void massDelete(byte[] tableName) throws IOException {
    HTable table=(HTable)hbasePool.getTable(tableName);

    String tablePrefix = "user_";
    int startRange = 500;
    int endRange = 999;

    List<Delete> listOfBatchDelete = new ArrayList<Delete>();

    for(int i=startRange;i<=endRange;i++){
        String key = tablePrefix+i; 
        Delete d=new Delete(Bytes.toBytes(key));
        listOfBatchDelete.add(d);  
    }

    try {
        table.delete(listOfBatchDelete);
    } finally {
        if (hbasePool != null && table != null) {
            hbasePool.putTable(table);
        }
    }
}

方法2：スキャン結果に基づいてバッチ削除を実行する場合。

public bulkDelete(final HTable table) throws IOException {
    Scan s=new Scan();
    List<Delete> listOfBatchDelete = new ArrayList<Delete>();
    //add your filters to the scanner
    s.addFilter();
    ResultScanner scanner=table.getScanner(s);
    for (Result rr : scanner) {
        Delete d=new Delete(rr.getRow());
        listOfBatchDelete.add(d);
    }
    try {
        table.delete(listOfBatchDelete);
    } catch (Exception e) {
        LOGGER.log(e);

    }
}

次に、CoProcessorの使用について説明します。 HBaseの専門家でない限り、コプロセッサを使用しないでください。 CoProcessorsには、必要に応じて多くの組み込みの問題があります。詳細な説明を提供できます。第二に、HBaseから何かを削除しても、Hbaseから直接削除されることはありません。廃棄レコードはそのレコードに添付され、その後、メジャーコンパクション中に削除されます。

バッチ操作をサポートするためにコードを修正しました。

int batchSize = 50;
int batchCounter=0;
for(int i=startRange;i<=endRange;i++){

String key = tablePrefix+i;
Delete d=new Delete(Bytes.toBytes(key));
listOfBatchDelete.add(d);  
batchCounter++;

if(batchCounter==batchSize){
    try {
        table.delete(listOfBatchDelete);
        listOfBatchDelete.clear();
        batchCounter=0;
    }
}}

HBase confを作成し、テーブルインスタンスを取得します。

Configuration hConf = HBaseConfiguration.create(conf);
hConf.set("hbase.zookeeper.quorum", "Zookeeper IP");
hConf.set("hbase.zookeeper.property.clientPort", ZookeeperPort);

HTable hTable = new HTable(hConf, tableName);
16
Vikram Singh Chandel

HBaseテーブルから削除するレコードの行キーを既に認識している場合は、次のアプローチを使用できます

1.まず、これらの行キーを使用してリストオブジェクトを作成します

for (int rowKey = 1; rowKey <= 10; rowKey++) {
    deleteList.add(new Delete(Bytes.toBytes(rowKey + "")));
}

2.HBase Connectionを使用してTableオブジェクトを取得します

Table table = connection.getTable(TableName.valueOf(tableName));

3.テーブルオブジェクトを取得したら、リストを渡してdelete（）を呼び出します

table.delete(deleteList);

完全なコードは以下のようになります

Configuration config = HBaseConfiguration.create();
config.addResource(new Path("/etc/hbase/conf/hbase-site.xml"));
config.addResource(new Path("/etc/hadoop/conf/core-site.xml"));

String tableName = "users";

Connection connection = ConnectionFactory.createConnection(config);
Table table = connection.getTable(TableName.valueOf(tableName));

List<Delete> deleteList = new ArrayList<Delete>();

for (int rowKey = 500; rowKey <= 900; rowKey++) {
    deleteList.add(new Delete(Bytes.toBytes("user_" + rowKey)));
}

table.delete(deleteList);
4
Prasad Khode