web-dev-qa-db-ja.com

Java 8を使用して、ディレクトリおよびサブディレクトリ内のファイルを検索します

Java 8でアルゴリズムを実装する方法。開始ディレクトリとファイル名を指定すると、指定したディレクトリまたは5レベル以下でネストされたサブディレクトリ内のファイルを検索します。

たとえば、次のディレクトリ構造について考えてみます。

Folder 1
   Folder 2
      Folder 3
        Folder 4
            Folder 5
                Folder 6
                    nfiles.txt....
                MyFile.txt
                xfile.txt
            filesInFolder4....
        filesInFolder3...
   .....

アルゴリズムは、Folder 5に含まれるファイルまでファイルを検索し、指定されたファイル名のファイルが存在するかどうかを報告する必要がありますか？

Java 8を使用してそれを行う方法は？

javajava-8directoryfilesystemsnio
6
KayV

Files.find メソッドをご覧ください。

try (Stream<Path> stream = Files.find(Paths.get("Folder 1"), 5,
            (path, attr) -> path.getFileName().toString().equals("Myfile.txt") )) {
        System.out.println(stream.findAny().isPresent());
} catch (IOException e) {
        e.printStackTrace();
}
12
Anton Balaniuc

次のようにFiles.findとFiles.walkで動作するソリューションを見つけました。

// Finding a file upto x level in File Directory using NIO Files.find
    Path start = Paths.get("/Users/***/Documents/server_pull");
    int maxDepth = 5;
    try(Stream<Path> stream = Files.find(start, 
                                        maxDepth, 
                                        (path, attr) -> String.valueOf(path).endsWith(".json"))){
        String fileName = stream
                            .sorted()
                            .map(String::valueOf)
                            .filter((path) -> {
                                //System.out.println("In Filter : "+path);
                                return String.valueOf(path).endsWith("system_health_12_55_TestServer.json");
                            })
                            .collect(Collectors.joining());
        System.out.println("fileName : "+fileName);
    }catch(Exception e){
        e.printStackTrace();
    }

// Finding a file upto x level in File Directory using NIO Files.walk

    Path startWalk = Paths.get("/Users/***/Documents/server_pull");
    int depth = 5;
    try( Stream<Path> stream1 = Files.walk(startWalk, 
                                            depth)){
        String walkedFile = stream1
                            .map(String::valueOf)
                            .filter(path -> {
                                return String.valueOf(path).endsWith("system_health_12_55_TestServer.json");
                            })
                            .sorted()
                            .collect(Collectors.joining());
        System.out.println("walkedFile = "+walkedFile);

    }catch(Exception e){
        e.printStackTrace();
    }

WalkFileTreeよりも簡単なようです...

1
KayV

私はこの問題についてもう少しダウンドリルを行い、次のようにForkJoinPoolを使用して同期してこれを行う方法を見つけました。

import Java.io.File;
import Java.util.ArrayList;
import Java.util.List;
import Java.util.concurrent.ForkJoinPool;
import Java.util.concurrent.RecursiveTask;
import Java.util.concurrent.TimeUnit;



public class ForkJoinFolderProcessor {

    public static void main(String[] args) {
        ForkJoinPool pool = new ForkJoinPool();


        MyFolderProcessor hadoop = new MyFolderProcessor("/Users/*****/backups/h/", "log");
        MyFolderProcessor t8 = new MyFolderProcessor("/Users/*******/Apache-Tomcat-9.0.2", "log");
        MyFolderProcessor t9 = new MyFolderProcessor("/Users/******/Apache-Tomcat-8.5.20", "log");

        pool.execute(hadoop);
        pool.execute(t8);
        pool.execute(t9);

        do {
            System.out.println("---------------------");
            System.out.println("Parallelism : "+pool.getParallelism());
            System.out.println("Active Threads : "+pool.getActiveThreadCount());
            System.out.println("Task Count : "+pool.getQueuedTaskCount());
            System.out.println("Steal Count : "+pool.getStealCount());

            System.out.println("---------------------");

            try
             {
                TimeUnit.SECONDS.sleep(1);
             } catch (InterruptedException e)
             {
                e.printStackTrace();
             }
        }while((!hadoop.isDone()) || (!t8.isDone()) || (!t9.isDone()));

        pool.shutdown();

        List<String> results = hadoop.join();
        System.out.println("Hadoop: Files found  : " + results.size()+" "+results.toString());
        results = t8.join();
        System.out.println("T8: Files found  : " + results.size()+" "+results.toString());
        results = t9.join();
        System.out.println("T9: Files found  : " + results.size()+" "+results.toString());

    }

}

class MyFolderProcessor extends RecursiveTask<List<String>>{

    private static final long serialVersionUID = 1L;

    private final String filepath;
    private final String fileExt;

    public MyFolderProcessor(String path, String extension) {
        this.filepath = path;
        this.fileExt = extension;
    }

    @Override
    protected List<String> compute() {

        List<String> list = new ArrayList<String>();
        List<MyFolderProcessor> tasks = new ArrayList<MyFolderProcessor>();

        File file = new File(filepath);
        File content[] = file.listFiles();

        if(content != null) {
                for(File f : content) {
                    if(f.isDirectory()) {
                        MyFolderProcessor task = new MyFolderProcessor(f.getAbsolutePath(), fileExt);
                        task.fork();
                        tasks.add(task);
                    }else {
                        if(checkFile(f.getName()))
                            list.add(f.getAbsolutePath());
                    }
                }
        }
        if (tasks.size() > 50) {
            System.out.println("tasks ran."+ file.getAbsolutePath()+" "+ tasks.size());
        }
        addResultsFromTasks(list, tasks);

        return list;
    }

    private void addResultsFromTasks(List<String> list, List<MyFolderProcessor> tasks) {
        for (MyFolderProcessor item : tasks) {
            list.addAll(item.join());
        }
    }

    private boolean checkFile(String name) {
        return name.endsWith(fileExt);
    }

}

より複雑なソリューションですが、マルチスレッド環境の場合はかなりうまく機能します。

0
KayV