Este tutorial mostrar\u00e1 como leer un archivo bastante pesado(largo) de una manera eficiente.<\/p>\n
La forma est\u00e1ndar de leer las l\u00edneas de un archivo es en memoria, ambas librer\u00edas Guava<\/em> <\/a>y Apache Commons<\/em> <\/a>realizan esta tarea de una manera muy sencilla:<\/p>\n <\/p>\n [java] [java] El problema con este enfoque es que todas las l\u00edneas son mantenidas en memoria, lo cual provocar\u00e1 f\u00e1cilmente un error<\/strong> OutOfMemoryError<\/strong> <\/em><\/a>si el archivo es demasiado grande.<\/p>\n Por ejemplo al leer un archivo de 1Gb:<\/p>\n [java] Al inicio empieza con peque\u00f1o consumo de memoria:<\/p>\n [bash] Sin embargo, luego de que todo el archivo ha sido procesado:<\/p>\n [bash] Lo que significa que alrededor de 2.1 Gb de memoria son consumidas por el proceso<\/strong> \u2013 la raz\u00f3n es simple \u2013 ahora todas las lineas del archivo est\u00e1n almacenadas en memoria.<\/p>\n Parece obvio que al mantener en memoria todo el contenido del archivo, agotar\u00e1 r\u00e1pidamente la memoria disponible<\/strong>, aunque dispongamos de mucha memoria.<\/p>\n De echo, nosotros no necesitamos tener todas las l\u00edneas del fichero cargadas en memoria, en su lugar, nosotros necesitamos poder ser capaces de recorrer l\u00ednea a l\u00ednea con algo de procesamiento y luego desecharlo<\/strong>. Eso es lo que vamos ha hacer, iterar por cada l\u00ednea sin tener la necesidad de almacenarlo en memoria.<\/p>\n Tomen en cuenta la soluci\u00f3n, vamos a usar la clase java.util.Scanner<\/strong><\/em><\/a> para correr por el contenido del archivo para recuperar las l\u00edneas en serie, una a una:<\/p>\n [java] Esta soluci\u00f3n itera a trav\u00e9s de todas las l\u00edneas en el archivo, permitiendo el procesamiento de cada l\u00ednea, sin mantener referencias a el, lo que quiere decir sin mantenerlo en memoria.<\/p>\n Este peque\u00f1o art\u00edculo muestra como procesar l\u00edneas de un archivo grande sin agotar la memoria disponible, lo que resulta muy \u00fatil cuando se trabaja con este tipo de archivos.<\/p>\n Fuente: http:\/\/www.baeldung.com\/java-read-lines-large-file<\/a><\/p>\n\n
\nFiles.readLines(new File(path), Charsets.UTF_8);[\/java]<\/p>\n
\nFileUtils.readLines(new File(path));
\n[\/java]<\/p>\n
\n@Test
\npublic void givenUsingGuava_whenIteratingAFile_thenWorks()
\n throws IOException {
\n String path = …
\n Files.readLines(new File(path), Charsets.UTF_8);
\n}
\n[\/java]<\/p>\n
\n[main] INFO org.baeldung.java.CoreJavaIoUnitTest – Total Memory: 128 Mb
\n[main] INFO org.baeldung.java.CoreJavaIoUnitTest – Free Memory: 116 Mb
\n[\/bash]<\/p>\n
\n[main] INFO org.baeldung.java.CoreJavaIoUnitTest – Total Memory: 2666 Mb
\n[main] INFO org.baeldung.java.CoreJavaIoUnitTest – Free Memory: 490 Mb
\n[\/bash]<\/p>\nHaciendo \u00abStreaming\u00bb por el archivo<\/h2>\n
\nFileInputStream inputStream = null;
\nScanner sc = null;
\ntry {
\n inputStream = new FileInputStream(path);
\n sc = new Scanner(inputStream, "UTF-8");
\n while (sc.hasNextLine()) {
\n String line = sc.nextLine();
\n \/\/ System.out.println(line);
\n }
\n \/\/ note that Scanner suppresses exceptions
\n if (sc.ioException() != null) {
\n throw sc.ioException();
\n }
\n} finally {
\n if (inputStream != null) {
\n inputStream.close();
\n }
\n if (sc != null) {
\n sc.close();
\n }
\n}
\n[\/java]<\/p>\nConclusi\u00f3n<\/h2>\n