La nueva versión LZ4 comprime más rápido gracias al multithreading

LZ4 se refiere tanto a un algoritmo de compresión particularmente rápido como a la implementación de referencia correspondiente. Este último consta de la biblioteca Liblz4 y el programa de línea de comandos “lz4”. El sistema completo ya está disponible en la versión v1.10.0, cuyo nombre en clave “Multicores Edition” ya indica una de las mayores innovaciones.

anuncio

subprocesos múltiples

LZ4 ahora distribuye su trabajo entre múltiples subprocesos. Esto aumenta significativamente la velocidad de los procesadores con múltiples núcleos. El salto en el rendimiento se nota especialmente en niveles de compresión muy altos, que comprimen las bobinas con una cantidad particularmente grande de energía cerebral (modos de alta compresión). el Resultados de referencia Según los desarrolladores, la nueva versión de LZ4 funciona hasta ocho veces más rápido que su predecesor. El equipo registró los mayores aumentos de velocidad en un sistema de prueba que utiliza un procesador AMD Ryzen 7 7840HS y Windows 11.

Además, las operaciones de E/S y descompresión se superponen. Además de esta mejora, el LZ4 necesitó sólo tres segundos en lugar de cinco para descargar un archivo de texto de 5 GB en un sistema de prueba no especificado. El overclocking no solo funciona en modos de alto estrés, sino que también es útil cuando se utilizan sistemas de almacenamiento rápidos, como dispositivos de almacenamiento NVMe.

Hablando de niveles de compresión: el LZ4 introduce un nuevo nivel de compresión 2. En este, el programa de llenado funciona un poco más lento que el nivel 1 estándar (compresión rápida), pero comprime con más fuerza. Sin embargo, los archivos generados no son tan pequeños como en el nivel 3 superior. Los desarrolladores recomiendan constantemente el nivel 2 si necesita archivos más pequeños que en el nivel 1, pero no puede esperar tanto como cuando usa el nivel 3.

Compresión del diccionario

La versión anterior ya soporta la llamada compresión de diccionario. Con este método de compresión, el empaquetador reemplaza el contenido del archivo duplicado con un código más corto. La herramienta recuerda las tareas correspondientes en un archivo llamado diccionario. Si varios archivos con contenido similar comparten el diccionario, esto puede reducir significativamente los requisitos de almacenamiento para copias comprimidas. Por lo tanto, utilizar un diccionario es especialmente útil para muchos archivos pequeños que no se pueden comprimir bien por sí solos.

Si bien la compresión de diccionario todavía se consideraba experimental en la versión anterior, LZ4 v1.10.0 ahora admite oficialmente este proceso. Los programadores, en particular, pueden utilizar diccionarios de forma segura en sus aplicaciones. La biblioteca Liblz4 introduce algunas funciones nuevas. Por ejemplo, “LZ4F_decompress_usingDict()” descomprime varios bloques de datos (en forma del llamado marco LZ4) mediante un diccionario. LZ4 también puede funcionar con diccionarios existentes creados por el generador de diccionarios para la herramienta de compresión Zstd.

Finalmente, el LZ4 admite las arquitecturas de procesador loongArch, RISC-V, m68k, MIPS y Sparc, y los desarrolladores también han modificado ligeramente el sistema de compilación. Todos los cambios se resumen Anuncio oficial juntos.

(Febrero)