技术标签: zip java 解压缩文件 ZipOutputStream 笔记杂谈 压缩文件
在现代计算机上,数据传输和存储越来越依赖于文件压缩技术。当我们需要发送大量数据时,压缩文件可以大大减少传输时间和网络带宽,而且压缩文件还可以帮助我们节省磁盘空间。在Java中提供了压缩和解压缩文件的功能,可以使用java.util.zip包中的类来实现。本篇将对如何使用 Java 实现单文多件压缩和解压缩进行总结。
文件压缩指的是将一个或多个文件通过压缩算法,将其存储为一个更小的文件,以便于存储和传输。压缩的原理是通过对文件的数据进行编码和压缩,使其占用更少的空间。压缩后的文件可以通过解压缩算法还原成原始的文件格式。在文件压缩过程中,常见的操作是将多个文件打包成一个压缩文件,例如zip、tar等格式。
常见的文件压缩格式包括:
Java提供了多种用于压缩和解压缩文件的API,主要包括以下类和方法:
通过使用Java 自带的 java.util.zip
类库下的ZipOutputStream
、ZipInputStream
、ZipEntry
实现文件的压缩和解压缩,其中ZipOutputStream
用于创建ZIP压缩文件输出流输出ZIP压缩文件,ZipInputStream
用于创建ZIP文件输入流读取ZIP文件用于解压缩而ZipEntry
对应ZIP压缩包中的每个被压缩对象;
生成ZIP文件
压缩单个文件或者单个文件夹方法,代码如下:
/**
* 压缩文件(支持单个文件和单个文件夹)
* @param sourceFile 被压缩文件/文件夹
* @param zipFile Zip文件
*/
public static void zipCompress(File sourceFile, File zipFile) {
try (ZipOutputStream zos = new ZipOutputStream(new FileOutputStream(zipFile))) {
// 设置压缩方法
zos.setMethod(ZipOutputStream.DEFLATED);
zos.setLevel(Deflater.BEST_COMPRESSION); // 默认为-1,压缩级别,1速度快,效率低,9 速度满,效率高
// zos.setLevel(Deflater.BEST_SPEED);
zos.setComment("zip文件说明");
// 处理文件夹
if (sourceFile.exists() && sourceFile.isDirectory() && Objects.nonNull(sourceFile.listFiles())){
Arrays.stream(Objects.requireNonNull(sourceFile.listFiles())).forEach(file -> {
addZipFile(file, zos);
});
}else{
addZipFile(sourceFile, zos);
}
} catch (IOException e) {
e.printStackTrace();
}
}
为了支持读取单个文件夹进行压缩,增加一个向ZipOutputStream
中添加ZipEntry
的方法,代码如下:
/**
* 向ZIP中添加文件
* @param file 源文件
* @param zos zip输出流
*/
private static void addZipFile(File file, ZipOutputStream zos){
if (!file.exists() || file.isDirectory()){
throw new RuntimeException("文件不存在或该文件为文件夹,请检查");
}
try {
// 读入文件
FileInputStream fis = new FileInputStream(file);
// 创建压缩对象并设置一些属性
ZipEntry entry = new ZipEntry(file.getName());
entry.setMethod(ZipEntry.DEFLATED); // 压缩方法默认为DEFLATED
// entry.setMethod(ZipEntry.STORED); // STORED(不压缩)。当使用STORED压缩方法时,需要设置未压缩的数据大小和CRC-32校验和,否则压缩和解压缩时会出现错误。
entry.setSize(file.length()); // 设置未压缩的数据大小,这里设置的是文件大小
// 计算 CRC-32 校验码
// byte[] data = Files.readAllBytes(file.toPath());
// CRC32 crc = new CRC32();
// crc.update(data);
// entry.setCrc(crc.getValue()); // 设置CRC-32校验和,用于保证压缩后的数据完整性,尽量别手动设置,可以通过CRC-32计算
entry.setCompressedSize(file.length()); // 设置压缩后的数据大小,这里设置的是使用DEFLATED方法压缩后的数据大小
entry.setExtra(new byte[]{
}); // 设置额外的数据,这里设置为空
entry.setComment("file comment"); // 设置ZipEntry的注释,即文件说明
entry.setCreationTime(FileTime.from(Instant.now())); // 设置文件的创建时间
entry.setLastAccessTime(FileTime.from(Instant.now())); // 设置文件的最后访问时间
entry.setLastModifiedTime(FileTime.from(Instant.now())); // 设置文件的最后修改时间。
// 向ZIP输出流中添加一个ZIP实体,构造方法中的name参数指定文件在ZIP包中的文件名
zos.putNextEntry(entry);
// 向ZIP实体中写入内容
byte[] buf = new byte[1024];
int len;
while ((len = fis.read(buf)) > 0) {
zos.write(buf, 0, len);
}
// 关闭ZipEntry
zos.closeEntry();
} catch (IOException e) {
e.printStackTrace();
}
}
注意
:
涉及到文件IO流,如果没有使用try with source 的语法,一定要记得关闭输入输出流;
使用Java.util.zip下的工具类压缩成ZIP不支持设置ZIP密码且每种模式下生成的ZIP文件大小大于等于原文件/文件夹;
当使用STORED压缩方法时,需要设置未压缩的数据大小和CRC-32校验和,该值需要借助CRC-32计算非常的麻烦,不设置此值会抛出异常;
对于压缩,可以使用 ZipOutputStream 的 putNextEntry 方法逐个添加文件,避免将所有文件一次性读入内存;
可以设置缓冲区大小,例如对于文件的读取和写入,可以设置缓冲区大小为 4KB 或者 8KB,减少内存的占用;
对于解压缩,可以使用 ZipInputStream 的 getNextEntry 方法逐个读取文件,避免将所有文件一次性读入内存;
解压缩ZIP文件
将ZIP文件解压缩支持生成文件夹,代码如下:
/**
* 解压缩ZIP文件
* @param zipFile ZIP文件
* @param destDir 目标路径
*/
public static void zipDecompress(File zipFile, File destDir) {
byte[] buffer = new byte[1024];
try (ZipInputStream zis = new ZipInputStream(new FileInputStream(zipFile))) {
ZipEntry entry = zis.getNextEntry();
while (entry != null) {
File file = new File(destDir, entry.getName());
if (entry.isDirectory()) {
file.mkdirs();
} else {
File parent = file.getParentFile();
if (!parent.exists()) {
parent.mkdirs();
}
try (FileOutputStream fos = new FileOutputStream(file)) {
int len;
while ((len = zis.read(buffer)) > 0) {
fos.write(buffer, 0, len);
}
}
}
entry = zis.getNextEntry();
}
} catch (IOException e) {
e.printStackTrace();
}
}
如何避免压缩文件中的注入攻击?
压缩文件中的路径名和文件名可以被精心构造的攻击者利用,从而使得解压缩的过程中可能会导致路径遍历、文件覆盖等问题,进而导致安全问题。为了避免这些安全问题,可以进行如下处理:
主要测试使用上述代码压缩单文件和解压缩单文件能否成功以后测量单个文件的处理耗时,同时测试单文件夹多文件压缩和解压缩能否成功以及处理耗时,单元测试代码如下:
@Test
void testJavaUtilZip(){
// 测试压缩和解压缩单文件ZIP
// 被压缩的MP4单文件,大小112.5MB
File inputFile = new File("/Users/zlc/Documents/own/images/GPT-4 Developer Livestream.mp4");
// ZIP文件路径
File zipFile = new File("/Users/zlc/Documents/own/mp4.zip");
// ZIP 解压缩路径
File unzipFile = new File("/Users/zlc/Documents/own/unzip");
long start = System.currentTimeMillis();
// 压缩文件
ZipFileUtil.zipCompress(inputFile, zipFile);
long end = System.currentTimeMillis();
System.out.println("ZIP-压缩单文件耗时:" + (end - start) + "毫秒");
start = System.currentTimeMillis();
ZipFileUtil.zipDecompress(zipFile, unzipFile);
end = System.currentTimeMillis();
System.out.println("ZIP-解压缩单文件耗时:" + (end - start) + "毫秒");
// 单文件夹多文件压缩和解压缩测试
// 文件夹大小2.42G
File inputFiles = new File("/Users/zlc/Documents/own/images");
File zipFiles = new File("/Users/zlc/Documents/own/imagesZip.zip");
File unzipFiles = new File("/Users/zlc/Documents/own/imagesUnzip");
start = System.currentTimeMillis();
// 压缩文件
ZipFileUtil.zipCompress(inputFiles, zipFiles);
end = System.currentTimeMillis();
System.out.println("ZIP - 多文件压缩耗时:" + (end - start) + "毫秒");
start = System.currentTimeMillis();
ZipFileUtil.zipDecompress(zipFiles, unzipFiles);
end = System.currentTimeMillis();
System.out.println("ZIP - 多文件解压缩耗时:" + (end - start) + "毫秒");
}
测试结果如下:
ZIP-压缩单文件耗时:5492毫秒
ZIP-解压缩单文件耗时:1920毫秒
ZIP - 多文件压缩耗时:136059毫秒
ZIP - 多文件解压缩耗时:45739毫秒
同时测试了设置不同压缩等级的耗时比较,结果如下:
// 不同压缩等级下的处理耗时
BEST_COMPRESSION 2.43G 文件夹耗时119801毫秒快两分钟了
BEST_SPEED 2.43G 文件夹耗时112646毫秒 也没差多少,但确实快了
结论:
测试环境为MacOS 四核Intel Core i7,16G内存,处理将近2.5G大小的文件夹耗时接近两分钟,效率十分低下,在总文件大小不大的时候可以考虑使用JDK自带的压缩工具类。
设计一个API,通过使用Hutool生成两个CSV文件和一个Excel文件,将这三个文件放入到ZIP压缩包中,当通过浏览器调用API时,下载ZIP压缩包。
同时在服务器上不生成CVS、EXCEL以及Zip文件而是直接通过HttpServletResponse将文件传送给客户端,避免服务器因过多生成这些文件导致服务硬盘不够用(PS:生成文件以后基本上不会有人管了,会随着时间的增加爆炸式增加,当然如果你需要留存建议生成本地文件存储到OSS中),代码如下:
/**
* 下载ZIP
* @param response HttpServletResponse 响应流
* @return zip file
*/
@GetMapping(value = "/downloadZip")
public String downloadZipFile(HttpServletResponse response) {
// 设置响应头
response.setContentType("application/octet-stream");
response.setHeader("Content-Disposition", "attachment; filename=download.zip");
try (ZipOutputStream outputStream = new ZipOutputStream(response.getOutputStream())) {
ExcelWriter writer = new ExcelWriter(true);
List<String> header = Arrays.asList("开始日期", "结束日期", "算法厂商", "期末资产总额", "累计成交金额",
"期间委托笔数", "期间成交笔数", "期间撤单笔数");
writer.writeHeadRow(header);
List<List<String>> rows = new ArrayList<>();
rows.add(Arrays.asList("张三", "里斯", "男", "张三", "里斯", "男", "张三", "里斯"));
rows.add(Arrays.asList("李四", "王武", "女", "张三", "里斯", "男", "张三", "里斯"));
writer.write(rows);
writer.passRows(1);
List<String> header1 = Arrays.asList("日期", "资金账号", "算法母单编号", "委托编号", "交易所", "股票代码",
"委托数量", "交易方向", "订单类型", "委托价格", "委托状态", "累计成交数量", "累计成交金额");
writer.writeHeadRow(header1);
writer.autoSizeColumn(writer.getCurrentRow());
List<List<String>> rows2 = new ArrayList<>();
rows2.add(Arrays.asList("张三", "里斯", "男", "张三", "里斯", "男", "张三", "里斯", "找大大", "赵打打", "炸", "茅台", "米线"));
rows2.add(Arrays.asList("李四", "王武", "女", "张三", "里斯", "男", "张三", "里斯", "找大大", "赵打打", "炸", "茅台", "米线"));
writer.write(rows2);
writer.autoSizeColumnAll();
ZipEntry entry = new ZipEntry("数据.xlsx");
outputStream.putNextEntry(entry);
writer.flush(outputStream);
writer.close();
outputStream.closeEntry();
ZipEntry entry1 = new ZipEntry("母单.csv");
outputStream.putNextEntry(entry1);
CsvWriter csvWriter1 = new CsvWriter(new OutputStreamWriter(outputStream));
String[] csvHead1 = {
"日期", "资金账号", "算法厂商", "算法", "算法母单编号", "交易所", "股票代码", "委托数量", "交易方向", "启动时间", "停止时间", "算法状态"};
csvWriter1.writeLine(csvHead1);
String[] csvData1 = {
"20230203", "98830901", "XX", "TWAP", "12984", "SH", "600000", "10000", "4", "102311", "112311", "1"};
String[] csvData2 = {
"20230203", "98830901", "XX", "TWAP", "12984", "SH", "600000", "10000", "4", "102311", "112311", "1"};
csvWriter1.writeLine(csvData1);
csvWriter1.writeLine(csvData2);
csvWriter1.flush();
outputStream.closeEntry();
ZipEntry entry2 = new ZipEntry("子单.csv");
outputStream.putNextEntry(entry2);
CsvWriter csvWriter2 = new CsvWriter(new OutputStreamWriter(outputStream));
String[] csvHead2 = {
"日期", "资金账号", "算法母单编号", "委托编号", "交易所", "股票代码", "委托数量", "交易方向", "订单类型", "委托价格", "委托状态", "累计成交数量", "累计成交金额"};
csvWriter2.writeLine(csvHead2);
String[] csvData3 = {
"20230203", "98830901", "12984", "ord1122", "SH", "600000", "1000", "4", "1", "7.23", "1", "800", "5600"};
String[] csvData4 = {
"20230203", "98830901", "12984", "ord1122", "SH", "600000", "1000", "4", "1", "7.23", "1", "800", "5600"};
csvWriter2.writeLine(csvData3);
csvWriter2.writeLine(csvData4);
csvWriter2.flush();
outputStream.closeEntry();
outputStream.finish();
return "success";
} catch (Exception e) {
return "faild";
}
}
Java 自带的 java.util.zip
类库是一个基础的压缩和解压缩类库,它提供了很基本的压缩和解压缩功能。在处理小型文件或数据时,java.util.zip
是一个可行的选择。不过,对于大型文件或数据的处理,效率可能会受到影响。相比之下,一些第三方的类库如 Apache Commons Compress、Zip4j 等提供了更为高级的压缩和解压缩功能,同时也提供了更好的性能。
本文首发于香菜喵,打开微信随时随地读,文章下方 ↓ ↓ ↓
文章浏览阅读7.5k次,点赞28次,收藏411次。Java面试宝典(含阿里、腾迅大厂java面试真题,java数据结构,java并发,jvm等java面试真题)以100+企业大厂真实高频Java面试真题为主干,辅以数据结构的可视化展示、算法的可视化展示,窥探底层的工具使用等等可视化手段,用直观、形象的方式展现复杂的知识内容,让学生更清晰、更容易地掌握这些Java面试题与Java知识点。简单的说,就是一次大的操作由不同的小操作组成,这些小的操作分布在不同的服务器上,且属于不同的应用,分布式事务需要保证这些小操作要么全部成功,要么全部失败。
文章浏览阅读1.4k次。UE4的AI基础学习_ue4行为树
文章浏览阅读2.5k次。摘要:自互联网行业发展以来,web前端不断发展变化着。在前人的基础上,后人有幸能够站在前人的肩膀上行走。前端的发展变化不仅是继承式的迭代,同时也是不断的变革和创造。一、前端到底是个什么?简单点说,浏览器呈现出来的页面,给用户看的、操作的就是前端(客户端);你看不到的,类似一些游戏数据、应用数据之类的就是后端(服务端)。那么再简单点就可以说,前端指的就是浏览器端,后端指的就是为浏览器提供服务和数据的服务器端。这是比较准确的描述,如果往大了讲,你所有看到的一切,网页、移动端网页、小程序、甚._华为云前端发版
文章浏览阅读783次,点赞18次,收藏26次。监听DOM变化(属性变动、目标子节点变化、观察后代节点等)_mutationobserver.observe
文章浏览阅读9.8k次,点赞13次,收藏65次。freopen 和 fopen 都是C的标准库函数被包含于C标准库头文件中。fopen就是我们最熟悉的打开一个文件用于写入or读取freopen 是打开一个文件,用于接收输入输出流的数据。_freopen
文章浏览阅读3.8k次。转载自: https://blog.csdn.net/dcrmg/article/details/79546962python程序中使用 import XXX 时,python解析器会在当前目录、已安装和第三方模块中搜索 xxx,如果都搜索不到就会报错。 使用sys.path.append()方法可以临时添加搜索路径,方便更简洁的import其他包和模块。这种方法导入的路径会在python程..._sys. addpath
文章浏览阅读539次,点赞11次,收藏9次。正向的LSTM网络接受序列数据的初始状态,逐步学习前向信息并更新内部隐藏状态,最终生成前向隐藏状态序列。反向的LSTM网络则以相反的顺序处理序列数据,并生成相应的反向隐藏状态序列。本文将介绍使用Matlab实现的BiLSTM算法,并展示其在多输入单输出回归问题上的应用。然后,我们定义了BiLSTM模型的层次结构,包括序列输入层、BiLSTM层、全连接层和回归层。与传统的单向LSTM相比,BiLSTM能够同时利用序列数据的前向和后向信息,从而提高模型在长期依赖关系上的学习能力。_双向bilstm模型
文章浏览阅读295次,点赞9次,收藏11次。D78XX系列是用于各种电视机、收录机、电子仪器、设备的稳压电源电路。包括D7805、D7806、 D7808、 D7809、 D7810、 D7812、 D7815。● 输出电流大,IOMAX= 1A.● 封装形式: T0-220。● 内设过热、短路保护电路。
文章浏览阅读456次,点赞8次,收藏2次。じゃ、始めましょう。--最近在学外语,对于IT从业者来说,会是一项优势。_stm32f103c8t6csdn
文章浏览阅读7.1k次,点赞41次,收藏196次。文章目录1.Anaconda是什么2.Anaconda下载3.Anaconda安装4.Anaconda环境变量配置5.检验是否安装成功6.检验Anaconda Navifator是否安装成功7.修改Anaconda镜像修改为清华大学镜像移除清华大学镜像8.PyCharm配置Anaconda方式一(建立新的项目时)方式二(已经打开项目)9.总结1.Anaconda是什么Anaconda指的是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。Anaconda也是P_anaconda环境变量e:\anaconda3\library\usr\bin
文章浏览阅读2k次,点赞11次,收藏44次。电脑快捷键不仅可以帮助我们熟练的操作电脑,还可以帮助我们快速提升自己的工作效率,从此跟加班说拜拜!但由于电脑快捷键过于繁多不方便我们记忆!那么今天小编为大家整理的70个Wordows、Ctrl、Alt、Shift组合快捷键,运用好的话能够帮你工作效率提升100倍!希望能为大家派上用途!下面以图片&文字的形式展现给大家!文字可以直接复制!图片也可以直接拿去收藏!..._快捷键可以帮助自己
文章浏览阅读2.2w次,点赞317次,收藏636次。明天就是女朋友的生日了, 是时候展现专属于程序员的浪漫了!你打算怎么给心爱的人表达爱意?鲜花礼物?代码表白?还是创意DIY?或者…无论那种形式,快来秀我们一脸吧!_用html做一个生日快乐网页