本文介绍下在linux系统中,分割大文件的方法,比如一个5gb日志文件切割为很多小块.
在linux中分割大文件,比如一个5gb日志文件,需要把它分成多个小文件,分割后以利于普通的文本编辑器读取。
有时,需要传输20gb的大文件到另一台服务器,也需要把它分割成多个文件,这样便于传输数据。
以下通过五个不同的例子,来讲解Linux下分割大文件的方法,供大家参考。
例1、以每个文件1000行分割
split命令分割文件成每个文件1000行,并且文件名依次为 [前缀]aa, [前缀]ab, [前缀]ac等,默认的前缀是X,每个文件的行数为1000行。
命令:
$ split mylog -l 1000
$ wc -l *
4450 mylog
1000 xaa
1000 xab
1000 xac
1000 xad
450 xae
例2、以每个文件20MB分割
分割文件为多个20MB的文件,附带-b选项。
命令:
$ split -b 20M logdata
$ ls -lh | tail -n +2
-rw------- 1 sathiya sathiya 102M Jul 25 18:47 logdata
-rw------- 1 sathiya sathiya 20M Jul 25 19:20 xaa
-rw------- 1 sathiya sathiya 20M Jul 25 19:20 xab
-rw------- 1 sathiya sathiya 20M Jul 25 19:20 xac
-rw------- 1 sathiya sathiya 20M Jul 25 19:20 xad
-rw------- 1 sathiya sathiya 20M Jul 25 19:20 xae
-rw------- 1 sathiya sathiya 1.6M Jul 25 19:20 xaf
例3、以每个文件50MB指定前缀分割
使用–bytes选项把文件分割成多个50MB的文件,–bytes类似-b选项,在第二个参数指定前缀。
命令:
$ split --bytes=50M logdata mydatafile
$ ls -lh
total 204M
-rw------- 1 sathiya sathiya 102M Jul 25 18:47 logdata
-rw------- 1 sathiya sathiya 50M Jul 25 19:23 mydatafileaa
-rw------- 1 sathiya sathiya 50M Jul 25 19:23 mydatafileab
-rw------- 1 sathiya sathiya 1.6M Jul 25 19:23 mydatafileac
例4、基于行数分割文件
使用-l选项指定行数来把文件分割成多个行数相同的文件。
命令:
$ wc -l testfile
2591 testfile
$ split -l 1500 testfile importantlog
$ wc -l *
1500 importantlogaa
1091 importantlogab
2591 testfile
例5、以数字后缀命名分割文件
使用-d选项可以指定后缀为数字,如00,01,02..,而不是aa,ab,ac。
命令:
$ split -d testfile
$ ls
testfile x00 x01 x02
可用选项
短选项 长选项 选项描述
-b –bytes=SIZE SIZE 值为每一输出档案的大小,单位为 byte。
-C –line-bytes=SIZE 每一输出档中,单行的最大 byte 数。
-d –numeric-suffixes 使用数字作为后缀。
-l –lines=NUMBER NUMBER 值为每一输出档的列数大小。</p> <p>短选项 长选项 选项描述
-b –bytes=SIZE SIZE 值为每一输出档案的大小,单位为 byte。
-C –line-bytes=SIZE 每一输出档中,单行的最大 byte 数。
-d –numeric-suffixes 使用数字作为后缀。
-l –lines=NUMBER NUMBER 值为每一输出档的列数大小。
相关推荐
linux系统下分割大文件的方法.docx
Linux tomcat下catalina.out日志文件分割 前言: tomcat默认使用Java.util.logging记录日志,默认只记录tomcat的日志,不记录应用的日志。tomcat支持采用log4j进行日志记录,配置方法如下: 1.更新最新的tomcat_juli...
Linux Tomcat下使用Log4j接管catalina.out 日志文件生成方式,按天分割,解决catalina.out日志文件过大问题 1、将log4j-1.2.17.jar、tomcat-juli-adapters.jar两个jar包和log4j.properties文件拷贝到 Tomcat 的 lib...
linux下文件分割可以通过split命令来实现,可以将一个大文件拆分成指定大小的多个文件,并且拆分速度非常的快,可以指定按行数分割和安大小分割两种模式。Linux下文件合并可以通过cat命令来实现,非常简单。 在...
针对linux环境上tomcat不断输出到catalina.out文件的问题,提供一个按天分割catalina.out的脚本,以及操作说明。绝对可用!
第一章 Linux系统安装与环境介绍 5 1.1 Linux产生 5 1.2 Linux功能 5 1.3 Linux术语 5 1.4 Kernel 5 1.5 版本 5 1.6 安装RedHat Enterprise Linux ES 6 1.7 开关机操作 7 1.8 桌面环境简介 7 1.9 安装故障排除 7 ...
模拟压缩器软件实现的文件分割器,可以对文件按自己定义的大小分割
这种情况下,可以先将大文件分割成小文件后分批传输,传完后再合并文件。 1. 分割文件 文件分割可以使用split命令,该即支持文本文件分割,又支持二进制文件分割;而合并文件可以使用cat命令。 1.1 文本文件分割 ...
Linux操作系统基础学习.适合初学者使用的学习资料,内容丰富详实,一共有二十几章。另附GNU 的 GPL 条文 version 2。EXT2 / EXT3 文件系统。一个简单的 SPFdisk 分割实例。
linux下提供了split命令来分割文件。 split -db 2G original_file filename d: 后缀用00,01,02……如果不使用这个选项,就是用aa、ab、ac…… b: 指定分块大小。这里指定为2G filename: 指定要生成的文件的文件名,...
csplit命令用于将一个大文件分割成小的碎片,并且将分割后的每个碎片保存成一个文件,csplit命令–>按照指定的范式来分割文件,保存为xx00,xx01…的文件. 拆解文件主要是split和csplit命令,如果说split是按大小来...
2.1. 基础知识 2.1.1. 操作系统功能 2.1.2. 操作系统发展史 2.1.3. Linux 与嵌入式Linux 2.2. 操作系统内核 2.2.1. 内存管理 2.2.1.1....2.2.1.2. 内存分割 2.2.1.3....2.2.1.4. Linux 的内存管理机制 ...2.2.5. 文件管理
总结了linux下dd命令实用技巧,先简要介绍dd的参数,后边通过几个实例介绍dd的应用,参考了其他网友的资料 上传者非原创,内有原创者博客链接
Linux 系统提供了一个非常易于使用的命令来分割文件。在将文件上传到限制大小的存储网站或者作为邮件附件之前,你可能需要执行此操作。要将文件分割为多个文件块,只需使用 split 命令。 $ split bigfile 默认情况下...
本篇文章给大家分享使用Linux系统自带的命令logrotate对Nginx日志进行切割的方法,对nginx日志切割脚本感兴趣的朋友一起学习吧
10.1.2 Linux系统的文件安全 10.1.3 用户访问安全 10.1.4 日常安全注意事项 10.1.5 服务器被侵入后的处理 10.2 防火墙、IP伪装和代理服务器 10.2.1 什么是防火墙 10.2.2 防火墙分类 10.2.3 Linux防火墙实现策略 第...
Oracle Database 19c (LINUX.X64_193000_client.zip) 适用于Linux系统,文件分割成 两个 压缩包,必须集齐 两个 文件后才能一起解压一起使用: Oracle Database 19c (LINUX.X64_193000_client.part1.rar) ...
oracle 10g 软件p6810189_10204_Linux-x86-64适用于Linux 64位系统,文件分割成 2个 压缩包,必须集齐2个 文件后才能一起解压一起使用: p6810189_10204_Linux-x86-64.part2.rar ... p6810189_10204_Linux-x86-64.part...