Linux inode及软链接和硬链接介绍
Tags: inodeLinuxOS扇区操作系统硬连接索引节点软连接
简介
Linux文件系统容量 分为大小容量 和inode容量 ,前者限制大小,后者限制数量。
使用df -h,查看大小容量使用情况
使用df -i ,查看inode容量使用情况
一般来说,文件都有文件名与数据,在 Linux
上被分成两个部分:用户数据 (user data) 与元数据 (metadata)。用户数据,即文件数据块 (data block)
,数据块是记录文件真实内容的地方;而元数据则是文件的附加属性,如文件大小、创建时间、所有者等信息。在 Linux
中,元数据中的inode 号
(inode
是文件元数据的一部分但其并不包含文件名,inode
号即索引节点号)才是文件的唯一标识而非文件名。文件名仅是为了方便人们的记忆和使用,系统或程序通过 inode
号寻找正确的文件数据块。如下图展示了程序通过文件名获取文件内容的过程。
理解inode
,要从文件储存说起。
文件储存在硬盘上,硬盘的最小存储单位叫做"扇区"(Sector)
。每个扇区储存512字节(相当于0.5KB)
。
操作系统读取硬盘的时候,不会一个一个扇区地读取,这样效率太低,而是一次性连续读取多个扇区,即一次性读取一个"块"(block)。这种由多个扇区组成的"块",是文件存取的最小单位。"块"的大小,最常见的是4KB
,即连续八个 sector
组成一个 block
。
文件数据都储存在"块"中,那么很显然,我们还必须找到一个地方储存文件的元信息,比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode
,中文译名为"索引节点",也叫i节点
。因此,一个文件必须占用一个inode,但至少占用一个block。
每一个文件都有对应的inode
,里面包含了与该文件有关的一些信息。
由此可见:
- 元信息 → inode
- 数据 → block
inode 内容
inode
包含很多的文件元信息,但不包含文件名,例如:字节数、属主UserID
、属组GroupID
、读写执行权限、时间戳(共有三个:ctime指inode上一次变动的时间,mtime指文件内容上一次变动的时间,atime指文件上一次打开的时间)、链接数(即有多少文件名指向这个inode)、文件数据block的位置 等。
inode
包含文件的元信息,具体来说有以下内容:
- 文件的字节数
- 文件拥有者的User ID
- 文件的Group ID
- 文件的读、写、执行权限
- 文件的时间戳,共有三个:ctime指inode上一次变动的时间,mtime指文件内容上一次变动的时间,atime指文件上一次打开的时间。
- 链接数,即有多少文件名指向这个inode
- 文件数据block的位置
而文件名存放在目录当中,但Linux
系统内部不使用文件名,而是使用inode号码
识别文件。对于系统来说文件名只是inode号码
便于识别的别称。
可以用stat命令,查看某个文件的inode信息:
1 2 3 4 5 6 7 8 9 10 | [root@mytest ~]# stat 20210107.sql 文件:"20210107.sql" 大小:7824897 块:15288 IO 块:4096 普通文件 设备:fd00h/64768d Inode:102158785 硬链接:1 权限:(0644/-rw-r--r--) Uid:( 0/ root) Gid:( 0/ root) 最近访问:2021-01-07 11:00:47.376696297 +0800 最近更改:2021-01-07 11:00:47.537697224 +0800 最近改动:2021-01-07 11:00:47.537697224 +0800 创建时间:- [root@mytest ~]# |
总之,除了文件名以外的所有文件信息,都存在inode
之中。至于为什么没有文件名,下文会有详细解释。
查看inode信息
直接查看文件i节点号
,也可以通过stat
查看文件inode信息
查看i节点号
。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 | [root@raclhr-21c-n1 ~]# touch xmmup.txt [root@raclhr-21c-n1 ~]# stat xmmup.txt File: ‘xmmup.txt’ Size: 0 Blocks: 0 IO Block: 4096 regular empty file Device: fd03h/64771d Inode: 1179712 Links: 1 Access: (0644/-rw-r--r--) Uid: ( 0/ root) Gid: ( 0/ root) Access: 2021-08-25 14:32:56.561356847 +0800 Modify: 2021-08-25 14:32:56.561356847 +0800 Change: 2021-08-25 14:32:56.561356847 +0800 Birth: - [root@raclhr-21c-n1 ~]# ll -i xmmup.txt 1179712 -rw-r--r-- 1 root root 0 Aug 25 14:32 xmmup.txt [root@raclhr-21c-n1 ~]# file xmmup.txt xmmup.txt: empty [root@raclhr-21c-n1 ~]# file . .: directory |
三个主要的时间属性:
ctime
:change time
是最后一次改变文件或目录(属性)的时间,例如执行chmod
,chown
等命令。atime
:access time
是最后一次访问文件或目录的时间。mtime
:modify time
是最后一次修改文件或目录(内容)的时间。
表面上,用户通过文件名打开文件,实际上,系统内部将这个过程分为三步:
1.系统找到这个文件名对应的inode
号码;
2.通过inode
号码,获取inode
信息;
3.根据inode
信息,找到文件数据所在的block
,并读出数据。
其实系统还要根据inode
信息,看用户是否具有访问的权限,有就指向对应的数据block
,没有就返回权限拒绝。
inode 大小
inode
也会消耗硬盘空间,所以格式化的时候,操作系统自动将硬盘分成两个区域。一个是数据区,存放文件数据;另一个是inode
区,存放inode
所包含的信息。
每个inode
的大小,一般是128
字节或256
字节。通常情况下不需要关注单个inode
的大小,而是需要重点关注inode
总数。inode
总数在格式化的时候就确定了。
假定在一块1GB
的硬盘中,每个inode
节点的大小为128
字节,每1KB
就设置一个inode
,那么inode table
的大小就会达到128MB
,占整块硬盘的12.8%
。
查看每个硬盘分区的inode总数和已经使用的数量,可以使用df命令。
1 2 3 4 5 6 7 8 9 10 11 12 | [root@mytest ~]# df -i 文件系统 Inode 已用(I) 可用(I) 已用(I)% 挂载点 /dev/mapper/cl-root 26214400 306699 25907701 2% / devtmpfs 481261 402 480859 1% /dev tmpfs 485220 6 485214 1% /dev/shm tmpfs 485220 530 484690 1% /run tmpfs 485220 16 485204 1% /sys/fs/cgroup /dev/vda1 524288 330 523958 1% /boot /dev/mapper/cl-home 21557248 18044 21539204 1% /home tmpfs 485220 17 485203 1% /run/user/42 tmpfs 485220 1 485219 1% /run/user/0 [root@mytest ~]# |
查看每个inode节点的大小,可以用如下命令:
1 | sudo dumpe2fs -h /dev/hda | grep "Inode size" |
由于每个文件都必须有一个inode,因此有可能发生inode已经用光,但是硬盘还未存满的情况。这时,就无法在硬盘上创建新文件。
查看硬盘分区的inode总数和已使用情况
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | [root@raclhr-21c-n1 ~]# df -i Filesystem Inodes IUsed IFree IUse% Mounted on devtmpfs 1015032 612 1014420 1% /dev tmpfs 1019367 274 1019093 1% /dev/shm tmpfs 1019367 1734 1017633 1% /run tmpfs 1019367 16 1019351 1% /sys/fs/cgroup /dev/mapper/centos_lhrdocker-root 3276800 175079 3101721 6% / /dev/sda1 65536 348 65188 1% /boot /dev/mapper/vg_oracle-lv_orasoft_u01 3932160 58325 3873835 2% /u01 /dev/mapper/vg_docker-lv_docker 52428800 47 52428753 1% /var/lib/docker /dev/mapper/centos_lhrdocker-home 655360 219 655141 1% /home tmpfs 1019367 9 1019358 1% /run/user/42 tmpfs 1019367 1 1019366 1% /run/user/54322 tmpfs 1019367 1 1019366 1% /run/user/0 |
- Inodes:节点容量
- IUsed:已使用节点
- IFree:未使用节点
- IUse%:已使用所占百分比
inode号码
每个inode都有一个号码,操作系统用inode号码来识别不同的文件。
这里值得重复一遍,Unix/Linux系统内部不使用文件名,而使用inode号码来识别文件。对于系统来说,文件名只是inode号码便于识别的别称或者绰号。表面上,用户通过文件名,打开文件。实际上,系统内部这个过程分成三步:首先,系统找到这个文件名对应的inode号码;其次,通过inode号码,获取inode信息;最后,根据inode信息,找到文件数据所在的block,读出数据。
使用ls -i命令,可以看到文件名对应的inode号码:
1 2 3 | [root@mytest ~]# ls -i 20210107.sql 102158785 20210107.sql [root@mytest ~]# |
目录文件
Unix/Linux系统中,目录(directory)也是一种文件。打开目录,实际上就是打开目录文件。
目录文件的结构非常简单,就是一系列目录项(dirent)的列表。每个目录项,由两部分组成:所包含文件的文件名,以及该文件名对应的inode号码。
ls命令
只列出目录文件中的所有文件名:
1 2 3 4 5 6 7 8 | [root@mytest ~]# ls -a /etc . cron.daily ethertypes grub2.cfg krb5.conf modules-load.d passwd- rc3.d setuptool.d trusted-key.key .. cron.deny exports grub.d krb5.conf.d motd pbm2ppa.conf rc4.d sgml tuned abrt cron.hourly exports.d gshadow ksmtuned.conf mtab pinforc rc5.d shadow udev adjtime cron.monthly favicon.png gshadow- ld.so.cache mtools.conf pkcs11 rc6.d shadow- udisks2 aliases crontab fcoe gss ld.so.conf multipath pki rc.d shells unbound aliases.db cron.weekly festival gssproxy ld.so.conf.d my.cnf plymouth rc.local skel .updated alsa crypttab |
ls -i
命令列出整个目录文件,即文件名和inode
号码:
1 2 3 4 5 6 | [root@mytest ~]# ls -ai /etc 67160129 . 101188353 dconf 67197106 GREP_COLORS 67261526 libnl 68215315 oddjobd.conf.d 67261514 rc.d 68581396 sudoers 64 .. 100806203 default 243638 groff 100675284 libreport 68865429 odoo12.conf 67160226 rc.local 101926293 sudoers.d 67160187 abrt 67834760 depmod.d 67346536 group 67743035 libuser.conf 67743022 openldap 68141367 rdma 68581394 sudo-ldap.conf 68021006 adjtime 34435091 dhcp 67811132 group- 68179218 libvirt 104 opt 67160174 redhat-release 67160239 sysconfig 67160179 aliases 67555834 DIR_COLORS 68564232 grub2.cfg 68654171 locale.conf 67160173 os-release 67733009 request-key.conf 68021019 sysctl.conf |
如果要查看文件的详细信息,就必须根据inode
号码,访问inode
节点,读取信息。ls -l
命令列出文件的详细信息。
1 2 3 4 5 6 7 8 9 | [root@mytest ~]# ls -l /etc 总用量 1360 drwxr-xr-x. 3 root root 101 11月 5 16:30 abrt -rw-r--r--. 1 root root 16 11月 5 16:40 adjtime -rw-r--r--. 1 root root 1518 6月 7 2013 aliases -rw-r--r--. 1 root root 12288 11月 5 16:42 aliases.db drwxr-xr-x. 2 root root 51 11月 5 16:31 alsa drwxr-xr-x. 2 root root 4096 11月 7 22:00 alternatives -rw-------. 1 root root 541 3月 31 2016 anacrontab |
理解了上面这些知识,就能理解目录的权限。目录文件的读权限(r)和写权限(w),都是针对目录文件本身。由于目录文件内只有文件名和inode
号码,所以如果只有读权限,只能获取文件名,无法获取其他信息,因为其他信息都储存在inode
节点中,而读取inode
节点内的信息需要目录文件的执行权限(x)。
特有现象
由于inode
号码与文件名分离,导致一些Unix/Linux
系统具备以下几种特有的现象。
1.文件名包含特殊字符,可能无法正常删除。这时直接删除inode
,能够起到删除文件的作用;
1 | find ./* -inum 节点号 -delete |
2.移动文件或重命名文件,只是改变文件名,不影响inode
号码;
3.打开一个文件以后,系统就以inode
号码来识别这个文件,不再考虑文件名。
这种情况使得软件更新变得简单,可以在不关闭软件的情况下进行更新,不需要重启。因为系统通过inode
号码,识别运行中的文件,不通过文件名。更新的时候,新版文件以同样的文件名,生成一个新的inode
,不会影响到运行中的文件。等到下一次运行这个软件的时候,文件名就自动指向新版文件,旧版文件的inode
则被回收。
inode 耗尽故障
由于硬盘分区的inode
总数在格式化后就已经固定,而每个文件必须有一个inode
,因此就有可能发生inode
节点用光,但硬盘空间还剩不少,却无法创建新文件。同时这也是一种攻击的方式,所以一些公用的文件系统就要做磁盘限额,以防止影响到系统的正常运行。
至于修复,很简单,只要找出哪些大量占用i节点
的文件删除就可以了。
1.先准备一个比较小的硬盘分区/dev/sdb1
,并格式化挂载,这里挂载到了/data
目录下。
1 2 3 | [root@localhost ~]# df -hT /data/ Filesystem Type Size Used Avail Use% Mounted on /dev/sdb1 xfs 29M 1.8M 27M 6% /data |
2.先测试可以正常创建文件。
1 2 3 | [root@localhost ~]# touch /data/test{1..5}.txt [root@localhost ~]# ls /data/ test1.txt test2.txt test3.txt test4.txt test5.txt |
3.查看i节点的使用情况。
1 2 3 | [root@localhost ~]# df -i /data/ Filesystem Inodes IUsed IFree IUse% Mounted on /dev/sdb1 16384 8 16376 1% /data |
4.编写一个测试程序,创建大量空文件,用于耗尽此分区中的i节点
数。
1 2 3 4 5 6 7 8 | [root@localhost ~]# vim killinode.sh #!/bin/bash i=1 while [ $i -le 16376 ] do touch /data/file$i let i++ done |
5.运行测试程序,结束后查看i节点
占用情况,磁盘分区空间使用情况。
1 2 3 4 5 6 7 | [root@localhost ~]# sh killinode.sh [root@localhost ~]# df -i /data/ Filesystem Inodes IUsed IFree IUse% Mounted on /dev/sdb1 16384 16384 0 100% /data [root@localhost ~]# df -hT /data/ Filesystem Type Size Used Avail Use% Mounted on /dev/sdb1 xfs 29M 11M 19M 36% /data |
6.虽然还有很多剩余空间,但是i节点耗尽了,也无法创建创建新文件,这就是i节点
耗尽故障。
1 2 | [root@localhost ~]# touch /data/newfile.txt touch: cannot touch ‘/data/newfile.txt’: No space left on device |
Linux 文件系统通过 i 节点把文件的逻辑结构和物理结构转换的工作过程?
Linux 通过 inode 节点表将文件的逻辑结构和物理结构进行转换。
- inode 节点是一个 64 字节长的表,表中包含了文件的相关信息,其中有文件的大小、文件所有者、文件的存取许可方式以及文件的类型等重要信息。在 inode 节点表中最重要的内容是磁盘地址表。在磁盘地址表中有 13 个块号,文件将以块号在磁盘地址表中出现的顺序依次读取相应的块。
- Linux 文件系统通过把 inode 节点和文件名进行连接,当需要读取该文件时,文件系统在当前目录表中查找该文件名对应的项,由此得到该文件相对应的 inode 节点号,通过该 inode 节点的磁盘地址表把分散存放的文件物理块连接成文件的逻辑结构。
硬链接与软链接
硬链接
一般情况下,文件名和inode
号码是"一一对应"关系,每个inode
号码对应一个文件名。但是,Unix/Linux
系统允许,多个文件名指向同一个inode
号码。这意味着,可以用不同的文件名访问同样的内容;对文件内容进行修改,会影响到所有文件名;但是,删除一个文件名,不影响另一个文件名的访问。这种情况就被称为"硬链接"(hard link)
。
通过文件系统的inode
链接来产生的新的文件名,而不是产生新的文件,称为硬链接。由于 Linux 下的文件是通过索引节点(inode)来识别文件,硬链接可以认为是一个指针,指向文件索引节点的指针,系统并不为它重新分配 inode 。每添加一个硬链接,文件的链接数就加 1 。
一般情况下,每个inode
号码对应一个文件名,但是Linux
允许多个文件名指向同一个inode
号码。意味着可以使用不同的文件名访问相同的内容。
1 | ln 源文件 目标 |
运行该命令以后,源文件与目标文件的inode
号码相同,都指向同一个inode
。inode
信息中的链接数这时就会增加1
。
当一个文件拥有多个硬链接时,对文件内容修改,会影响到所有文件名;但是删除一个文件名,不影响另一个文件名的访问。删除一个文件名,只会使得inode
中的链接数减1
。
需要注意的是不能对目录做硬链接。
通过mkdir
命令创建一个新目录,其硬链接数应该有2
个,因为常见的目录本身为1
个硬链接,而目录下面的隐藏目录.(点号)
是该目录的又一个硬链接,也算是1
个连接数。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 | [root@raclhr-21c-n1 ~]# mkdir d1 [root@raclhr-21c-n1 ~]# ln d1 d2 ln: ‘d1’: hard link not allowed for directory [root@raclhr-21c-n1 ~]# ll -i d1 total 0 [root@raclhr-21c-n1 ~]# stat d1 File: ‘d1’ Size: 4096 Blocks: 8 IO Block: 4096 directory Device: fd03h/64771d Inode: 1179836 Links: 2 Access: (0755/drwxr-xr-x) Uid: ( 0/ root) Gid: ( 0/ root) Access: 2021-08-25 14:50:57.340375837 +0800 Modify: 2021-08-25 14:50:26.173375290 +0800 Change: 2021-08-25 14:50:26.173375290 +0800 Birth: - [root@raclhr-21c-n1 ~]# file d1 d1: directory |
如下例子,建立一个硬链接:
1 2 3 4 5 6 7 8 9 | [root@mytest mytest]# ls -li 总用量 4 118134697 -rw-r--r-- 1 root root 37 3月 22 13:47 file1.txt [root@mytest mytest]# ln file1.txt file2.txt [root@mytest mytest]# ls -li 总用量 8 118134697 -rw-r--r-- 2 root root 37 3月 22 13:47 file1.txt 118134697 -rw-r--r-- 2 root root 37 3月 22 13:47 file2.txt [root@mytest mytest]# |
运行上面这条命令以后,源文件与目标文件的inode号码
相同,都指向同一个inode
。inode
信息中有一项叫做"链接数",记录指向该node
的文件名总数,这时就会增加1
。
反过来,删除一个文件名,就会使得inode
节点中的"链接数"减1
。当这个值减到0
,表明没有文件名指向这个inode
,系统就会回收这个inode
号码,以及其所对应block
区域。
这里顺便说一下目录文件的"链接数"。创建目录时,默认会生成两个目录项:"."和".."。前者的inode号码
就是当前目录的inode号码
,等同于当前目录的"*硬链接*";后者的inode号码
就是当前目录的父目录的inode号码
,等同于父目录的"硬链接"。所以,任何一个目录的"硬链接"总数,总是等于2加上它的子目录总数(含隐藏目录)。
软链接
类似于Windows的快捷方式功能的文件,可以快速连接到目标文件或目录,称为软链接
。
1 | ln -s 源文件或目录 目标文件或目录 |
软链接就是再创建一个独立的文件,而这个文件会让数据的读取指向它连接的那个文件的文件名。例如,文件A
和文件B
的inode
号码虽然不一样,但是文件A
的内容是文件B
的路径。读取文件A
时,系统会自动将访问者导向文件B
。这时,文件A
就称为文件B
的软链接soft link
或者符号链接symbolic link
。
这意味着,文件A
依赖于文件B
而存在,如果删除了文件B
,打开文件A
就会报错。这是软链接与硬链接最大的不同:文件A
指向文件B
的文件名,而不是文件B
的inode
号码,文件B
的inode
链接数不会因此发生变化。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 | [root@raclhr-21c-n1 ~]# ln -s d1 d2 [root@raclhr-21c-n1 ~]# file d2 d2: symbolic link to `d1` [root@raclhr-21c-n1 ~]# [root@raclhr-21c-n1 ~]# ll d1 total 0 [root@raclhr-21c-n1 ~]# ll d2 lrwxrwxrwx 1 root root 2 Aug 25 14:52 d2 -> d1 [root@raclhr-21c-n1 ~]# stat d1 File: ‘d1’ Size: 4096 Blocks: 8 IO Block: 4096 directory Device: fd03h/64771d Inode: 1179836 Links: 2 Access: (0755/drwxr-xr-x) Uid: ( 0/ root) Gid: ( 0/ root) Access: 2021-08-25 14:50:57.340375837 +0800 Modify: 2021-08-25 14:50:26.173375290 +0800 Change: 2021-08-25 14:50:26.173375290 +0800 Birth: - [root@raclhr-21c-n1 ~]# stat d2 File: ‘d2’ -> ‘d1’ Size: 2 Blocks: 0 IO Block: 4096 symbolic link Device: fd03h/64771d Inode: 1179838 Links: 1 Access: (0777/lrwxrwxrwx) Uid: ( 0/ root) Gid: ( 0/ root) Access: 2021-08-25 14:52:55.710377917 +0800 Modify: 2021-08-25 14:52:55.710377917 +0800 Change: 2021-08-25 14:52:55.710377917 +0800 Birth: - |
区别
实际场景下,基本都是使用软链接。
总结区别如下:
硬链接不可以跨分区,软件链可以跨分区。
硬链接指向同一个 inode 节点,而软链接则是创建一个新的 inode 节点。
删除硬链接原文件,不会删除硬连接文件,硬连接文件访问也不会报错;删除软链接原文件,软连接文件访问会报错。
inode特殊作用
由于inode号码与文件名分离,这种机制导致了一些Unix/Linux系统特有的现象。
有时,文件名包含特殊字符,无法正常删除。这时,直接删除inode节点,就能起到删除文件的作用。
移动文件或重命名文件,只是改变文件名,不影响inode号码。
打开一个文件以后,系统就以inode号码来识别这个文件,不再考虑文件名。因此,通常来说,系统无法从inode号码得知文件名。
第3点使得软件更新变得简单,可以在不关闭软件的情况下进行更新,不需要重启。因为系统通过inode号码,识别运行中的文件,不通过文件名。更新的时候,新版文件以同样的文件名,生成一个新的inode,不会影响到运行中的文件。等到下一次运行这个软件的时候,文件名就自动指向新版文件,旧版文件的inode则被回收。
inode实际案例
在一台配置较低的Linux服务器(内存、硬盘比较小)的/data分区内创建文件时,系统提示磁盘空间不足,用df -h命令查看了一下磁盘使用情况,发现/data分区只使用了66%,还有12G的剩余空间,按理说不会出现这种问题。 后来用df -i查看了一下/data分区的索引节点(inode),发现已经用满(IUsed=100%),导致系统无法创建新目录和文件。
查找原因:
/data/cache目录中存在数量非常多的小字节缓存文件,占用的Block不多,但是占用了大量的inode。
解决方案:
1、删除/data/cache目录中的部分文件,释放出/data分区的一部分inode。
2、用软连接将空闲分区/opt中的newcache目录连接到/data/cache,使用/opt分区的inode来缓解/data分区inode不足的问题:
1 | ln -s /opt/newcache /data/cache |