【Debian参考手册】第 10 章 数据管理

目录

创新互联建站企业建站,10余年网站建设经验，专注于网站建设技术，精于网页设计，有多年建站和网站代运营经验，设计师为客户打造网络企业风格，提供周到的建站售前咨询和贴心的售后服务。对于成都网站设计、成都做网站中不同领域进行深入了解和探索，创新互联在网站建设中充分了解客户行业的需求，以灵动的思维在网页中充分展现，通过对客户行业精准市场调研，为客户提供的解决方案。

10.1. 共享，拷贝和存档

10.1.1. 存档和压缩工具

10.1.2. 复制和同步工具

10.1.3. 归档语法

10.1.4. 复制语法

10.1.5. 查找文件的语法

10.1.6. 归档媒体

10.1.7. 可移动存储设备

10.1.8. 选择用于分享数据的文件系统

10.1.9. 网络上的数据分享

10.2. 备份和恢复

10.2.1. 备份和恢复策略

10.2.2. 实用备份套件

10.2.3. 个人备份

10.3. 数据安全基础

10.3.1. GnuPG 密钥管理

10.3.2. 在文件上使用 GnuPG

10.3.3. 在 Mutt 中使用 GnuPG

10.3.4. 在 Vim 中使用 GnuPG

10.3.5. MD5 校验和

10.3.6. 密码密钥环

10.4. 源代码合并工具

10.4.1. 从源代码文件导出差异

10.4.2. 源代码文件移植更新

10.4.3. 交互式移植

10.5. Git

10.5.1. 配置 Git 客户端

10.5.2. 基本的 Git 命令

10.5.3. Git 技巧

10.5.4. Git 参考

10.5.5. 其它的版本控制系统

以下是关于在 Debian 系统上管理二进制和文本数据的工具及其相关提示。

10.1. 共享，拷贝和存档

数据的安全和它的受控共享有如下几个方面。

• 存档文件的建立

• 远程存储访问

• 复制

• 跟踪修改历史

• 促进数据共享

• 防止未经授权的文件访问

• 检测未经授权的文件修改

这些可以通过使用工具集来实现。

• 存档和压缩工具

• 复制和同步工具

• 网络文件系统

• 移动存储媒介

• 安全 shell

• 认证体系

• 版本控制系统工具

• 哈希算法和加密工具

10.1.1. 存档和压缩工具

以下是 Debian 系统上可用的存档和压缩工具的预览。

表 10.1. 存档和压缩工具列表

• gzipped tar(1) 归档器用于扩展名是 ".tgz" 或者 ".tar.gz" 的文件。

• xz-compressed tar(1) 归档器用于扩展名是 ".txz" 或者 ".tar.xz" 的文件。

• FOSS 工具，例如 tar(1)，中的主流压缩方法已经按如下所示的迁移: gzip → bzip2 → xz

• cp(1),scp(1) 和 tar(1) 工具可能并不适用于一些特殊的文件。cpio(1) 工具的适用范围是最广的。

• cpio(1) 是被设计为与 find(1) 和其它命令一起使用，适合于创建备份脚本的场景，因此，脚本的文件选择部分能够被独立测试。

• Libreoffice 数据文件的内部结构是 ".jar" 文件，它也可以使用 unzip 工具来打开。

• 事实上跨平台支持最好的存档工具是 zip。按照“zip -rX”的方式调用可以获得最大的兼容性。如果最大文件大小需要纳入考虑范围，请同时配合“-s”选项使用。

10.1.2. 复制和同步工具

以下是 Debian 系统上的可用的简单复制和备份工具的预览。

表 10.2. 复制和同步工具列表

在复制文件的时候， rsync(8) 比其他工具提供了更多的特性。

• 差分传输算法只会发送源文件与已存在的目标文件之间的差异部分

• 快速检查算法 (默认) 会查找大小或者最后的修改时间有变化的文件

• "--exclude" 和 "--exclude-from" 选项类似于 tar(1)

• 在源目录中添加反斜杠的语法能够避免在目标文件中创建额外的目录级别。

10.1.3. 归档语法

以下是用不同的工具压缩和解压缩整个 "./source" 目录中的内容。

GNU tar(1):

$ tar -cvJf archive.tar.xz ./source
$ tar -xvJf archive.tar.xz

或者，如下所示。

$ find ./source -xdev -print0 | tar -cvJf archive.tar.xz --null -F -

cpio(1):

$ find ./source -xdev -print0 | cpio -ov --null > archive.cpio; xz archive.cpio
$ zcat archive.cpio.xz | cpio -i

10.1.4. 复制语法

如下是用不同的工具复制整个 "./source" 目录中的内容。

• 本地复制: "./source" 目录 → "/dest" 目录

• 远程复制：本地主机上的 "./source" 目录 → "user@host.dom" 主机上的 "/dest" 目录

rsync(8):

# cd ./source; rsync -aHAXSv . /dest
# cd ./source; rsync -aHAXSv . user@host.dom:/dest

你能够选择使用“源目录上的反斜杠”语法。

# rsync -aHAXSv ./source/ /dest
# rsync -aHAXSv ./source/ user@host.dom:/dest

或者，如下所示。

# cd ./source; find . -print0 | rsync -aHAXSv0 --files-from=- . /dest
# cd ./source; find . -print0 | rsync -aHAXSv0 --files-from=- . user@host.dom:/dest

GNU cp(1) 和 openSSH scp(1):

# cd ./source; cp -a . /dest
# cd ./source; scp -pr . user@host.dom:/dest

GNU tar(1):

# (cd ./source && tar cf - . ) | (cd /dest && tar xvfp - )
# (cd ./source && tar cf - . ) | ssh user@host.dom '(cd /dest && tar xvfp - )'

cpio(1):

# cd ./source; find . -print0 | cpio -pvdm --null --sparse /dest

你能够在所有包含 "." 的例子里用 "foo" 替代 "."，这样就可以从 "./source/foo" 目录复制文件到 "/dest/foo" 目录。

在所有包含 "." 的列子里，你能够使用绝对路径 "/path/to/source/foo" 来代替 "."，这样可以去掉 "cd ./source;". 如下所示，这些文件会根据工具的不同，拷贝到不同的位置。

• "/dest/foo": rsync(8), GNU cp(1), 和 scp(1)

• "/dest/path/to/source/foo": GNU tar(1), 和 cpio(1)

10.1.5. 查找文件的语法

find(1) 被用作从归档中筛选文件也被用作拷贝命令 (参见第 10.1.3 节 “归档语法”和第 10.1.4 节 “复制语法”) 或者用于 xargs(1) (参见第 9.4.9 节 “使用文件循环来重复一个命令”)。通过 find 的命令行参数能够使其功能得到加强。

以下是 find(1)基本语法的总结。

• find 条件参数的运算规则是从左到右。

• 一旦输出是确定的，那么运算就会停止。

• “逻辑 OR" （由条件之间的 "-o" 参数指定的）优先级低于 "逻辑 AND" （由 "-a" 参数指定或者条件之间没有任何参数）。

• ”逻辑 NOT" (由条件前面的 "!" 指定) 优先级高于 “逻辑 AND”。

• "-prune" 总是返回逻辑 TRUE 并且如果这个目录是存在的，将会搜索除这个目录以外的文件。

• "-name" 选项匹配带有 shell 通配符 (参见第 1.5.6 节 “Shell 通配符”) 的文件名但也匹配带有类似 "*" 和 "?" 元字符的 ."。(新的 POSIX 特性)

• "-regex" 匹配整个文件路径，默认采用 emacs 风格的 BRE (参见第 1.6.2 节 “正则表达式”)。

• "-size" 根据文件大小来匹配 (值前面带有 "+" 号匹配更大的文件，值前面带有 "-" 号匹配更小的文件)

• "-newer" 参数匹配比参数名中指定的文件还要新的文件。

• "-print0" 参数总是返回逻辑 TRUE 并将完整文件名 (null terminated) 打印到标准输出设备上。

如下是 find(1) 语法格式。

# find /path/to \
    -xdev -regextype posix-extended \
    -type f -regex ".*\.cpio|.*~" -prune -o \
    -type d -regex ".*/\.git" -prune -o \
    -type f -size +99M -prune -o \
    -type f -newer /path/to/timestamp -print0

这些命令会执行如下动作。

1. 查找 "/path/to" 下的所有文件

2. 限定全局查找的文件系统并且使用的是 ERE (参见第 1.6.2 节 “正则表达式”)

3. 通过停止处理的方式来排除匹配 ".*\.cpio" 或 ".*~" 正则表达式的文件

4. 通过停止处理的方式来排除匹配 ".*/\.git" 正则表达式的目录

5. 通过停止处理的方式来排除比 99MB (1048576字节单元) 更大的文件

6. 显示文件名，满足以上搜索条件并且比 "/path/to/timestamp" 新的文件

请留心以上例子中的 "-prune -o" 排除文件的习惯用法。

10.1.6. 归档媒体

为重要的数据存档寻找 存储设备 时，你应该注意它们的局限性。对于小型的个人数据备份，我使用品牌公司的 CD-R 和 DVD-R 然后把它放在阴凉、干燥、清洁的地方。(专业的一般使用磁带存档介质)

网上（主要是来源于供应商信息）可以查看存储介质的最大使用寿命。

• 大于100年：用墨水的无酸纸

• 100年：光盘存储（CD/DVD，CD/DVD-R）

• 30年：磁带存储（磁带，软盘)

• 20年：相变光盘存储（CD-RW）

这不包括由于人为导致的机械故障等等。

网上（主要来源于供应商信息）可以查看存储介质的最大的写次数。

• 大于250,000次：硬盘驱动器

• 大于10,000次：闪存

• 1,000次：CD/DVD-RW

• 1次：CD/DVD-R，纸

10.1.7. 可移动存储设备

可移动存储设备可能是以下的任何一种。

• USB 闪存盘

• 硬盘驱动器

• 光盘驱动器

• 数码相机

• 数字音乐播放器

它们可以通过以下的方式来进行连接。

• USB

• IEEE 1394 / FireWire

• PC 卡

像 GNOME 和 KDE 这样的现代桌面环境能够在 "/etc/fstab" 文件中没有匹配条目的时候，自动挂载这些可移动设备。

• udisks2 包提供了守护进程和相关的实用程序来挂载和卸载这些设备。

• D-bus 创建事件来触发自动处理。

• PolicyKit 提供了所需的特权。

现代桌面环境下的挂载点被选为 "/media/username/disk_label"，它可以被如下所示的来定制。

• FAT 格式的文件系统使用 mlabel(1) 命令

• ISO9660 文件系统使用带有 "-V" 选项的 genisoimage(1) 命令

• ext2/ext3/ext4 文件系统使用带有 "-L" 选项的 tune2fs(1) 命令

10.1.8. 选择用于分享数据的文件系统

当你通过可移动存储设备与其他系统分享数据的时候，你应该先把它格式化为被两种操作系统都支持的通用的 文件系统。下面是文件系统的列表。

表 10.3. 典型使用场景下可移动存储设备可选择的文件系统列表

FAT 文件系统被绝大多数的现代操作系统支持，它对于通过可移动硬盘进行的数据交换是非常有用的。

当格式化像装有 FAT 文件系统的跨平台数据共享的可移动设备时，以下应该是保险的选择。

• 用 fdisk(8)，cfdisk(8) 或者 parted(8) 命令（参见第 9.6.2 节 “硬盘分区配置”）把它们格式化为单个的主分区并对把它做如下标记。

  • 标记小于 2GB 的 FAT 设备为 字符"6"。

  • 标记更大的 FAT32 设备为字符 "c"。

• 如下所示是用 mkfs.vfat(8) 命令格式化主分区的。

  • 它的设备名字，例如 "/dev/sda1" 用于 FAT16 设备

  • 明确的选项和它的设备名，例如 "-F 32 /dev/sda1" 用于 FAT32 设备

当使用 FAT 或 ISO9660 文件系统分享数据时，如下是需要注意的安全事项。

• 用 tar(1)，或cpio(1)命令压缩文件，目地是为了保留文件名，符号链接，原始的文件权限和文件所有者信息。

• 用 split(1) 命令把压缩文件分解成若干小于 2GiB的小文件，使其免受文件大小限制。

• 加密压缩文件保护其内容免受未经授权的访问。

10.1.9. 网络上的数据分享

当使用网络来分享数据的时候，你应该使用通用的服务。这里有一些提示。

表 10.4. 典型使用场景下可选择的网络服务列表

尽管对于文件分享来说，通过网络挂载文件系统和传输文件是相当方便的，但这可能是不安全的。它们的网络连接必须通过如下所示的加强安全性。

• 用 SSL/TLS 加密

• 建立 SSH 通道

• 建立 VPN 通道

• 网络之间需要有安全的防火墙

参见 第 6.5 节 “其它网络应用服务” 和 第 6.6 节 “其它网络应用客户端”。

10.2. 备份和恢复

我们都熟知计算机有时会出问题，或者由于人为的错误导致系统和数据损坏。备份和恢复操作是成功的系统管理中非常重要的一部分。可能有一天你的电脑就会出问题。

10.2.1. 备份和恢复策略

有3个关键的因素决定实际的备份和恢复策略。

1. 知道要备份和恢复什么。

   • 你自己创建的数据文件：在 "~/" 下的数据

   • 你使用的应用程序创建的数据文件：在 "/var/" 下的数据（除了 "/var/cache/"，"/var/run/" 和 "/var/tmp/")

   • 系统配置文件：在 "/etc/” 下的数据

   • 本地程序：在 "/usr/local/" 或 "/opt/" 下的数据

   • 系统安装信息：关键步骤 (分区,...) 的纯文本备忘录

   • 验证数据结果：通过实验性的恢复操作来预先验证

     • 用户进程的 Cron 工作，文件在 "/var/spool/cron/crontabs" 目录，并且重启 cron(8)。参见第 9.4.14 节 “定时任务安排”来获得关于 cron(8) 和 crontab(1) 的信息。

     • 用户进程的 Systemd 计时器工作：文件在 "~/.config/systemd/user" 目录。参见 systemd.timer(5) 和 systemd.service(5)。

     • 用户进程的自动启动工作：文件在 "~/.config/autostart" 目录。参见 Desktop Application Autostart Specification。

2. 知道怎样去备份和恢复。

   • 安全的数据存储：保护其免于覆盖和系统故障

   • 经常备份：有计划的备份

   • 冗余备份：数据镜像

   • 傻瓜式操作：单个简单命令备份

3. 评估涉及的风险和成本。

   • 数据丢失的风险

     • 数据至少是应该在不同的磁盘分区上，最好是在不同的磁盘和机器上，来承受文件系统发生的损坏。重要数据最好存储在一个只读文件系统上。^[4]

   • 数据非法访问的风险

     • 敏感的身份数据，比如 "/etc/ssh/ssh_host_*_key", "~/.gnupg/*", "~/.ssh/*", "~/.local/share/keyrings/*", "/etc/passwd", "/etc/shadow", "popularity-contest.conf", "/etc/ppp/pap-secrets", and "/etc/exim4/passwd.client" 应当使用加密备份。^[5] (参见 第 9.9 节 “数据加密提示”。)

     • 即使在信任的系统上，也不能够硬编码系统登录密码或者加密密码到任何脚本里面。(参见 第 10.3.6 节 “密码密钥环”。)

   • 数据丢失的方式及其可能性

     • 硬件（特别是硬盘）将会损坏

     • 文件系统可能会损坏，里面的数据可能被丢失

     • 对违规安全访问而言，远程存储系统不能够被信任

     • 弱的密码保护能够被轻松的破解

     • 文件权限系统可以被破解

   • 备份所需的资源：人力，硬件，软件，…

     • 使用 cron 任务或者 systemd 计时器任务来自动化调度备份工作

10.2.2. 实用备份套件

以下是 Debian 系统上值得注意的实用备份程序套件的列表。

表 10.5. 实用备份程序套件列表

备份工具有各自的专用的用途。

• Mondo Rescue 是一个备份系统，它能够方便的从备份 CD/DVD 等设备中快速恢复整个系统，而不需要经过常规的系统安装过程。

• Bacula，Amanda 和 BackupPC 是全功能的备份实用套件，主要用于联网的定期备份。

• 定期备份用户数据，可以通过一个简单的脚本实现 (第 10.2.3 节 “个人备份”)。

第 10.1.1 节 “存档和压缩工具” 和 第 10.1.2 节 “复制和同步工具” 描述的基础工具能够通过自定义脚本来帮助系统备份。这些脚本的功能可以通过如下的工具来增强。

• restic 软件包能够增量备份（远程）。

• rdiff-backup 软件包能够增量备份（远程）。

• dump 软件包用于高效增量的归档和恢复整个文件系统。

10.2.3. 个人备份

对于运行 testing 套件的个人 Debian 桌面系统来说，只需要保护个人数据和关键数据。我不管怎样每年都会重新安装一次系统。因此没理由去备份整个系统或者安装全功能的备份实用程序。

与此同时，有一定频率的最近的个人数据和系统配置快照的备份，加上偶尔个人数据的全备份，是非常有价值的。

我经常使用一个简单的 shell 脚本 bss 来制作这些快照和备份。这个脚本是一个短小的 shell，使用标准工具：btrfs 子卷快照、 rsync。对于加密的数据，磁盘镜像由 fallocate(1) 创建并由 cryptsetup(8) 配置。

10.3. 数据安全基础

数据安全基础设施是数据加密，讯息摘要和签名工具的结合。

表 10.6. 数据安全基础工具列表

参见 第 9.9 节 “数据加密提示” 的 dm-crypt 和 fscrypt，它们通过 Linux 内核模块实现了自动数据加密架构。

10.3.1. GnuPG 密钥管理

如下是 GNU 隐私卫士 基本的密钥管理命令。

表 10.7. GNU 隐私卫士密钥管理命令的列表

信任码含义.

表 10.8. 信任码含义列表

如下命令上传我的 "1DD8D791" 公钥到主流的公钥服务器 "hkp://keys.gnupg.net"。

$ gpg --keyserver hkp://keys.gnupg.net --send-keys 1DD8D791

默认良好的公钥服务器在 "~/.gnupg/gpg.conf" （旧的位置在 "~/.gnupg/options"）文件中设置，此文件包含了以下信息。

keyserver hkp://keys.gnupg.net

从钥匙服务器获取无名钥匙。

$ gpg --list-sigs --with-colons | grep '^sig.*\[User ID not found\]' |\
  cut -d ':' -f 5| sort | uniq | xargs gpg --recv-keys

有一个错误在 OpenPGP 公钥服务器 (先前的版本 0.9.6)，会将键中断为 2 个以上的子键。新的 gnupg (>1.2.1-2) 软件包能够处理这些中断的子键。参见 gpg(1) 下的 "--repair-pks-subkey-bug" 选项.

10.3.2. 在文件上使用 GnuPG

这里有一些在文件上使用 GNU 隐私卫士 命令的例子。

表 10.9. 在文件上使用的 GNU 隐私卫士的命令列表

10.3.3. 在 Mutt 中使用 GnuPG

增加下面内容到 "~/.muttrc"，在自动启动时，避免一个慢的 GnuPG，在索引菜单中按 "S" 来允许它使用。

macro index S ":toggle pgp_verify_sig\n"
set pgp_verify_sig=no

10.3.4. 在 Vim 中使用 GnuPG

gnupg 插件可以让你对扩展名为 ".gpg", ".asc", 和 ".ppg"的文件可靠的运行 GnuPG。^[6]

$ sudo aptitude install vim-scripts
$ echo "packadd! gnupg" >> ~/.vim/vimrc

10.3.5. MD5 校验和

md5sum(1) 提供了制作摘要文件的一个工具,它使用 rfc1321 里的方式制作摘要文件.

$ md5sum foo bar >baz.md5
$ cat baz.md5
d3b07384d113edec49eaa6238ad5ff00  foo
c157a79031e1c40f85931829bc5fc552  bar
$ md5sum -c baz.md5
foo: OK
bar: OK

10.3.6. 密码密钥环

在 GNOME 系统，GUI（图形用户界面）工具 seahorse(1) 管理密码，安全的在密钥环 ~/.local/share/keyrings/* 里面保存它们。

secret-tool(1) 能够从命令行存储密码到钥匙环。

让我们存储 LUKS/dm-crypt 加密磁盘镜像用到的密码

$ secret-tool store --label='LUKS passphrase for disk.img' LUKS my_disk.img
Password: ********

这个存储的密码能够被获取并给到其它程序，比如 cryptsetup(8)。

$ secret-tool lookup LUKS my_disk.img | \
  cryptsetup open disk.img disk_img --type luks --keyring -
$ sudo mount /dev/mapper/disk_img /mnt

10.4. 源代码合并工具

这里有许多源代码合并工具。如下的是我感兴趣的工具。

表 10.10. 源代码合并工具列表