[troubleshoot][archlinux][bcache] 修改linux文件系统 / 分区方案 / 做混合硬盘 / 系统转生大！手！术！（调整底层架构，不！重！装！）

目标：

　　我要做的事情是：修改文件系统，硬盘分区方案，但是不重装系统，整个操作不被应用层感知。

背景：

我的笔记本 ThinkPad T450。8G内存 + 16GB SSD + 1TB HDD。预装windows7。

在预装系统里16GB的SSD好像是被win7用作睡眠之类的功能。电脑拿到手之后的第一件事我就是想办法把linux装进去。我当初的方案是：

　　1. 备份win7。比较是预装的，也算是正版。我把1TB硬盘C盘中的文件压缩拷贝出来了。然后又把硬盘开始1G
B dd了出来。这样有一点可以装回去，给其他人用，当我有一天换了新本之后。

　　2. 重装了win7。因为win7安装的时候，会认出16GB的SSD，并且自动的装东西进去。所以要重装（忘记了具体怎么做的了）为了让16GB分离出来。只将win7装到HDD的前50GB里边。再分一个200多GB用做D盘。

　　3. 把archlinux装进了SSD。并且从SSD引导。这样，启动不同的系统，只有选择不同的启动盘就可以了，而无需安装双引导。SSD挂载根目录。/home目录挂到HDD剩下的700多GB的分区里。

　　4. 由于SSD比较小，我把/var/下面的pacman cache设置到了/home下。此外又这是了基于文件的swap，改文件也位于/home下。

　　5. 这样的话，基本就可用了。而且我还洋洋自得了很久。感觉高效的利用了SSD。

　　就这样一直使用了1年2个月一直到今天。重要，根目录还是增长到了80% 导致系统运行变得很慢。SSD的性能在快满的时候，会变得很慢（我仿佛记得）。而且更重要的是，swap是机械的，交换的时候真的很明显。

　　综上，终于有了结论，我的方案失败了。。。

新方案：

　　方案最终于的核心内容就是，如何把只有16GB的SSD用起来？

　　市面上有一种硬盘叫混合硬盘。它的原理是，在机械硬盘前有一个小小的固态硬盘，用来缓存。据说性能与固态硬盘无异。可是，咦！为什么要提这个呢？ 因为在linux下，我们可以自制。是的。

　　大概这几种吧：FlashCache，dm-cache，lvm-cahce，bcache。

　　flashcache是facebook搞的，性能很好，但是没有进内核，需要编内核。lvm-cache是红帽搞的，听说性能不太好？而且archwiki里也没用。另一个不知道。bcache，入了内核，就它了！链接不一一提供了，请自寻。

　　然后是文件系统的问题：ext4，xfs，btrfs，zfs。

　　其实我想用btrfs，但是还是高实验性啊，不稳定啊，还是涮了。zfs要单装内核模块。ext4比较好，但是xfs被redhat7默认了。所以我就选xfs了。

　　最后，用LVM。方便高级为何不要？

开始：

1. U盘启动。

　　进U盘系统，就是arch的安装盘啊。

2. 把所有目录按原结构挂载至 /mnt/ROOT_FS/ 目录下。

　　对啊，把原系统挂起来，准备备份，准备重做。

3. 台式机与启动U盘分别安装rsync工具。

　　rsync比较高级吧，其实我只用了它的scp功能，应该用些更高级的。

4. 启动台式机的ssh，打开防火墙。

　　咻咻咻咻咻咻咻咻咻

5. 使用rsync命令将ROOT_FS拷贝至台式机硬盘。

　　烤哇烤烤哇烤烤哇烤

6. 等待6个小时。。。 看电视剧，睡觉，吃东西，出去约会。。。

　　等啊等等啊等等啊等

7. 考完了，一共380GB。。。开始弄吧。。。

　　烤哇烤烤哇烤烤哇烤

8. 分区

　　补充两份资料：

https://bcache.evilpiepirate.org/

https://evilpiepirate.org/git/linux-bcache.git/tree/Documentation/bcache.txt

https://wiki.archlinux.org/index.php/LVM

　　关于对齐：https://wiki.archlinux.org/index.php/Partitioning#Partition_alignment

　　现在工具已经可以自动检测是否对齐了，例如parted

8.1 给SSD分区

　　parted mklabel gpt

　　parted mkpart primary linux-swap(new) 1 50%

　　parted mkpart primary 50% 100%

8.2 UEFI

　　https://wiki.archlinux.org/index.php/EFI_System_Partition

　　EFI启动需要一个FAT32的EFI分区。不能under LVM。用了让UEFI firmware启动这里边的bootloader application。

8.2.1 创建EFI分区ESP（EFI System Partition）

　　A。使用GPT分区表

　　B。推荐分区大小512MiB。　　

　　C。必须格式化为FAT32

　　D。设置标记esp

8.2.2 如何修改EFI启动项

　　有两种方式，一种是在OS里使用efibootmgr。这是一个linux命令。但是有时候也许有一些限制之类的，或者其他的莫名其妙的原因，在OS命令里不一定搞得定。这时候就可以用efi shell再试一试。有一些主板集成了efi shell。有些没有。没有集成的，就需要自行把efi shell安装到ESP中，然后中EFI loader中启动了。　　

　　

>mklabel gpt
>mkpart primary fat32
>mkpart primary  %
>set  esp on

8.2.3 UEFI相关的知识

　　介绍：http://www.rodsbooks.com/efi-bootloaders/principles.html

　　安装：http://www.rodsbooks.com/efi-bootloaders/installation.html

8.2 装bcache-tools

　　在AUR下载pkg文件 https://aur.archlinux.org/packages/bcache-tools/

　　使用makepkg命名做包。

8.3 做bcache

　　ESP要做在bcache外面。

　　1. 做backing device

# make-bcache -B /dev/sda2

　　2. 做caching device

# make-bcache -C /dev/sdb2

　　3. 注册

# bcache-super-show /dev/sdb2|grep cset.uuid|cut -f3 > /sys/block/bcache0/bcache/attach
# ll /sys/fs/bcache

　　其他：

　　重启了之后只有 udev rule。才能保证重启被认到。

8.4 LVM

　　1. 使用lvmdiskscan查看所有可以的设备。

　　2. 将bcache0制作成pv

# pvcreate /dev/bcache0
# pvdisplay

　　3. 创建vg

# vgcreate vg0 /dev/bcache0
# vgdispaly

　　4. 创建lv

# lvcreate -L 50G vg0 -n lvroot
# lvcreate -l %FREE vg0 -n lvhome
# lvdispaly

9. 将新分区按目录树结构重新挂载

# mount /dev/mapper/vg0-lvroot /mnt/ROOT_FS/
# mount /dev/mapper/vg0-lvhome /mnt/ROOT_FS/home/
# mount /dev/sda1 /mnt/ROOT_FS/boot

10. 使用rsync 将整机转生回新的文件系统。

　　变变变变变变变变变

11. 拷贝完成前，学习一下bootloader

　　0. 8.2.2中提到的efi shell

　　如果想装，可以从这安装https://wiki.archlinux.org/index.php/Unified_Extensible_Firmware_Interface#Obtaining_UEFI_Shell

　　1. 之前用的是systemd-boot： https://wiki.archlinux.org/index.php/Systemd-boot

　　systemd自带一个工具 bootctl。很简单，基于前文已经设置好的东西。只需要使用 bootctl install 命令就可以完成boot loader的安装。它会在/boot目录下放置两个文件

　　/boot/EFI/systemd/systemd-bootx64.efi   

　　/bootEFI/Boot/BOOTX64.EFI

　　修改正确相应的配置文件之后，就可以用了：

　　/boot/loader/loader.conf

　　/boot/loader/entries/arch.conf

　　

　　2. 准备试一下，EFISTUB：https://wiki.archlinux.org/index.php/EFISTUB

　　　　这个也比较简单。

　　　　第一招： 直接修改UEFI页面选项，把启动参数内核位置等，写到UEFI选项中，UEFI直接启内核：

# efibootmgr -d /dev/sdX -p Y -c -L "Arch Linux" -l /vmlinuz-linux -u "root=/dev/sdBZ rw initrd=/initramfs-linux.img"

　　　　记得 verify一下，省的搞错了

# efibootmgr -v

　　　　第二招：完成第0小节。从UEFI选项进到 UEFI SHELL里。在UEFI SHELL里使用命令行，直接把内核启起来。

> fs0:
> /vmlinuz-linux root=PARTUUID=3518bb68-d01e-45c9-b973-0b5d918aae96 rw initrd=/initramfs-linux.img

12. 按照11中的内容，考完开搞！

12.1. 在启动CD中识别bcache设备。

　　因为拷贝过程很长。第二天又要上班。所以考完之后，我就关机了。第二天开机之后。自然认不出bcache分区，也就认不出lvm，也就认不出文件系统了。需要使用以下步骤，是CD认出他们来。

　　现象：

　　lsblk，ls /sys/fs, ls /sys/block 均查看不到bcache相关的信息。

　　lsmod |grep bcache 发现bcache模块没有加载。

　　可以通过 modinfo bcache 查看到相关模块的信息。

　　1.  加载 bcache 模块, /sys/fs/bcache 文件夹出现。

# modprobe bcache
# lsmod |grep bcache
# ls /sys/fs/bcache

　　2. 注册bcache设备到系统, /sys/fs/bcache/ 下出现注册设备。backing device和caching Device都需要注册。可以通过blkid命令在众多block device中找到他们。

# echo /dev/sda2 > /sys/fs/bcache/register
# echo /dev/sdb2 > /sys/fs/bcache/register
# ls /sys/fs/bcache/
690915e5-a03a-4eef-8fa0-cee935aabea5  register  register_quiet

　　3. attach caching device 到 backing device。按理说应该如前文般attach，文档中也如实说。但实际情况已经自动attach了，故略。

　　4.  至此，bcache设备已经识别，lvm，文件系统等都可以被识别了。

12.2. 改 /etc/fstab

　　1. 按设计挂载好所有的device，/，/home，/boot，swap等。

　　2. 使用genfstab命令生成 fstab 文件。

# genfstab ROOT_FS > ROOT_FS/etc/fstab

12.3. 改boot loader， 删掉grub2， 留下systemd-boot

　　补充知识：

　　　　https://wiki.archlinux.org/index.php/Mkinitcpio

　　1. chroot, 并删掉grub

# arch-chroot ROOT_FS
# pacman -Rsun grub
# bootctl update

　　2. 修改/boot/loader/ 下的config为正确的设置。

　　3. 修改 /etc/mkinitcpio.conf 让initramfs认识ROOT文件系统。包括认识bache，认识lvm。

　　a. 让系统认识bcache。需要安装包bcache-tools ；需要在HOOKS中加入bache（顺序相关）。需要注意的是，不需要修改MODULES。

/home/tong [tong@T7] [:]
> cat /etc/mkinitcpio.conf |grep HOOKS
# HOOKS
# This is the most important setting in this file.  The HOOKS control the
# order in which HOOKS are added.  Run 'mkinitcpio -H <hook name>' for
#    HOOKS="base"
#    HOOKS="base udev autodetect block filesystems"
#    HOOKS="base udev block filesystems"
#    HOOKS="base udev block mdadm encrypt filesystems"
#    HOOKS="base udev block lvm2 filesystems"
HOOKS="base udev autodetect modconf block bcache filesystems keyboard fsck"

/home/tong [tong@T7] [:]
> 

　　b. 让系统认识lvm。需要安装包sd-lvm2; 需要在HOOKS中加入 systemd，sd-lvm2;

/home/tong [tong@T7] [:]
> cat /etc/mkinitcpio.conf |grep HOOKS
# HOOKS
# This is the most important setting in this file.  The HOOKS control the
# order in which HOOKS are added.  Run 'mkinitcpio -H <hook name>' for
#    HOOKS="base"
#    HOOKS="base udev autodetect block filesystems"
#    HOOKS="base udev block filesystems"
#    HOOKS="base udev block mdadm encrypt filesystems"
#    HOOKS="base udev block lvm2 filesystems"
HOOKS="base systemd udev autodetect modconf block bcache sd-lvm2 filesystems keyboard fsck"

/home/tong [tong@T7] [:]
> 

　　c. 重新生成

# mkinitcpio -p linux

12.4 reboot

13. 重生！ ：）　　

 14. 由于失误出现了的问题：

14.1 rsync 用的不对，SUID都缺少了。。。（SUID是啥玩意？？？ 参考链接）

sudo: /usr/bin/sudo must be owned by uid  and have the setuid bit set

　　只能给强行加上SUID

# chmod  /usr/bin/sudo

　　但这已经说明，由于拷贝的问题，一定遗留了好多隐患。可以试着滚一下所有包，当定然不能解决全部问题吧，我想。。。。

# pacman -Qqn |pacman -S -

　　我想，我失败了。。。。好无语。。。

　　需要系统的补充学习，rsync。

15.  其他补充学习与实验

15.1 EFI STUB， 前文以提到。参见11节。

　　1. 进入 EFI shell后，使用如下命令，可以启动。

　　a. 安装EFI shell 到EFI MENU

/sys/block/bcache0/bcache [tong@T7] [:]
> yaourt -S uefi-shell-git

　　b. 下载太慢了。。。 去BOOT CD里考了一个出来，一共两个文件。

/home/tong [tong@T7] [:]
> ll /boot/EFI/shellx64_v2.efi /boot/loader/entries/uefi-shell-v2-x86_64.conf
-rwxr-xr-x  root root 884K Dec   : /boot/EFI/shellx64_v2.efi
-rwxr-xr-x  root root    Dec   : /boot/loader/entries/uefi-shell-v2-x86_64.conf

/home/tong [tong@T7] [:]
> 

　　c. 进入EFI shell，使用如下命令启动内核。

> map
> ls FS1:
> vmlinuz-linux root=/dev/mapper/vg0-lvroot rw initrd=initramfs-linux.img

　　2. STUB from efibootmgr

home/tong [tong@T7] [:]
> sudo efibootmgr -d /dev/sda -p  -c -L "STUB" -l /vmlinuz-linux -u "root=/dev/mapper/vg0-lvroot initrd=/initramfs-linux.img"
BootCurrent: 000C
Timeout:  seconds
BootOrder: ,,,000A,000C,,,000B,000D,
Boot0000  Setup
Boot0001  Boot Menu
Boot0002  Diagnostic Splash Screen
Boot0003  Lenovo Diagnostics
Boot0004  Startup Interrupt Menu
Boot0005  Rescue and Recovery
Boot0006  MEBx Hot Key
Boot0007* USB CD
Boot0008* USB FDD
Boot0009* ATA HDD0
Boot000A* ATA HDD1
Boot000B* ATA HDD2
Boot000C* USB HDD
Boot000D* PCI LAN
Boot000E* IDER BOOT CDROM
Boot000F* IDER BOOT Floppy
Boot0010* ATA HDD
Boot0011* ATAPI CD
Boot0012* PCI LAN
Boot0013* Linux Boot Manager
Boot0014* STUB

/home/tong [tong@T7] [:]
> 

　　使用如下命令，可以对指定的启动项进行启用或禁用

/home/tong [tong@T7] [:]
> sudo efibootmgr -b  -A
BootCurrent:
Timeout:  seconds
BootOrder: ,,000C,,,000A,,000B,000D,
... ...
Boot0013  STUB
Boot0015* Linux Boot Manager

/home/tong [tong@T7] [:]
> sudo efibootmgr -b  -a
BootCurrent:
Timeout:  seconds
BootOrder: ,,000C,,,000A,,000B,000D,
... ...
Boot0013* STUB
Boot0015* Linux Boot Manager

/home/tong [tong@T7] [:]
> 

15.2

　　EFI boot loader的设置调整。主要是使用两个工具，前文以提到，efibootmgr，efi shell

15.3

　　并没有文档中明确指出mkinitcpio.conf中的systemd，可以代替udev。但是我的直觉，它是可以代替的。所以，去掉了并且测试成功。但是这并不代表没有隐患，个人感觉基本不可能有什么隐患，因为系统启动之后，基本上就和initramfs没有关系了。

/home/tong [tong@T7] [:]
> cat /etc/mkinitcpio.conf|grep HOOKS
# HOOKS
# This is the most important setting in this file.  The HOOKS control the
# order in which HOOKS are added.  Run 'mkinitcpio -H <hook name>' for
#    HOOKS="base"
#    HOOKS="base udev autodetect block filesystems"
#    HOOKS="base udev block filesystems"
#    HOOKS="base udev block mdadm encrypt filesystems"
#    HOOKS="base udev block lvm2 filesystems"
HOOKS="base systemd autodetect modconf block bcache sd-lvm2 filesystems keyboard fsck"

/home/tong [tong@T7] [:]
> 

　　并且，userland启动速度又22秒，变成13秒（同时我还禁掉了一个service，所以这个数据只做记录而没有可比性）。

home/tong [tong@T7] [:]
> systemd-analyze
Startup finished in .865s (firmware) + .349s (loader) + 859ms (kernel) + .531s (initrd) + .356s (userspace) = .961s

/home/tong [tong@T7] [:]
> 

16. 最后的设置

　　忙活一大顿，如果不做这一步，真的是白忙活了。 就是writeback，心情不好。。。不解释了。。。

[root@T7 ~]# cat /sys/block/bcache0/bcache/cache_mode
[writethrough] writeback writearound none
[root@T7 ~]# echo writeback > /sys/block/bcache0/bcache/cache_mode
[root@T7 ~]# cat /sys/block/bcache0/bcache/cache_mode
writethrough [writeback] writearound none
[root@T7 ~]# 

　　 还有readahead，由于本人水平比较low，真的不知道这个值应该怎么给。。。默认是0。保守起见，没有并没有修改该值。

readahead
  Size of readahead that should be performed.  Defaults to .  If set to e.g.
  1M, it will round cache miss reads up to that size, but without overlapping
  existing cache entries.

[root@T7 ~]# cat /sys/block/bcache0/bcache/readahead 

[root@T7 ~]# 

　　试着改了下，好像也没啥用。。。 而且配置不能固化，重启就没了。