wiki.matoken.org

F2FSに透過圧縮機能があるらしいので試してみようと思ったらうまくいかない

$ sudo mkfs.f2fs -O compression /dev/mapper/loop31p2 
Error: Wrong features

compression(LZO/LZ4)はLinux 5.6+，zstd対応はLinux 5.7+

• F2FS Data Compression Using LZO/LZ4 \+ Selective File Extension Handling To Land In 2020 \- Phoronix
• F2FS Introduces Zstd Compression Support With The Linux 5\.7 Kernel \- Phoronix

手元のバージョンは5.8.10なので大丈夫なはず?

kernelの .config 未設定だった → # CONFIG_F2FS_FS_COMPRESSION is not set

$ grep -i f2fs /boot/config-`uname -r`
CONFIG_F2FS_FS=m
CONFIG_F2FS_STAT_FS=y
CONFIG_F2FS_FS_XATTR=y
CONFIG_F2FS_FS_POSIX_ACL=y
CONFIG_F2FS_FS_SECURITY=y
# CONFIG_F2FS_CHECK_FS is not set
# CONFIG_F2FS_IO_TRACE is not set
# CONFIG_F2FS_FAULT_INJECTION is not set
# CONFIG_F2FS_FS_COMPRESSION is not set

Debian pkgのKernelをCONFIGF2FSFS_COMPRESSIONを有効にしてbuildしてみる

$ sudo apt build-dep Linux
$ apt source Linux
$ cd ../linux-5.8.10
$ cp /boot/config-`uname -r` ./.config
$ make xmemuconfig

.config

$ grep -i f2fs ./.config
CONFIG_F2FS_FS=m
CONFIG_F2FS_STAT_FS=y
CONFIG_F2FS_FS_XATTR=y
CONFIG_F2FS_FS_POSIX_ACL=y
CONFIG_F2FS_FS_SECURITY=y
# CONFIG_F2FS_CHECK_FS is not set
# CONFIG_F2FS_IO_TRACE is not set
# CONFIG_F2FS_FAULT_INJECTION is not set
CONFIG_F2FS_FS_COMPRESSION=y
CONFIG_F2FS_FS_LZO=y
CONFIG_F2FS_FS_LZ4=y
CONFIG_F2FS_FS_ZSTD=y
CONFIG_F2FS_FS_LZORLE=y

kernel build & install

real 213m16.364s 結構掛かる

$ time make -j`nproc` bindeb-pkg LOCALVERSION=-f2fs

導入と再起動

$ sudo apt install ../linux-image-5.8.10-fsf2_5.8.10-fsf2-1_amd64.deb
$ reboot

新しいkernelでフォーマット……

$ sudo mkfs.f2fs -O compress ./j2fstest.img
Error: Wrong features

CONFIGF2FSFS_COMPRESSION=y にしたのに? loopback deviceがいけないのかとUSBメモリ(実デバイス)でも試してみたが同じエラー

もしかしてf2fs-toolsが古い?と確認すると圧縮が入ったのは今年の3月で，それの入っているv1.14.0が8月

https://git.kernel.org/pub/scm/linux/kernel/git/jaegeuk/f2fs-tools.git/commit/?id=fdd47b2ea7677119328c32bd159b7c200fd70212

f2fs-tools: support data compression
This patch adds to support compression, introducing '-O compression'
option to enable this feature in image.

てことでローカルバージョン古かった

$ dpkg-query -W f2fs-tools
f2fs-tools      1.11.0-1.1

f2fs-toolsもbuildすることに

$ sudo apt build-dep f2fs-tools
$ git clone https://git.kernel.org/pub/scm/linux/kernel/git/jaegeuk/f2fs-tools.git
$ cd f2fs-tools
$ git checkout v1.14.0
$ ./autogen.sh
$ ./configure
$ make

圧縮オプション付きでフォーマット※他の -O のオプションは man 8 mkfs.f2fs に載っている

$ sudo LD_LIBRARY_PATH=./lib:$LD_LIBRARY_PATH mkfs/mkfs.f2fs -f -l f2fs -O compression /dev/sdb1
        Info: compression feature should always be enabled with extra attr feature

extra_attrも必要だった

$ sudo LD_LIBRARY_PATH=./lib:$LD_LIBRARY_PATH mkfs/mkfs.f2fs -f -l f2fs -O extra_attr,compression /dev/sdb1

圧縮オプション付きでマウントもok

$ sudo LD_LIBRARY_PATH=./lib:$LD_LIBRARY_PATH mount -o compress_algorithm=zstd /dev/sdb1 /mnt
compress_algorithm=zstd,compress_log_size=2とか付いてる :)
$ mount | grep /mnt
/dev/sdb1 on /mnt type f2fs (rw,relatime,lazytime,background_gc=on,discard,no_heap,user_xattr,inline_xattr,acl,inline_data,inline_dentry,flush_merge,extent_cache,mode=adaptive,active_logs=6,alloc_mode=reuse,fsync_mode=posix,compress_algorithm=zstd,compress_log_size=2)

適当に小さくなるデータを書き込んでみる…… 中身0だけのファイルを作ってみたけど圧縮が効いているのかわからない

$ sudo chown `id -u`.`id -g` /mnt
$ dd if=/dev/zero of=/mnt/100MB bs=1M count=100
$ ls -l /mnt/100MB
$ df /mnt

中身0だけのファイルを作ってみたら溢れた(圧縮が効いてたら溢れないはず)

$ dd if=/dev/zero of=/mnt/4GB bs=4M count=1000
dd: error writing '/mnt/4GB': No space left on device

圧縮が効くとこのくらい小さくなりそうだけど効いていない?

$ dd if=/dev/zero bs=4M count=1000 2>/dev/null | zstd -z - --stdout | wc -c
131515

compress_algorithm を zstd, lzo, lz4 と変えても駄目(それぞれmkfsしなおしている)

ドキュメント見る https://www.kernel.org/doc/Documentation/filesystems/f2fs.txt

To enable compression on regular inode, there are three ways:
chattr +c file
chattr +c dir; touch dir/file
mount w/ -o compress_extension=ext; touch file.ext

mkfsしなおして chattr +c, compress_extension 共に試してみたけどうまく行かない…… サブディレクトリ以下でもNG(確かなにかの暗号ファイルはサブディレクトリ以下じゃないと駄目だったので)

というあたりで東海道らぐ！ておくれライブフェスティバル( https://tokaidolug.connpass.com/event/189848/ )があったので発表して聞いてみた

• F2FSの透過圧縮機能を使いたい \| edocr