蓝光高清网

标题: 群晖利用 Docker 运行 SnapRAID 的详细记录 [打印本页]

作者: Synology 时间: 2021-3-1 13:32
标题: 群晖利用 Docker 运行 SnapRAID 的详细记录
开始之前

于 DSM 6.1.7 系统测试通过
最优方式应该是原生程序运行，期待未来会有人编译做出 spk 安装包我是弄不来了。
SnapRAID 这软件我也是刚刚开始使用，据说适合存有大量大文件并很少改动的家庭媒体中心。

详细优缺点，自行搜索了解

SnapRAID 是什么

SnapRAID 是一个目录级别的冗余存储方案，它与 RAID 的原理有相似的地方，但它并不是 RAID。SnapRAID 与 RAID 的主要区别有：

SnapRAID 不会对数据进行条带化存储。RAID 通常会使用数据条带化，一个文件可能会被分散存储到多块磁盘上，这样的优点是读取的时候可以加速（多块磁盘同时读取），但条带化也是上节所说的 data lock-in 的根源——你不能拆出一块盘单独读写。
SnapRAID 是工作于文件系统之上的。RAID 工作于文件系统之下，直接对磁盘区块进行操作，用磁盘区块上的比特计算校验数据，而 SnapRAID 是通过读取文件系统里的文件之后再进行计算的。
SnapRAID 是非实时的。RAID 每时每刻都在工作，磁盘区块上的数据一旦发生变更就会重新计算校验数据，而 SnapRAID 可以在用户选择的时间进行重新计算。

SnapRAID 相比 RAID 的优点主要有：

数据独立。不需要对磁盘做特殊处理，可以直接将已有数据的磁盘（甚至可以是不同文件系统的）加入 SnapRAID，SnapRAID 也不会改变这些已有的数据；一个文件不会被分散到多个磁盘，随时可以拆下来一块磁盘正常读写里面的数据；当磁盘阵列收到文件读写请求时，也只需要一块磁盘响应，而不是所有的磁盘全部从待机状态启动，开始寻道。
抗灾能力。当磁盘列阵中同时损坏的磁盘数量超出预期而无法修复数据时，SnapRAID 的抗灾能力更强。例如：在 3 + 1 的 RAID 场景下，坏一块没事，如果同时坏了两块，所有的磁盘上的数据都将无法读取（因为条带化）；但如果是 3 + 1 的 SnapRAID，就算同时坏两块，剩下两块里的数据依然可以正常读取。
配置灵活。标准的 RAID 等级中，RAID 5 最多承受 1 块磁盘同时损坏，RAID 6 最多承受 2 块磁盘同时损坏；而 SnapRAID 可以配置 1 到 6 块校验盘，最多承载 6 块磁盘同时损坏，因此可以组建更大的磁盘阵列而不提升风险（维持数据盘与校验盘的比例不变）。更重要的是，无论是增加还是减少磁盘，SnapRAID 都可以无痛完成，无需清空磁盘数据。
恢复误删文件。由于 RAID 是实时计算校验数据的，当文件被删除时，这一改动立刻就会被同步到校验数据里；而 SnapRAID 在用户请求的时候才进行同步，因此用户可以用 SnapRAID 从校验数据重新构建被误删除的文件。当然了，更可靠、更持久的的误删除防护还是应该用增量备份来完成。
空间利用率高。在磁盘阵列中，校验盘的大小应大于等于数据盘中最大的那块。使用 SnapRAID 时，你可以「超售」。比如数据盘是 6 TB 的但是只装了一半（3 TB），你把 4 TB 的磁盘作为校验盘也是可以的（因为此时校验数据最多只有 3 TB），只要在校验文件膨胀到接近 4 TB 的时候将校验文件挪到更大的磁盘里即可。同样的，校验盘里未被校验文件填满的剩余空间也可以用来存储一些「丢了也无所谓」的不重要数据。此外，由于 SnapRAID 工作于文件系统之上，你可以选择性地排除掉一些不想做冗余的目录和文件，以节省空间。

摘录自：目录级别的冗余存储：SnapRAID（ https://wzyboy.im/post/1186.html ）
使用经验可以参考博文，非常受用

安装

使用这个 Docker 镜像： https://hub.docker.com/r/xagaba/snapraid
Docker 注册表里边搜索 snapriad ，选择 xagaba/snapraid 项目

( )



点击下载

1）需要配置一个 /config 目录存放 snapraid.conf ， snapraid-runner.conf 两个配置文件

( )



点击下载

2）需要保护的目录挂载到 /mnt 下
3）按挂载的路径配置好 snapraid.conf 文件， snapraid-runner.conf 按需改动，我默认配置了校验完成后进行数据擦洗同时开启了 log。
4）环境变量 PUID ，PGID 用 SSH 登陆机器，输入 id 命令可以得知。应该都是统一的数字，跟图片设置就行
这个设置事关文件读写权限，配置好减少隐患与后续可能的麻烦

( )



点击下载

使用

软件需要使用 docker exec 参数传递命令来操作
sync 命令建立校验数据，视乎硬盘数据量所需的时间可能要数小时

sudo docker exec SnapRAID snapraid sync

复制代码

( )



点击下载

常用的 SnapRAID 命令：

snapraid sync：根据数据盘生成校验盘；
snapraid diff：查看有哪些数据需要 sync；
snapraid status：查看磁盘阵列的状态；
snapraid scrub：进行数据擦洗，提早发现磁盘阵列中的错误。

SnapRAID 首次同步完成之后，可以将 snapraid sync 和 snapraid scrub 加入 cron / systemd timer，定时运行。后者默认配置下每次运行擦洗全部数据的 8%，并且会挑选最近 10 天内没有被擦洗过的数据进行擦洗。如果每天运行一次 snapraid scrub 的话，每 12.5 天所有数据都会被擦洗一遍，形成一个健康的循环。

当擦洗发现有数据损坏，或是更糟糕地，某天整块磁盘挂了（不转了），就需要修复数据了。这时候应该做的是停掉所有的定时任务，然后换上新的磁盘，然后用 snapraid fix -d name_of_disk 命令，根据健在磁盘的内容，在新磁盘里重建坏掉磁盘里的内容。只要坏掉的磁盘数量小于等于校验盘的数量，SnapRAID 都能完整地修复数据。

由于 snapraid sync 是定期执行的，这意味着在下次同步之前，磁盘阵列是有机会恢复到上次同步的状态的，因此 snapraid fix 除了可以重建整个磁盘，也可以重建单个文件，也就是反删除。如果你误删除了文件，可以用 snapraid fix -f path/to/file 来恢复文件到上次同步时的状态。

摘录自：https://wzyboy.im/post/1186.html
官方使用手册：https://www.snapraid.it/manual

计划任务

1）Docker 自带的 corntab 计划任务，默认每天北京时间 08:30 定时运行（容器是 UTC 时间）想更灵活的自定时间可以用

sudo docker exec SnapRAID crontab -r

复制代码

命令把容器的 corntab 计划删了，改用群晖自带的任务计划

手动运行的效果

fejich@PVE-DSM:~$ sudo docker exec SnapRAID /usr/bin/python /app/snapraid-runner/snapraid-runner.py -c /config/snapraid-runner.conf
2019-08-05 00:51:03,168 [INFO ] ============================================================
2019-08-05 00:51:03,169 [INFO ] Run started
2019-08-05 00:51:03,169 [INFO ] ============================================================
2019-08-05 00:51:03,169 [INFO ] Running diff...
2019-08-05 00:51:03,175 [OUTPUT] Loading state from /config/snapraid.content...
2019-08-05 00:51:03,175 [OUTPUT] Comparing...
2019-08-05 00:51:03,176 [OUTPUT] add F06中孔铁油缸-4.0s.PDF.pdf
2019-08-05 00:51:03,176 [OUTERR] WARNING! UUID is unsupported for disks: 'mnt1', 'mnt2', 'mnt3'. Noons.
2019-08-05 00:51:03,176 [OUTPUT]
2019-08-05 00:51:03,177 [OUTPUT] 14 equal
2019-08-05 00:51:03,177 [OUTPUT] 1 added
2019-08-05 00:51:03,177 [OUTPUT] 0 removed
2019-08-05 00:51:03,178 [OUTPUT] 0 updated
2019-08-05 00:51:03,178 [OUTPUT] 0 moved
2019-08-05 00:51:03,178 [OUTPUT] 0 copied
2019-08-05 00:51:03,178 [OUTPUT] 0 restored
2019-08-05 00:51:03,178 [OUTPUT] There are differences!
2019-08-05 00:51:03,479 [INFO ] ************************************************************
2019-08-05 00:51:03,479 [INFO ] Diff results: 1 added, 0 removed, 0 moved, 0 modified
2019-08-05 00:51:03,480 [INFO ] Running sync...
2019-08-05 00:51:03,482 [OUTPUT] Self test...
2019-08-05 00:51:03,858 [OUTPUT] Loading state from /config/snapraid.content...
2019-08-05 00:51:03,859 [OUTPUT] Scanning disk mnt1...
2019-08-05 00:51:03,859 [OUTPUT] Scanning disk mnt2...
2019-08-05 00:51:03,860 [OUTPUT] Scanning disk mnt3...
2019-08-05 00:51:03,860 [OUTPUT] Using 0 MiB of memory for the file-system.
2019-08-05 00:51:03,860 [OUTERR] WARNING! UUID is unsupported for disks: 'mnt1', 'mnt2', 'mnt3'. Noons.
2019-08-05 00:51:05,860 [OUTPUT] Initializing...
2019-08-05 00:51:05,860 [OUTPUT] Resizing...
2019-08-05 00:51:05,860 [OUTPUT] Saving state to /config/snapraid.content...
2019-08-05 00:51:05,860 [OUTPUT] Saving state to /mnt1/snapraid.content...
2019-08-05 00:51:05,870 [OUTPUT] Verifying /config/snapraid.content...
2019-08-05 00:51:05,870 [OUTPUT] Verifying /mnt1/snapraid.content...
2019-08-05 00:51:05,871 [OUTPUT] Syncing...
2019-08-05 00:51:06,093 [OUTPUT] Using 32 MiB of memory for 32 cached blocks.
2019-08-05 00:51:06,095 [OUTPUT] 100% completed, 1 MB accessed in 0:00
2019-08-05 00:51:06,102 [OUTPUT]
2019-08-05 00:51:06,102 [OUTPUT] mnt1 0% |
2019-08-05 00:51:06,102 [OUTPUT] mnt2 0% |
2019-08-05 00:51:06,103 [OUTPUT] mnt3 0% |
2019-08-05 00:51:06,103 [OUTPUT] parity 0% |
2019-08-05 00:51:06,103 [OUTPUT] raid 28% | *****************
2019-08-05 00:51:06,103 [OUTPUT] hash 9% | *****
2019-08-05 00:51:06,103 [OUTPUT] sched 60% | *************************************
2019-08-05 00:51:06,103 [OUTPUT] misc 0% |
2019-08-05 00:51:06,104 [OUTPUT] |______________________________________________________________
2019-08-05 00:51:06,104 [OUTPUT] wait time (total, less is better)
2019-08-05 00:51:06,104 [OUTPUT]
2019-08-05 00:51:06,104 [OUTPUT] Everything OK
2019-08-05 00:51:06,108 [OUTPUT] Saving state to /config/snapraid.content...
2019-08-05 00:51:06,109 [OUTPUT] Saving state to /mnt1/snapraid.content...
2019-08-05 00:51:06,111 [OUTPUT] Verifying /config/snapraid.content...
2019-08-05 00:51:06,111 [OUTPUT] Verifying /mnt1/snapraid.content...
2019-08-05 00:51:06,413 [INFO ] ************************************************************
2019-08-05 00:51:06,413 [INFO ] All done
2019-08-05 00:51:06,430 [ERROR ] Failed to send email because smtp host is not set
2019-08-05 00:51:06,430 [INFO ] Run finished successfully

复制代码

2）群晖计划任务

( )



点击下载

docker exec SnapRAID /usr/bin/python /app/snapraid-runner/snapraid-runner.py -c /config/snapraid-runner.conf

复制代码

欢迎光临蓝光高清网 (https://www.4kii.com/)