robocopy 和 硬盘的那些事儿

robocopy 和 硬盘的那些事儿

写在前面

最近存储迁移,需要整合和迁移数据。

因为有大量的数据迁移 所以可靠性就显得格外重要。

由于目前仍然不能上 RAID,可靠系数非常低,所以每一步都需要仔细斟酌。

这个 blog 会先介绍一个命令 robocopy

接着会介绍一下REFS

顺便再吐槽一下硬盘

robocopy

robocopy 是 windows 下的可靠文件复制工具。

镜像文件的用法:

robocopy d:\source d:\target /mir /log:copy-log.log /R:3

请注意: 斜杠不要乱打
/mir 的意思就是从源文件夹镜像到目标文件夹 这个过程中 可能会删除文件
/R 的意思是重试次数,假如碰到权限不够或者有问题的数据进行重复操作的次数。 默认 1000000 次 每次等待时间 30s。
/log 输出 log 到指定文件,这里有点坑,windows 上没法儿像 linux 那样用 tail -f , 日志是不能实时查看的,但如果想实时查看就不能输出到文件。建议对耗时长的任务输出到 log 文件。

REFS

首先 这是个文件系统 并且是微软旗下的文件系统。

REFS 的设计本意就是 不会失败的文件系统。

它并不是用来替代 NTFS,也不适用于普通消费者。

在 windows server 和 windows 专业工作站版可用

但是在我看来 这是一个比较节省成本的“可靠”存储方案的副本之一

可靠存储 需要 3 个副本 2 种介质 1 个异地灾备

因为这个副本本身就可以足够的安全 所以我们可以备份一些不是特别“要命”的文件。

因为是在 windows 平台 所以可以结合上述的robocopy的命令来定期备份。

硬盘

机械硬盘 大容量存储介质

近年变革了不少

先来吐槽一下最近买的设备

  • 东芝 ABA400V

这是一个在国内评价特别好的硬盘,国内 JD 在卖行货。

不知道为什么 到我这里 平均写入 200G+ 就会挂掉。

换了两个 都挂掉了 这硬盘 真心不敢存东西 于是乎就退掉了。

替代者是 WD 紫盘。

这个盘也有点意思,跑分写入 160M/s,写真正的数据是 60M/s,这一定是哪里有问题。

于是开启了硬盘缓存,写入看起来非常不错。

硬盘是通过硬盘盒挂上去的。

写入速度能达到 190M/s

不是持续的 虽然看起来有点夸张 但有时候非常接近了

另外说一下
WD4T 紫盘是垂直式记录方式

我之前有个盘是希捷 4T 叠瓦式记录方式。在拷贝的过程中 连续读取的速度也可以达到 170M/s

这里就是想说一下 叠瓦式并没有那么恐怖。

还有就是噪音控制。

WD 紫盘噪音更大,相比之下 希捷叠瓦式带来了更少的噪音,更少的占用空间。

如果价钱可以更少就最好了。

TIPS

如何开启硬盘的写入缓存?

对着磁盘右键点属性 -> 硬件 -> 选中磁盘 -> 属性 -> 改变设置 -> 策略

勾选启用设备上的写入缓存

关闭设备上的 windows 写入高速缓存缓冲区刷新?

这个选项我个人理解是 不用系统内存作为写入缓存。

我实测 PC 是 32GB 内存 在进行大规模写入的时候 系统内存占用到了 4GB。
数据会先读到内存中,然后再慢慢写入到磁盘中,在这个过程中磁盘是不能意外中断的 否则就会丢数据。

另外还涉及到 UPS,UPS 的作用是保证安全关机。 如果写入缓冲区过大,从缓冲区到磁盘写入时间大于 UPS 的供电时间,那么数据会丢。

本文链接:https://blog.inmind.ltd/index.php/archives/50/
This blog is under a CC BY-NC-SA 3.0 Unported License