数据存储和备份（待更新）

问题描述：

需要处理海量射电数据、备份数据。射电干涉阵数据几个T，加上处理数据的存储空间需要double，以及备份以前处理完的数据结果。 目前手头的设备：1台 macbookpro 内置固态硬盘500GB；3个2TB希捷移动机械硬盘； 2个4TB希捷移动机械硬盘；1个5TB希捷移动机械硬盘；1个5TB西部数据移动机械硬盘（xfs文件系统）。 总共24T，其中已使用~18T，有~4T完整未使用空间，剩下2T分散于几个硬盘中无法利用。 18T的已用空间中的数据也亟待整理，可能有一定冗余，但一个一个硬盘倒来倒去整理太麻烦。

解决方法：

NAS预算：

NAS（Network Attached Storage：网络附属存储），想必两个近30T的 NAS 需要上万了，还得等有空结合预算， 估算一个经济合理的存储空间的NAS代替上面的理想方案。

机械硬盘主要分垂直式和叠瓦式：

CMR 垂直式（传统磁记录）：会在磁道与磁道之间留有空隙，来避免磁道之间信号的干扰，所有数据都会从磁道上经过， 优点是：无论顺序读写还是4K随机速度都较好，而且寿命长，缺点是单碟容量低。
SMR 叠瓦式（叠瓦式磁记录）：优点是容量大，缺点是速度慢，特别是4K随机读写。由于采用了磁道叠加式， 把几个磁道叠加一起从而同体积能容乃更多的磁道，但因为机械硬盘的磁头比读写的磁道要大导致每次数据擦写都会影响到下一条磁道数据， 为了解决这个办法会先把下一个磁道数据先备份出来放进缓存空间(SMR缓存空间一般256Gb，看起来比CMR式的64G大，但并不是优势， 因为SMR本身就需要更大的缓存空间)，然后再从新写入，但这时候又会影响到下一条磁道，进而又会重复以上操作。 所以对于经常存储零散文件使用的机械硬盘一定要购买CMR垂直式硬盘

机械硬盘是内置还是外置？

内置：价格便宜，接口sata等，速度比usb3.0快，数据的写入写出也更快。缺点：不能移动。

接口种类：

USB,SATA,PCI-E,M.2等。
只比较我用到的两类。USB 3.0的5Gbps（/10）速度实际上是理论500MB/s，现在移动硬盘接口是USB3.0； 机箱内常常是SATA3 6Gbps （/10）的理论速度则是600MB/s，SATA2出现在老主板上，如果是SATA2，就没必要买太好的SSD（固态硬盘）了。
Serial Advanced Technology Attachment。使用SATA（Serial ATA）口的硬盘又叫串口硬盘。 Serial ATA采用串行连接方式，串行ATA总线使用嵌入式时钟信号，具备了更强的纠错能力，与以往相比其最大的区别在于能对传输指令（ 不仅仅是数据）进行检查，如果发现错误会自动矫正，这在很大程度上提高了数据传输的可靠性。串行接口还具有结构简单、支持热插拔的优点。
M.2接口是Intel推出的一种替代mSATA的新的接口规范，也就是我们以前经常提到的NGFF，即Next Generation Form Factor。 M.2接口目前支持两种通道总线，一个是SATA总线，一个是PCI-E总线。当然，SATA通道由于理论带宽的限制（6Gb/s）, 极限传输速度也只能到600MB/s，但PCI-E通道就不一样了，带宽可以达到10Gb/s，所以看似都为M.2接口，但走的“道儿”不一样， 速度自然也就有了差别。
在传统SATA硬盘中，当我们进行数据操作时，数据会先从硬盘读取到内存，再将数据提取至CPU内部进行计算，计算后写入内存， 存储至硬盘中；而PCI-E就不一样了，数据直接通过总线与CPU直连，省去了内存调用硬盘的过程，传输效率与速度都成倍提升。简单的说， 我们可以把两种通道理解成两辆相同的汽车，PCI-E通道的汽车就像是在高速上行驶，而SATA通道的汽车就像是在崎岖山路上行驶。很显然， PCI-E SSD传输速度远远大于SATA SSD。目前PCI-E接口通道有PCI-E 2.0 x2及PCI-E 3.0 x4两种，最大速度达到32Gbps.另外， 由于PCI-E会占用总线通道，入门以及中端平台CPU通道数较少，都不太适合添加PCI-E SSD，只有Z170，或者是X79、X99这样顶级平台， 才可以完全发挥PCI-E SSD的性能。总的来说，如果你是一个不差钱的土豪，那么就 PCI-E SSD吧！

数据备份的321原则：

3：存储 3 份完整文件，一份原件加上两份拷贝。
2：将文件起码保持在两种不同的介质上。
1：将一份拷贝保存在异地。 所谓的「介质」，是指内置硬盘、外置硬盘、光盘或者 U 盘等不同的存储介质

数据备份等级和策略：

日常工作数据：包括已完成的主要结果fits文件，图、表和文档等，核心自有数据。

参考：