企业级储存装置正逐渐改变
2014年的今天，轻薄短小信息产品引领全球消费者往下一个世代迈进。从智能手机、平板到穿戴式装置，不仅改变个人的行为模式，也让许多企业发展出新的营运模式。因应新科技带来的便利，实时的数据存取，分享与传输亦越来越重要。对许多企业来说，大量的数据存取几乎是时时刻刻都需要的。在众多消费产品与服务需求的背后，云端服务器与更进阶的储存设备则是不可或缺的功臣。
一般而言，企业级（Enterprise）信息应用可概分为企业内信息系统与云端网络服务，前者可能建置、运转于公司内部或放置于数据中心委外管理，使用者为公司内部或特定客户；后者则是建置、运转于数据中心，针对不特定大众提供信息服务；两者虽然在规模与用户对象有所差异，但是对于营运品质与服务水平（SLA）都远比一般家庭及个人信息系统的要求更高，例如要求24×7不中断的高可靠度（Reliability）、高可用性（Availability），以及满足快速、大量存取的高效能（Performance）与高稳定性（Stability），除此之外，更希望达到最低的建置与营运成本（Total Cost of Ownership，TCO）。
企业级信息系统除了软件与机房内的电力、空调与网络等基础设施外，最重要的就是服务器本身。企业用服务器内的组成可概分为三大主要部分：运算、储存与网络。由于服务器本身目前技术架构限制，指令周期（CPU, RAM）仍普遍远快于储存速度，因此各种研究、应用不断投入在储存装置上，以期提升企业用服务器的整体效能。其中「固态硬盘」由于其本质上为电子讯号读写以及多信道存取特性，无传统硬盘（HDD）的机械读取限制，使其读写速度较HDD快并在耗电性表现上更佳，然而过去由于NAND Flash每GB单位价格较高，且存在可靠性与使用寿命疑虑，并未大量应用在企业级系统上，近来随NAND Flash制程技术不断提升（1xnm, 3D NAND Flash）而使成本不断下降，以及藉由各项控制器、韧体技术改进可靠性及使用寿命后，各种企业级SSD的发表与弹性应用使得这项产品展现出不一样的契机。以消费级SSD而言，目前售价约是八年前的三十分之一，从2006年SSD初发表时的售价是$45/GB骤降至2014年的零售价$0.8 /GB；企业级SSD的每GB价格则是由2007年的$8.32/GB下降到2013年的$0.63/GB，并可能持续下降至$0.52/GB（DRAMeXchange, May 2013）；此外，如下图所示，Gartner更预测企业级SSD（服务器用以及储存用）每GB单位价格于2017年时将会下降至2012年的12~14%。
图 1, Source: Gartner 2013 Forecast, SMART Storage Systems, Flash Memory Summit 2013
由于价格下降与技术创新，我们可以预期各种企业级SSD应用将大幅成长；根据HGST于2013年发表的数据统计显示（下图），目前欧美已经有将近16%企业开始使用SSD当作储存媒介，其他尚在观望的公司也开始思考采用SSD的可行性，更有公司预定将其1/3的储存设备替换成SSD装置，同时各家的服务器厂商也都纷纷推出内含SSD装置的产品，因此我们可以预估企业级SSD产品的产能将会逐渐开始显著上升。
图 2, Source: HGST, Flash Memory Summit 2013
由IT Brand Pulse所进行的调查结果亦显示，多数企业认为SSD是过去两年内IT技术上最关键及显著的改变。
图 3, Source: IT Brand Pulse, Flash Memory Summit 2013
一般的企业服务器或是云端数据储存架构有三大类型：
1. DAS （Direct Attach Storage）
直接将储存设备堆栈连接至各类企业级服务器上作为数据存取的空间。设备建构费用为三大类型中最便宜也最容易完成。
2. NAS （Network Attached Storage）
将储存系统透文件服务器直接连接到局域网络上，文件服务器是专为数据存取而设计，速度与效能上较DAS佳。这类型设备建构的费用与技术上虽较DAS高，但能有效的满足需要存取与共享大量文件数据系统的企业环境，比较受一般中大型企业采用。
3. SAN （Storage Area Network）
则是将储存装置从局域网络独立出来，成为另一个网络，透过专属的高速网络或是光纤的链接来达到服务器与储存设备间多对多的高速串连，整体扩充性佳，可以在不增加服务器与区网负担的状况下扩充。也因SAN具备高效率的传输速度，特别适合存放运算工作量大的数据，但最大的挑战则是建构费用高且费时。
在这些企业级SSD应用当中，一般来说有以下几种使用情境方式：
- 以SSD直接取代HDD作为Production Disk：以查询、读取为主要的信息系统，例如Web server，对于效能要求高且较无数据备份疑虑。直接以SSD取代HDD，且无须采用到最高等级的SLC Flash，并可以在合理的成本范围内获得相当高的效能投资报酬率。
- 以SSD取代RAM Disk作为Tier 0 Storage：针对写入动作多、Disk I/O频繁的系统，例如：金融、在线交易或影音编辑。传统HDD在无法负荷的状况，一般可以升级更快速的磁盘阵列（整体拥有成本TCO却更高），将数据分散在多个磁盘来加速，但同时会增加数据丢失风险，或是考虑采用SSD作为Tier 0 Storage。虽然RAM Disk可以获得比SSD更高的效能，但是相同容量的SSD却能拥有更佳的成本效益（约为5倍）。一个典型包含多个Tier的储存媒体系统设计如下表以及下图所示，能以数据对效能、存取频繁度等来规划各种媒介的使用：
图 4, Source: DELL Storage, Flash Memory Summit 2013
企业级SSD的质量要求
企业级SSD对于各项规格与质量，与一般消费型SSD不同且要求更高，两者差异主要表现在以下几点上：
- 企业级SSD使用PCIe/SAS/NVMe接口，消费级SSD使用SATA接口
- 企业级SSD使用SLC/eMLC Flash，消费级SSD使用MLC/TLC Flash
- 消费级SSD选择顺序：价格/容量/效能/数据可靠性（Data Integrity）
- 企业级SSD选择顺序：数据可靠性/效能/容量/价格
而企业级信息系统对于储存媒体Storage较消费级则有更为严谨的要求：
- 企业应用要求高数据可用性（Data Redundancy）
- 企业应用要求稳定的效能（Stable Performance）
- 企业应用要求高可靠性（Greater Endurance）
- 企业应用要求额外的容量余裕（Additional Raw Capacity）
- 企业应用要求节省空间、能源、维护成本（Cost Saving on Space, Energy & Maintenance）
- 企业应用要求客制以符合特定需求（Custom applications for specific needs）
在进一步了解企业级SSD质量验证之前，藉由说明企业级以及消费级的SSD产品其所采用的NAND Flash 差异性，我们更能够清楚的认识其根本的差别：
由上表可以明显看出，由于抹写次数（P/E Cycle）是影响Flash寿命（Endurance）的最关键因素，企业级SSD往往需要两到三倍以上的抹写次数，因此对于增进产品可靠性而言相当重要。下图亦显示出P/E Cycle与Endurance明显的正比关系，随着Flash制程尺寸缩小，虽然相同面积内可产出更多Flash而使成本降低，但是因为浮闸内存（Floating-gate Non- Volatile Semiconductor Memory）的物理限制也导致P/E Cycle随之下降。
图 5, Source: OCZ Technology, Flash Memory Summit 2013
此外，由于Flash抹除后再写入（Re-write before Erase）的特性，导致Write Amplification（实际写入量大于逻辑写入量）的现象使得Endurance寿命加速减少，因此各项技术如Trim、Garbage Collection、Caching、Compression、Over-provisioning、Wear Leveling等，也被开发出来用于降低其负面影响，但由于各家Flash质量与controller、firmware的配合度与设计质量差异，常见且可预期的问题如Data Integrity、Performance Stability、Performance Degradation、Endurance等，仍将是影响SSD质量的主要关键。
企业级储存设备效能的评量与验证
在验证SSD效能方面，考虑因素除了数据吞吐量（Throughput），读写效能（IOPS, I/O Per Second）也是考虑的关键之一。坊间有多样评测软件可以测得SSD产品的读写效能，但是不同软件有各自的专长领域，要如何正确使用评测软件来评量SSD的效能就有赖丰富的经验了。百佳泰投入SSD产品测试研究领域多年，针对各类产品特性与测试开发多有心得，让我们先用大家熟知的测试工具IO Meter来对七个不同型号SSD做读写效能的分析。我们选取Samsung（四个不同型号）与Intel（三个不同型号）销售的SATA 6G SSD来当作标的物，比较特别的是，Samsung的SSD是归类为Consumer等级产品而Intel的SSD则是归类为Enterprise等级产品。
当我们完成第一次测试之后，我们得到以下结果：Samsung SSD在小档案的读写效能上（512Byter ~32K byte）领先Intel Enterprise SSD，大获全胜。这样的结果应该会让不少人心中吶闷，何以消费型的产品效能领先企业级的产品呢？
先别急着下判断，让我们再用另外一个脚本来验证一下这几款SSD的IOPS读写效能：长时间24小时的多种档案读写。
在24小时的效能评测之后，我们可以观察到INTEL Enterprise 等级SSD的读写效能（IOPS）却有5-9倍优于Samsung Consumer等级SSD的读写效能（IOPS）。这样的结果是有其道理的，企业级的产品，强调的重点是在长效性能的维持，而短时间的评比观察则不太容易看出这个结果。这个结果也呼应了前面我们提到要用正确的方式来评测SSD的效能的重要性。
因为整个企业储存设备的使用状况与环节多元且复杂度高，即便选用了高稳定高效能的SSD产品于储存设备中，仍无法保证会有高效能及高稳定度。需要有更深度的情境模拟测试，才能得知产品在整体使用上可能达到的效能。
根据IT Brand Pulse的调查（上图），企业一般认为「虚拟化应用」与「数据库」是推动SSD应用的主要服务，因此针对企业常用的服务，根据各个不同的环境规模，我们建议采用三种主要的效能评量与验证，并针对各项说明如下：
- 数据库Benchmark – SysBench MySQL
- 虚拟化架构Benchmark – VMmark
- 虚拟桌面架构Benchmark – Login VSI
MySQL数据库 – SysBench Benchmark
MySQL作为企业使用的数据库系统已经有多年历史，最大的优点就是效能高、成本低且可靠度高。此产品近几年并由数据库大厂Oracle收购成为其旗下之一产品，目前Oracle官方推荐的MySQL验证软件即为SysBench，SysBench的几个特色如下，对企业用户来说，OLTP Benchmark这个验证项目相对重要：
- File I/O performance
- Scheduler performance
- Memory allocation and transfer speed
- POSIX threads implementation performance
- Database server performance (OLTP benchmark)
SysBench是以OLTP基准检验来衡量储存装置在MySQL数据库上运作的效能。我们以此项效能验证软件仿真200个用户的中型企业数据库环境，测试设定使用100个table同时运算，每个table有一千万笔数据（总数十亿笔数据，数据量约264GB）。如下表所示，我们挑选市面上3个企业级PCIe SSD为受测储存装置，并考虑储存装置在不同的Buffer Pool Size设定和多个Thread设定下的性能表现。
下图为PCIe SSD在不同Thread设定下的效能表现（平均反应时间）。以50ms为较合理的反应时间为考虑，三个受测储存装置的最好表现都落在Thread数为16到32之间。当Thread数设定在64时，三个受测SSD的反应时间都超过50ms，表示在此状况下，已经超过三款SSD的理想值；而当Thread数设定在128到256时，则三个受测SSD的平均反应时间都明显拉高。
从数据吞吐量（Throughput）来看，我们将BufferPool Size分别设定为10GB、20GB与30GB，并配合不同的Thread数量进行压力测试。发现以30GB Buffer Pool Size和64 Thread的设定是三个SSD最优异的Throughput表现。而由下图结果可以明显看出三个SSD效能在此设定下的高低差异以及效能稳定性分布状况。
虚拟化架构Benchmark – VMmark
传统的服务器架构让服务器一次只能运作一种操作系统，且多数服务器的运作效益发挥不到20%，VMWARE系统将操作系统和应用程序从实体硬件中抽离，灵活且简化服务器环境，解决传统服务器传统一对一架构的问题，让服务器的资源达到最有效的运用。VMWARE官方推荐的 Server Virtualization 验证软件VMmark，其架构上是由多个服务器的数据中心组成的虚拟环境，以产生企业用户数据中心的实际工作量，用以衡量整个虚拟化环境的整体效能，非常适合用来对VM架构做验证。
VMmark使用多个Tile架构（如下图共有9个Tile，一个Tile则拥有8个虚拟服务器），而可承受越多个Tile执行测试则代表受测系统其虚拟化环境的效能与扩展性越强大。除了虚拟化系统运转外，VMmark也将虚拟化架构下的复制、部署、动态迁移等常用的运作纳入整体的性能评分。
一个Tile则拥有8个虚拟服务器包含着以下的服务内容：
• Database server
• Java server
• Mail server
• Web server
• File serve
VMmark的测试结果由「Application Score」与「Infrastructure Score」加权平均之后组成，可用来衡量各个独立的虚拟服务器的效能。下列表格为取自VMMARK 官方网站（http://www.vmware.com/a/vmmark/）的标竿测试值范例：
1. 性能越好的系统可以支持的Tile 数量越多
2. 每个Tile 的分数包含着8种虚拟服务器服务项目的分数
Souce: http://www.vmware.com/a/vmmark/
虚拟桌面架构Benchmark – Login VSI
大型企业的IT人员在管理大量的PC操作系统时常常需要服务到每一台个人电脑的设定, 这造成IT人员疲于奔命于解决不同使用上的问题，透过虚拟桌面架构（Virtual Desktop Infrastructure，VDI）技术，IT部门整并使用者共同的桌面资源，让用户用相同一套操作系统与桌面软件等，并能将数据集中存放于共享的储存设备，搭配分层储存与重复数据删除等技术有效运用储存空间，节约的个人系统的上硬件的重复投资，节省了个别系统的更新，更降低了储存数据外泄的可能性。Login VSI是一个衡量虚拟桌面架构和服务器集中运算环境的整体性能表现测试软件，多为业界测试虚拟桌面架构及服务器集中运算环境使用，支持以下多种虚拟桌面系统：
• Citrix XenApp
• XenDesktop
• VMware Horizon View
• Microsoft Remote Desktop Services
Login VSI测试特点如下：
• 标准化管理不同的虚拟桌面工具，藉此作出正确的决策
• 经由准确估算您的虚拟桌面架构来了解硬件数量的需求
• 利用压力测试来深入了解环境的最大容量
• 在使用前先测试变化带给虚拟桌面架构的影响
Login VSI藉由模拟多人同时登入使用VDI环境，验证系统能够提供最大有效用户上线人数与不同使用者数量所测得的执行反应时间（Response time, ms）。在虚拟桌面架构和服务器集中运算环境下，执行反应时间是个关键的性能指针，以下图的业者测试结果为例，我们可以发现在相同的硬件架构下，SAS硬盘最多仅能承受83个使用者，而采用SSD却可以支撑超过160个使用者；同时，在相同的使用者数目下，采用SSD的反应时间均远较采用SAS硬盘者快上许多。
除了以上三种企业应用情境的Benchmark，SNIA（Storage Networking Industry Association）协会所制定的企业级SSD效能测试规格（Solid State Storage Performance Test Specification Enterprise v1.1）所规范的测试要点，其中特别要求受测SSD应在Steady State进行测试，此项要求是考虑企业级SSD实际应用时，并非处于FOB（Fresh out of box）状态，故SSD的实际效能量测应使其先经过一段时间读写之后所处的稳定状况为参考基准。由于各家SSD Flash参数与Controller设计考虑不一，Steady State阶段所呈现的效能与FOB阶段之间的差异可能相当大，测试验证时必须特别注意。
Source: SNIA
结语
本文针对企业级SSD运用趋势、质量验证与效能评量做了一系列完整的介绍，除此之外，完整的企业级SSD产品验证应纳入不同设计/制造阶段的考虑，包含从EVT（Engineering Verification Testing）、DVT（Design Verification Test）、RDT （Reliability Demonstration Test），以及进入量产阶段时的ORT（Ongoing Reliability Test）。另外，希望本文所介绍的企业级SSD效能评量工具，能给予硬件厂商、软件设计或IT管理人员方向，据以估计企业级SSD或整体架构的性能，判断环境扩充的需求，以做出准确的决策。