( 作者：Thomas )
轻量级IAAS平台ZStack，加上至简架构的SDS存储SSAN，可谓是珠联璧合地打造了简单高效的HCI超融合系统，而且具有显著的国产安全自主可控特性。从超融合概述谈起，重点阐述了ZStack+SSAN超融合方案设计、实践应用经验以及POC实践。
超融合基础架构（HCI）是近年来企业数据中心中备受推崇的技术之一。HCI技术可以帮助企业实现大量的业务与技术价值，如简化数据中心管理、提高应用响应速度、降低总体拥有成本、加快业务系统的上线时间。HCI技术适用于各类应用场景，如关键应用系统、数据保护、桌面虚拟化、大数据、分支机构、开发测试场景等。
在技术实现方面，HCI主要是指在一组服务器集群中，不仅仅具备计算，网络的虚拟化技术，更包括了存储的虚拟化，实现了基于Server SAN的一体式云解决方案。在超融合的架构中，每个超融合子单元通过以太网络，将集群中的计算，网络，存储串联，形成了超融合管理平台。用户只需要通过集群内的WEB界面对计算，网络，存储进行管理，有效降低了IT环境总投入的TCO。
在超融合行业中，最有发言权的企业应当属Nutanix（路坦力），作为最早成立的HCI企业，通过软件定义的方式，将服务器的计算和存储资源聚合，在虚拟化层面上实现池化和统一管理，实现虚拟化环境的新型部署模式。他们是这个市场最彻底的“革命者”，也是超融合行业标准的制定者。其最早推崇的基于ESXi的CVM管理方式也逐渐成为行业标准，也被应用在更多的超融合系统中。
当超融合作为标准进行推广时，可以说超融合的技术已经相当成熟了，那么，基于超融合的新一代IT系统具备哪些优势呢，通过合理的分析，和实际的用户经验，我们不难得出超融合IT系统的优势主要有：
基于X86的标准化软件架构；
分布式存储打破数据孤岛；
优先读取本地数据，存储效率更高；
无论计算或者存储，扩展方式更加灵活；
一套系统管理多个服务，简化运维；
充分利用服务器现有资源，性价比更高；
在超融合技术架构中，业界共识分布式存储是超融合系统的核心，分布式存储解决了传统存储在虚拟化场景里典型的一些问题：
异构硬件，成本高，升级困难；
集中式存储架构，存单点故障风险；
存储控制器数量有限，无法扩展；
无法充分发挥 SSD 性能，I/O 易成瓶颈；
管理运维复杂 ；
通过以上描述，可清晰得出结论：选择一款有竞争力的分布式存储是构建新一代超融合系统的核心，分布式存储的好坏决定了超融合环境的系统效率和解决方案的好坏。所以，用户在选择超融合架构进行组网时，首先应该考虑的是分布式存储的选择。
TaoCloud 是国内最早的一批分布式存储厂商，在存储行业具有很多年的经验基础，TaoCloud研发的SSAN和XDFS是典型的分布式存储软件，其中：针对超融合场景，TaoCloud打造了基于分布式存储SSAN的超融合解决方案FlexCube。在FlexCube解决方案中，适配更多的虚拟化套件组成更加开放的超融合解决方案一直是TaoCloud的目标。
TaoCloud的SSAN是一款典型的Server SAN软件产品，它遵循软件定义存储的理念，可从X86服务器硬件平台的本地存储资源中创建基于服务器的SAN，以便按需提供具有弹性的、可扩展的存储容量和性能。SSAN采用去中心化的全对等Share-nothing架构，融入Scale-Out分布式块存储技术和架构，聚合X86服务器内的存储和计算资源，可从2个X86服务器节点动态扩展到上千个X86服务器节点，实现PB级的海量存储容量和大规模I/O并行的存储性能。作为传统SAN基础设施的替代产品，SSAN充分整合X86硬件平台内的资源（CPU、内存、总线、硬盘、网络等），以存储软件的高度优化和硬件资源最大化利用为目标，构建高效，智能、可持续升级的开放型软件定义存储系统。SSAN集合多种企业级数据服务功能（例如 QoS、自动精简配置和快照），可实现大规模、高可靠、高性能、超融合的存储应用，非常适合对可扩展性和存储性能要求不断提升的应用场景，如数据库、虚拟化、云计算等。
图：SSAN分布式存储功能架构
ZStack是下一代开源的云计算IaaS（基础架构即服务）软件。它主要面向未来的智能数据中心，通过提供灵活完善的APIs来管理包括计算、存储和网络在内的数据中心资源。用户可以利用ZStack快速构建自己的智能云数据中心，也可以在稳定的ZStack之上搭建灵活的云应用场景，例如VDI（虚拟桌面基础架构）、PaaS（平台即服务）、SaaS（软件及服务）等。
图：ZStack功能架构图
目前市场上针对私有云的解决方案很多，用户在多云时代的选择也变得更加开放和自由，ZStack作为近年来新兴的下一代IAAS软件，市场占有率上升较快。ZStack场景主要面对未来的智能数据中心，区别于Openstack，ZStack更加轻量稳定，是一款产品化较为完善的新一代IAAS云服务软件。在ZStack的产品定位中，ZStack也一直定位自己是一款开源的IAAS软件，对于不同分布式存储产品的融合也一直保持开放态度，在这种背景下，适配ZStack，完善自己的FlexCube产品内容，显得势在必行。
TaoCloud以分布式存储为核心，以兼容ESXi，XenServer，KVM等云基础设施为目标，形成了基于分布式存储的超融合解决方案FlexCube，通过由客户灵活自主选择云基础设施软件，加持TaoCloud自主研发的SSAN，形成了更加开放的超融合系统。
一般情况下，在ZStack云环境下使用SSAN，主要有三种方法，分别为：分离部署，物理融合，超融合三种。从扩展性，性能，管理性，成本等方面分析，三种方法的适用场景均有所不同。例如：在一个以存储为核心的数据中心中，为了更多的挖掘存储的性能和适用场景，可单独的将分布式存储拿出来，替代磁盘阵列用于存储使用，这样存储不仅可以为虚拟化提供存储支撑，而且可以用在其他的存储场景中，最大发挥了分布式存储的能力。但这种方式对于中小型的云环境，由于使用了单独的存储集群，成本更高。对于中小型的云环境，融合部署/超融合一直是客户建设数据中心的首选，那么如何选择更加适合客户环境的部署环境呢？融合部署和超融合部署方式的不同主要是对于物理资源的直接使用和间接使用上。融合方式直接同虚拟化共存在一套操作系统上，直接与虚拟化共同直接使用物理机资源，这种部署的优势在于：直接使用物理资源效率更高，而计算资源的共存可以使存储系统最大可使用物理机的所有资源，分布式存储性能更好，但劣势为：正是由于计算资源共享，在后期的使用中，可能会造成虚拟化与分布式存储互相争抢“资源”的情况，且在后期的升级过程中，升级成本更高；而超融合方式更像是在虚拟化的基础上设置了一个容器，使存储使用的资源更加集中和可控，这样资源的区别设置有利于存储和虚拟化系统在实际运行环境中的保持相对独立，相互影响较小，排错成本更低，资源设置更加可控，虚拟化和存储系统的升级相对独立，互不影响。为了更加清晰地对比三种部署方式的差异，请参考下表内容：
表：三种部署方式的差异
通过上表中的对比，我们可以得出结论：无论分离部署、融合部署或是超融合部署，分布式存储都是超融合架构中的核心部分，融合部署和超融合部署都是未来软件定义虚拟中心的首选。先进的架构和灵活的可扩展性是传统烟囱型IT不可比拟的。基于ZStack环境的融合部署和超融合部署均能能够实现超融合架构，但从资源管理、运维成本和资源升级等方面综合考虑，优先推荐使用超融合部署方式，ZStack+SSAN的超融合部署，可以有效利用ZStack的计算资源，更大程度的扩展分布式存储的功能使用场景。
ZStack对于第三方存储的集成也一直呈开放态度，也有利促成了双方超融合解决方案的诞生。SSAN分布式块存储正是基于以上的目的完成了对ZStack的适配，形成了SSAN+ZStack超融合架构，在实现ZStack超融合场景的基础上，给予了用户选择存储的权利，更加充分的挖掘了超融合环境下的存储功能。通过超融合适配实验和简单测试，最终实现了FLexCube的扩容。
图：SSAN与ZStack超融合适配成功界面
在SSAN+ZStack的超融合架构中，使用标准的X86服务器构建基础物理集群，服务器数量推荐3台-8台。在ZStack操作系统安装完成的基础上，在每台ZStack主机上启用一台存储控制虚拟机（可逻辑理解为存储控制或CVM），通过资源定义的方法将每台ZStack主机中用于存储的磁盘资源和物理网卡资源分配给CVM虚拟机，在CVM网络互通的基础上安装分布式存储软件SSAN，分配磁盘资源给ZStack集群，最后通过ZStack集群的Shared Block方式，完成存储挂载，最终实现在基于SSAN的存储上完成虚拟机的创建和云盘的使用。
图：SSAN+ZStack超融合示意图
SSAN是一款面向云计算和互联网时代的成熟存储软件产品，ZStack是新一代IAAS云计算软件，使用SSAN+ZStack超融合不仅抛弃了传统磁盘阵列，而且使用了高于传统的高可用、性能和数据管理系统功能。通过SSAN+ZStack实现超融合系统的主要特点有：
分布式存储和虚拟化计算资源相对独立，资源可控；
分布式存储和虚拟化资源均具备高可用特征；
持续高性能，超融合系统可持续提供高质量的基于分布式存储的云服务；
完整的软件定义数据中心功能，包括软件定义的计算、网络和存储；
云平台支持普通用户和AD/LDAP账户管理，支持不同用户的权限管理；
支持精简配置和预分配两种存储模式，针对容量型和性能型两种场景；
存储支持纠删码/副本保护策略，数据安全性较高；
支持基于存储卷和虚拟机的克隆和快照等高级功能；
按需分配，弹性扩展；
充分利用服务器，IT建设成本较低；
简化了客户的运维管理；
2.4 方案优势
通过基于SSAN的超融合平台，可为用户提供一个强大、开放、可靠的新一代智能数据中心，方案在设计时充分考虑了冗余与高可靠的设计原则，为用户提供了一个强大的信息系统，基于SSAN的ZStack超融合平台具有以下的优势：
先进的技术架构
软件定义一切已经被认为是技术趋势。超融合系统正是遵循这一理念而诞生，基于SSAN的超融合平台以ZStack专有云为基础，所有组件均提供冗余功能，包括，虚拟化，网络，存储，防止由于超融合系统的任何单点对业务造成的间断隐患。
系统的安全性
能连续胜任7X24小时的运转任务，保证提供服务的不间断性；并提供虚拟化和存储的还原策略，保证由于误操作对于正确设置的还原操作；基于SSAN的ZStack超融合平台提供了可供用户选择的各种访问策略，保证不同用户可以访问的计算和存储资源，保证了数据和系统的安全。
极简操作、友好交互
基于SSAN的ZStack超融合平台架构安装配置非常简单，用户配置虚拟化和存储仅需要1个小时即可完成安装所有组件，系统提供的图形化操作方便了用户的日常使用习惯，简单易懂的菜单方便了用户操作的准确性
灵活的扩展性
基于SSAN的ZStack超融合平台超融合系统具备灵活的扩展能力，最小扩展单位为一块磁盘，扩展后无需用户干预，系统会自动进行数据修复和虚拟机平衡策略，保证了资源的平均，提高了系统的运转效率。
智能的超融合平台
自动化运维管理，在超融合环境中，一切由APIs来管理，超融合平台通过Ansible库实现全自动部署，升级和自动探测，实时监控超融合平台所有资源的消耗情况，通过自动预警，智能化调配的方式，节省IT的软硬件资源。
标准的软件配置对于保证软件的部署标准，保障用户现场的软件产品质量具有重要的意义。为了方便用户快速便捷的使用SSAN+ZStack环境，最佳实践章节提供了用于SSAN+ZStack的最优配置和经验供用户参考，用户可根据自身实际情况通过最佳实践准备用于测试的资源，快速完成SSAN+ZStack的组网。
根据不同用户的场景需求，TaoCloud建议用户在选择硬件进行超融合组网时，将服务器的配置分为：计算型，存储型，高性能三种，建议最佳超融合环境的服务器数量至少配置为3台。以下内容仅供参考：
表：服务器选型
除上述硬件配置外， CVM虚拟机资源配置也决定了分布式存储的部分性能，我们把CVM配置分为：面向桌面虚拟化和服务器虚拟化的场景，并推荐按照下表进行CVM虚拟资源的分配。
表：CVM资源划分
在桌面虚拟化中，服务器中的虚拟机密度大，启动时IO要求高（典型的顺序读场景），启动后单台虚拟机的内部IO要求较小，基本上可通过virtIO cache和内存cache的方法，保证桌面虚拟化的用户体验；而服务器虚拟化中运行了比较重要的业务资源，对于虚拟化的计算资源和存储IO要求较高，需实时保证服务器的计算资源够用和存储需提供较高的IO。
在以上硬件配置的基础上，进行组网前的硬件配置与优化，包括：
BIOS的优化设置
SSD的选择与缓存配比
SSAN集群可以作为ZStack的存储后端，向ZStack提供卷存储空间，ZStack可以通过卷启动云盘，也可以向运行中的VM添加额外的云盘。ZStack利用Shared Block方式中的iSCSI途径访问SSAN的块设备，如下图：
图：ZStack超融合流程
无论是分离部署，融合部署和超融合部署，当用户使用SSAN与ZStack云环境进行对接时，实际上都分为3个步骤：
1. 设置CVM虚拟机
2. 配置SSAN分布式存储
3. 使用Shared Block模式挂载SSAN存储系统
选择CVM配置请参考硬件部分的CVM规划，完成CVM配置后，需要在CVM中安装操作系统和进行SSAN软件配置，软件配置请参考以下内容进行设置：
为了保证存储网络连接的高效，建议在超融合环境中设置2条万兆网络，2条千兆网络，万兆网络用于存储网络，设置存储私网和虚拟化挂载网络，保证了数据的上行和下行链路，提高了分布式存储的网络效率。千兆网络分别用于物理主机的管理和虚拟机网络的使用。通过设置以上4条网络完成了以下的组网。
图：网络设置
在一些利旧的场景下，万兆网卡的硬件环境往往不能保证，这种情况下，也可以将多条千兆网络设置为bonding模式，提高单条网络的部分性能和可用性，尽量避免由于网络问题导致的存储瓶颈。bonding链路最少为4条，需要注意的是，如果使用bonding，则物理机只能使用桥接为CVM提供网卡资源。
CVM虚拟机中的网络分为：管理网络；存储网络和挂载网络。建议使用PCIE透传技术直接将物理机的万兆网卡透传给CVM， CVM使用独占的物理网卡设备，使用性能接近物理网卡。当透传环境不允许时，可设置物理机万兆网络的桥接方式，此种配置根据实际用例而有不等量的性能损失。
完成软件安装后，通过用户指定的管理IP地址登录WEB GUI，默认用户名admin/sysadmin,登陆后可通过以下流程快速配置SSAN软件：
1. 添加机柜：一个机柜包含一个或多个节点，是节点的一个集合；
2. 增加节点：集群由多个物理节点组成资源池，必须先有集群节点；
3. 初始化磁盘：集群节点的磁盘资源，需要初始化才能被SSAN管理和使用；
4. 创建存储池：存储池是一组OSD的集合，可从存储池划分VD；
5. 创建OSD：OSD管理节点上一块或多块物理磁盘，它提供对象存储功能；
6. 启动存储池：激活存储池的存储功能，启动后可创建虚盘；
7. 创建虚盘VD：集群正常后可以按需创建虚盘VD，相关配置在创建时指定；
8. 创建iSCSI Target：SSAN采用iSCSI协议访问，需要虚盘创建iSCSI目标端；
9. iSCSI发现与登录：客户端采用iSCSI协议访问虚盘存储资源；
在服务器数量较少的情况下，无需过多考虑机柜设置，一般情况只需一台服务器对应一个机柜即可，但如果分布式存储中物理机过多，可通过机柜划分不同的区域，配置不同机柜间的卷迁移策略，用于机柜间的容灾和主备，保证重要数据的安全。通过设置后的机柜关系，可在集群拓扑中可视化查看。
SSAN将分布式存储集群中的磁盘资源分为：物理磁盘和SSD缓存两部分，物理磁盘是SSAN集群中最基础的子资源。默认情况下，首先需将物理磁盘做初始化操作。未经初始化或有分区关系的磁盘默认不被SSAN使用。SSD缓存用于对普通磁盘的cache加速，通过配置和物理磁盘一定比例的SSD磁盘（15%-20%），可明显提高普通磁盘随机读写的IO性能，更好地利用分布式存储中的磁盘资源。
SSD 缓存目前支持三种模式，分别为：writeback，writethrough，readonly，分别针对不同的场景，可总结为：
writeback：写多读少，写场景优先
writethrough：读多写少，读场景优先
readonly：完全读加速场景
SSAN集群支持设置多个存储池，包括：基于机柜的存储池和单集群内的存储池，每个存储池由若干OSD组成，虚拟硬盘可以从不同存储池中创建。在存储储池中，可以实现不同SLA等级的存储资源(比如SSD pool和HDDpool)，以及故障域控制。例如：SSD pool用于高IO要求场景下的数据存放，HDD pool用于一般场景下的数据存放。
SSAN中由多个OSD(Object Storage Daemon)组成，每个节点运行若干OSD进程，每个OSD管理一块或多块物理硬盘，支持SATA、SAS、SSD等类型硬盘。对于SATA/SAS磁盘建议单个OSD管理多块磁盘，对于SSD建议每个OSD管理一块硬盘。
虚盘VD是SSAN对外提供服务的核心功能。VD具有副本、纠删码、自动精简配置、快照、克隆等企业数据功能。设置后的VD通过iSCSI方式进行裸设备映射，客户端通过iSCSI协议挂载使用虚拟磁盘。SSAN可设置针对于iSCSI的用户和IP策略。用于虚拟卷iSCSI映射的安全。SSAN默认卷具备高可用特征，当用户使用SSAN进行数据存放时，系统默认允许一定数量的节点或磁盘宕机，但并不影响整个集群的正常运转，正确的设置故障策略有效的保证了集群的稳定性，帮助用户正确评估集群的韧性。
NAS服务是SSAN功能的一个文件系统扩展，主要面向以块存储为基础，提供基于SSAN块存储的NAS服务，包括：NFS，CIFS和FTP。NAS服务默认由管理节点提供，为普通用户的数据共享和管理提供了便捷。NAS服务支持针对用户的权限控制，并可在NAS服务中添加AD和LDAP用户。设置后的NAS服务可通过windows、linux等多类客户端对存储进行访问。
由于使用了虚拟化技术为基础，在ZStack操作系统中创建的CVM并不是最优设置，这时为了满足用户的生产需要，需在CVM操作系统中和SSAN软件本身，进行部分调优工作，保证CVM虚拟机和SSAN的性能，主要的工作有：
Kernel内核调优
默认情况下，Linux系统使用CFS调度策略处理系统中的非实时进程，CFS思路很简单，就是根据各个进程的权重分配各个程序的运行时间，在这种情况下，由于调度的完全公平，对重要系统进程的一些操作较为不利，需要使用系统提供的sysctl工具来进行调度的微调，保证SSAN使用的稳定性，sysctl的位置位于/etc/sysctl.conf , 添加以下内容：
kernel.sched_min_granularity_ns= 10000000
kernel.sched_wakeup_granularity_ns= 15000000
kernel.pid_max = 4194303
vm.dirty_background_ratio = 10
vm.dirty_ratio = 20
vm.swappiness = 0
磁盘调优
Linux系统使用cfq默认IO调度器。在分布式存储中，为了保证磁盘的最佳利用，通常情况下，需要重新设置磁盘的IO调度算法，保证磁盘性能的最佳利用，通常，建议普通磁盘使用deadline，ssd使用noop。更改方式为：
echo "deadline" > /sys/block/sd[x]/queue/scheduler
echo "noop" > /sys/block/sd[x]/queue/scheduler
除上述方法外，为了提高磁盘的顺序度性能，设置预读值，在生产中也是非常有效的，更改磁盘的预读值对于大文件的读写具有明显的提高作用。具体方法为：
echo "8192" > /sys/block/sd[x]/queue/read_ahead_kb
网络调优
网络调优的思路主要有：增加与物理主机之间的连接数和提高linux系统本身的TCP buffer 限制。
#增加连接数
net.ipv4.ip_local_port_range=3276865535
#设置linux端口复用，回收再利用等待的网络socket
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
# 10G网络带宽下的TCP网络设置
net.core.rmem_max = 56623104
net.core.wmem_max = 56623104
net.core.rmem_default =56623104
net.core.wmem_default =56623104
net.core.optmem_max = 40960
net.ipv4.tcp_rmem = 4096 8738056623104
net.ipv4.tcp_wmem = 4096 6553656623104
#更改系统的UDP网络限制，默认值4096
net.ipv4.udp_rmem_min = 8192
net.ipv4.udp_wmem_min = 8192
在用户配置CVM和SSAN时，总结一下需要注意的重点：
1. 要根据使用场景规划硬件和分布式存储软件，要在安装软件前，确认硬件的正确配置，包括BIOS和SSD的配置与比例。
2. CVM虚拟机的资源配置要根据虚拟化类型做配置，但配置的前提是要保证CVM机器的资源够用。
3. 网络的规划最好使用万兆用于超融合组网，尽量避免由于网络带来的超融合性能瓶颈，如果环境不满足，也可使用网卡绑定的方式设置网络，但使用网卡绑定后虚拟机只能使用桥接模式使用网络资源，与PCIE网卡透传，网络性能有一定差距。
4. 配置SSAN需要重点注意时间同步，配置时注意缓存的模式选择，是否需要配置存储池SLA等级，OSD的配置技巧。
5. 配置虚拟磁盘时需确定虚拟卷是性能型还是密度型，是否需要设置预分配策略，副本的纠删码的策略选择，iSCSI是否需要安全策略。
SSAN默认支持的单卷最大容量为512T，实际生产过程中，通过分布式存储提供的单卷随机IOPS最低性能可达到3W，性能型场景主要包括：大小文件写入为主的IO场景，数据库/中间件为主的IO场景，服务器虚拟化为主的IO场景。
ZStack是基于专有云平台4S（Simple简单，Strong健壮，Scalable弹性，Smart智能）标准设计的下一代云平台IaaS软件。默认提供的ZStack云平台已经是最优状态，无需调节ZStack操作系统中的参数，但通过页面进行ZStack配置时，用户可根据下表进行最优设置。
在ZStack环境的基础上，需要设置ZStack的Shared Block（共享块存储），Shared Block是ZStack企业版新支持的一种主存储类型，可以将用户在SAN存储上划分的LUN设备直接作为存储池，再提供给业务云主机使用。据实测数据显示，Shared Block可以完全发挥物理磁盘的性能，ZStack SharedBlock支持iSCSI、FC共享访问协议，是基于ZStack超融合组网的最优选择。
SSAN通过在ZStack环境中的CVM方式完成了分布式存储的组网，相当于在每台ZStack启动了一个存储控制器，用户使用超融合环境只需在每台ZStack物理主机中，挂载其自身CVM提供的iSCSI设备，即可完成ZStackShared Block设备的配置，完成超融合组网。
由于版权限制，此次最佳实践的超融合环境部署只使用了一台物理机，正式部署时，多台主机的搭建方法和此次搭建步骤相同，只需要重复部分操作即可，此次过程中，搭建的ZStack环境拓扑图如下：
图：ZStack超融合实现逻辑图
此次最佳实践使用的物理机配置如下：
SSAN+ZStack环境推荐使用2条万兆网络，分别用于存储私网和挂载网络，万兆网络保证了业务使用和存储交互的高效，避免了网络瓶颈问题对系统的影响。
CVM是每一台ZStack物理机的磁盘控制虚拟机，用户可将CVM虚拟机理解为逻辑的机头，通过CVM控制了每台物理机下的磁盘，形成了基于网络的Server SAN。建议CVM虚拟机的配置参考以下设置：
此次超融合平台的搭建遵循以下的操作流程：
1. 安装ZStack虚拟化平台，并进行简单配置；
2. 安装后登录ZStack操作系统，上传配置存储需要的CVM虚拟机和准备好的XML文件；
3. 修改XML文件，定义虚拟机使用的物理资源；
4. 使用Libvirt开启CVM虚拟机，远程进入CVM虚拟机内部；
5. 上传SSAN分布式存储安装包至CVM，安装分布式存储程序；
6. 配置分布式存储，检查存储配置的正确；
7. 在ZStack操作系统中使用iscsi-initiator发现SSAN存储设备；
8. 获取设备的WWID或UUID，在界面中进行SSAN主存储配置；
9. 使用SSAN主存储创建若干虚拟机，验证配置正确；
ZStack使用ZStack最新发布的2.5版本，通过下载官方ISO镜像或者使用已存在操作系统的自动安装脚本进行，具体安装操作请参考ZStack安装手册。
ZStack企业版安装完成后，会自动进行操作系统的重启，进入系统后，会自动进行ZStack环境的自动安装和配置，安装完成后，系统会自动进入监控界面，使用F2进入简易图形配置界面，可以进行网卡，主机名等基础内容的配置。
图：ZStack安装后的后台监控页面
完成上述步骤后，ZStack的配置全部完成，此时需要配置分布式存储控制虚拟机（CVM），具体配置如下：
1. 首先，需要上传事先准备好的虚拟机镜像文件和虚拟机XML文件至ZStack服务器，如图：
图：上传文件
2. 确定物理机可用的磁盘和网卡资源，最佳实践我们使用一块磁盘和一块网卡，如下图所示：
图：使用资源
3. 启动编辑好的CVM虚拟机，完成CVM的外部配置
图：启动虚拟机
1. 完成上述配置后，等待虚拟机启动完成，使用我们提前准备的Spice客户端连接CVM虚拟机，检查虚拟机资源是否透传成功，如图
图：网卡资源
图：磁盘资源
2. 确认资源透传成功后，先配置虚拟机的网卡，设置固定ip用于虚拟机的正常访问。
图：网络配置
3. 完成后上传我们安装SSAN分布式存储所需要的软件包，按照SSAN标准安装方法进行安装。
按照上述步骤配置完成后，需要在ZStack主机进行iSCSI设备的发现，操作如下：
1. 远程SSH登录ZStack主机，使用以下命令发现iSCSI设备，并登录，完成后查看设备状态，并确认设备正常。
[root@hci thomas]# iscsiadm -m discovery-t st -p 192.168.3.25:3260
192.168.3.25:3260,1iqn.com.taocloud.2018-07.taocloud.thomas:ssan
[root@hci thomas]# iscsiadm -m node -Tiqn.com.taocloud.2018-07.taocloud.thomas:ssan -p 192.168.3.25:3260 -l
2. 查看新加iSCSI设备的wwid或scsi id
完成上述操作后，返回ZStack WEB管理界面，在“硬件设施—主存储”页面下进行主存储添加操作，如下：
1. 点击添加主存储，输入存储名称--选择shared block类型存储--输入设备号—关联集群，注意，此处的设备号为上节查看的scsi id或wwid，选择其一填入即可。
图：添加主存储
2. 完成上述操作后，在“主存储”界面等待若干分钟，主存储添加完成，SSAN设备即可用，如下图
图：SSAN添加成功
使用SSAN主存储创建云盘，验证环境的正确性，如下图：
图：创建云盘
在上述超融合架构中，尝试创建虚拟机，验证超融合环境的正确性，在云主机界面创建虚拟机，并使用创建好的云盘，进入虚拟机安装界面进行操作系统安装，如下图：
图：使用创建的SSAN云盘创建虚拟机
将创建好的虚拟机通过ZStack界面进行运行控制操作，包括启动，关机，暂停，登录虚拟机内部进行日常操作，验证虚拟机的正常使用：
图：ZStack运行控制
通过以上安装步骤，验证了基于SSAN分布式存储上实现ZStack超融合架构的可行性和功能性，在实际POC环境中，ZStack+SSAN超融合还需要更多的时间验证其稳定性和具体的业务虚拟机性能，通过此文档指导了实施运维工程师如何在ZStack环境中正确的配置SSAN存储，保证了操作的标准和正确。
未来5-10年更多的数据中心在建设目标中都设计了超融合发展方向，这意味着更多的SAN或NAS存储会被SDS所替代，超融合在实现了计算，网络，存储虚拟化的同时，极大简化了用户的配置过程，有效降低了用户IT基础设施的成本，越来越多的占据了更多的市场份额，或者说会成为今后用户建立IT系统的首选架构。例如：根据wikibon的分析报告，超融合未来的市场空间将会超过400亿美元，年复合增长率达到20%，对比传统存储厂商，EMC更多的做起了解决方案，同时更主推了超融合架构下的软件，更说明了超融合趋势不可阻挡。
使用计算存储的超融合一体化平台，替代了传统的服务器集中式存储的架构，使得整个架构更清晰简单，极大简化了复杂IT系统的设计，而通过TaoCloud实现的FlexCube超融合整体架构更具有传统IT无法比拟的优势，主要包括：
1. 灵活自主：按需、按场景选购虚拟化，更加贴合用户场景，效率更高；
2. 按需采购：无需大规模一次采购，根据需求每次的扩展单元精确到一块磁盘，保护了现有投资；
3. 资源可控：通过CVM方式控制的存储系统更加高效，CVM系统与虚拟化相对资源独立，保证了资源的自治和出现问题时的准确定位；
4. 快速交付：可根据用户环境标准化快速交付，用户可选择一体机方式或软件两种交付方式，最快交付时间只需要30分钟。
FlexCube实现了基于ZStack的超融合适配，提供了完整的分布式存储功能，扩展了ZStack的使用场景。超融合平台的核心是分布式存储，FlexCube提高了超融合平台的兼容性，保证了用户在多云环境下使用分布式存储提供的服务。FlexCube正是为了保证让用户在不改变现有架构的前提下，更快，更好地使用超融合环境，为用户带来更有意义和价值的IT升级，为此，FlexCube将会更多的扩展其使用场景，为用户提供高质量的、基于分布式存储的超融合架构。