英特尔在云存储软件的解决方案

在北京以数据造化智见未来为主题的2013中国存储峰会在北京盛大开幕。作为一年一度的中国信息产业界领袖级会议，本次大会得到了中国软件行业协会、中国计算机学会存储技术专业委员会、武汉国家光电实验室和国防科技大学计算机学院的大力支持。在下午软件定义与数据中心论坛上，英特尔亚太研发公司基础架构实验室高级软件开发工程师周渊为大家现场分享软件定义云存储解决方案，带给大家全新的云存储软件的趋势与观点。

英特尔在云存储软件的解决方案图一

在演讲现场，周渊分析道，软件定义存储这个概念大家都在谈，但仅靠几个名词很难有深入的理解，对此给大家分享一个英特尔实际在做的关于对象存储的项目，希望能对大家有帮助。首先是关于对象存储的一些基本概念，大家可能理解最多是本地文件系统，比如本地的一块硬盘格式化成NTFS，向应用程序提供了Posix接口，然后是传统的分布式文件系统，也会向应用程序提供Posix接口。而对象存储有所不同，通常来说一个对象存储，首先会有一套RESTful 的接口，然后是一个代理/控制节点，主要做关于数据定位，最后面就是真正的存储节点，用于存储数据。与传统的文件系统比，最大的差别在接口。

另一方面，值得注意的是对象存储系统持久性，通常有三种机制，第一种就是说对于非常“热”的数据可以用副本机制，对冷一点数据可以应用纠删码机制，实际情况中采用混合的方案：既有冷数据也有热数据。这里其实也可以理解为是一个区分的服务等级，“比方说你给我最多钱就让你用三副本的形势来存储。”对象存储在过去几年时间里面发展非常快，Amazon S3已经有2万亿数据，每秒钟请求数有110万。

英特尔在云存储软件的解决方案图二

Erasure Coding很早就出现了，一直在不同的领域变动进化。实际上，其基本思想是，把数据切割成小块的形式，再对这些小块数据计算校验码得出校验块，这样当原始数据块丢失时，可以通过校验块计算出原始数据，于是可以容忍一定程度上的数据丢失。总结来说就是用CPU资源节省存储资源。英特尔对此专门来做存储相关的一个库，提供英特尔® 架构上erasure code，压缩等的支持，从实验数据来看，这个库性能是很不错的，我们也正尝试把它开源。现在这个项目也利用了这个库在Swift里面支持Erasure Coding。

对于Swift来说，可以这么理解，它是Amazon S3的替代品。最早是由Rackspace共享出来给OpenStack提供存储对象的一个项目。首先它有一个RESTful的接口来访问，其提供container模型来组织对象，针对非机构化数据来提供最终一致性。当然最重要的一点就是说它提供了一个很好的扩展性：可以用最普通的硬件组建的服务器就可以把它扩展好。比较具体一点来说Swift 里有个Ring的概念，Ring是一组内部的一致性hash表。当大家在硬盘上存储数据的时候，Swift通过Ring里的算法，可以保证三个副本放在尽可能不同的位置，不同副本之间尽量不产生影响，同时后台会有一些不同的进程来维护一致性。值得注意的是，Swift不是分布式文件系统，不提供Posix的接口，不支持ACID语义操作，不是NoSQL数据存储，不提供对块级别存储服务。

从总体来看，Swift分成几个部分，最前面它有Proxy节点负责处理所有的请求，并将请求发至后端存储节点去访问真实数据。Swift的结构很清晰，里面正好有一个proxy，像一个程序的入口出口一样，所以英特尔考虑在这个节点上做文章，在读写请求做Erasure code编解码。然后以Container为模型来组织数据，通过container的元数据(metadata)来识别其中的对象是否被编码过。这和现有Swift架构保持一致，还可以同时支持线上和线下的Erasure code。通过更加灵活的配置及优化策略，可以更好地做一个Tiering的解决方案，在这里英特尔更多是定义好一个机制而非策略，策略可以根据用户自己的需要去定义。