2011年10月

作者：Bill Lundell、Jennifer Gahm、John McKnight、Julie Lockner

执行摘要

报告结论

ESG就企业当前和计划的数据管理策略与270位IT专业人士进行了深入调研。重点关注大数据量（如今经常被称为“大数据”）对数据分析和整合的影响。受访者均来自北美（美国和加拿大）大中型企业（雇员数在500至999）和大型企业（1000名员工或以上）。

基于本次调研目的，ESG认为，数据量一旦超出了传统IT基础架构的容量和界限，即可称之为大数据。大数据需要工程师重新思考并很有可能对架构进行重新设计，以便支持数据量增长后的业务需求。从数据分析角度来看，大数据还具有以下特性：企业要求以一定的速度完成数据处理、数据集成和数据分析的任务以及上述任务的复杂性。

基于此次调查搜集的数据，ESG得出结论：

• 大数据正推动着分析工具和流程的改变。对于很多受访企业而言，大数据已经存在于其IT环境中。按照ESG的定义，那些拥有大量不断增长的数据库的企业，以及那些拥有多个数据源的企业，更有可能面对和大数据相关的难题。尤其是，超过四分之一的受访者（29%）表示他们拥有至少100TB的数据库数据，80%的受访者表示其每年的数据库增长率超过10%。此外，42%的企业至少将4个数据源集成为一个典型的分析实例。随着更多的数据源的出现，且每个数据源都拥有大量不断增长的数据，这些数据源被不断集成到业务智能实例中，以致现在的数据分析流程已经不再适用。

• 企业认为改善数据分析能力是关键。超过半数的受访者确认，提升数据分析能力是他们企业未来12-18个月内最先考虑的五大IT举措之一。从另一方面来看，仅有5%的企业表示数据分析不在他们前20项IT优先性举措范围之内。超过54%的大型企业（例如，雇员数在1,000或以上）认为数据分析在5大IT优先性举措中应列于首位，而持上述同一想法的大中型企业（雇员数在500至999人之间）比例仅为42%。

• 还没有出现已成型的数据分析平台…超过半数的企业目前在使用定制的数据分析解决方案。经过调优后可用于特定工作负载的通用数据库也常拿来进行数据分析活动。那些数据库数据总量至少在100TB的企业更倾向于使用基于云的数据分析服务，以及大规模并行处理（MPP）和/或对称多处理（SMP）的分析数据库。尽管针对工作负载的应用（如与软件、存储、服务器和网络资源捆绑在一起的分析数据库）多年前就已经出现，但是只有6％的企业表示这种解决方案是他们的主要数据分析平台，这可反映出供应商目前提供的选择非常有限。

• 这一现状不太可能在未来12-18个月内发生改变。按照目前的数据库数据使用趋势，对于那些有部署数据分析新方案的企业而言，开发定制的解决方案是他们最普遍的选择。终端用户取代那些调整为特定工作负载的通用数据库，也计划部署基于云的分析服务和大规模并行处理分析数据库解决方案。这证实了企业的分析平台正在接近极限，他们正在寻找更适合日益苛刻的分析任务的架构。

• 虽然数据集成是最常见的数据分析难题......三分之一以上的受访企业认为，数据集成进程耗时太长（39％）并且/或数据量过大（35％）。而上述难题因为企业整合的数据源数量而变得更加严重。毋庸置疑，受访企业中，相比于只整合两个数据源的企业，至少集成四个独立数据源的企业更有可能认为下述几项也是数据集成难题：数据集成过程漫长和由于应用的独立性而缺乏对流程的所有权。

• ...降低现有平台的成本是采购新的数据分析平台最大的驱动力。尽管许多企业认为成本不是数据分析的障碍，但是在评估新的数据分析平台方面，这点却是提及最频繁的一个推动因素。可以想象，企业可能宁愿将金钱用在现有的平台上，却不会部署一个更适合他们的环境的替代解决方案。尤其是企业在处理短时期内大型数据集和完成复杂集成计划构成的分析活动更是如此。下一代的大数据分析平台都标榜能够使用低成本的通用硬件来对大量数据进行复杂的分析。如果上述优势切实可行，这对那些注重成本节约的企业而言将是他们考虑的一个重点。

• 部署一个新的数据分析解决方案中，提升业务敏捷性是最受欢迎的特性。当涉及到数据分析时，业务需求是不断变化的。因此，超过半数的企业都期望通过计划部署一个新的平台来提高业务敏捷性。当用户请求加载新的数据集到他们的分析工具中时，繁忙的网络和数据库还有集成和提取过程中的复杂数据，都会引发延迟。庞大的数据量可能意味着到数据能够使用前，这个新的请求必须等待。有迹象表明，由于复杂性和缺乏敏捷，以至于许多请求都必须等待。

• MapReduce构架的采用已经提上议程。只有8％的受访者表示，他们的企业目前正在使用该技术，另外13％计划在未来12个月内采用该项技术。然而，在那些数据库每年数据增长更高以及在每次分析中处理更多的数据的企业中，采用和计划采用明显所占比例更高。

• MapReduce架构的商业流通会出现一个大的转变。因为在今年之前，商用版的MapReduce架构的选择还比较具有局限性，因此当前大多数的MapReduce用户都使用一个开源的版本。然而，在那些计划采用该项技术的潜在企业中将发生一项转变，近一半（47％）的受访者计划使用商业版而不是开源版。这些新的商用产品提供增强的管理能力、专有的后端存储系统以简化集成以及更优化的引擎来提供更高性能。

• 数据质量和数据监管被视作一个可以解决集成难题的潜在解决方案。企业希望能够同时部署数据质量解决方案和数据管理策略，以缓解不同数据源的数据在进行整合时的问题。整合多个数据源的企业更容易认识到主数据管理解决方案和数据监管策略带来的好处。尤其是在那些较大规模的企业中，因为业务职能和业务流程会出现一定的重合，所以数据管理策略经常是与主数据管理解决方案一起推出。