企业寻求机器学习转型之下，GPU让不可能成为可能集微网消息

文章图片

文章图片
集微网消息，随着大数据用例的持续增长，构建、培训和迭代模型需要大量的时间。而对于执行大数据操作而言，大规模CPU基础设施的成本非常高昂。生产大规模数据处理操作需要重构和迁移，这耗费大量时间。
数据科学家Deborah Tylor为美国国家税务局整理超过300TB的数据库，寻找可能有助于识别身份盗窃和其他欺诈行为的规律。但即使她让一大批CPU服务器工作了一整夜，也无法完成这项数据整理工作。
Cloudera的解决方案工程师Nasheb Ismaily向Tylor的老板——美国国税局数据分析师技术支持团队的经理 Rahul Tikekar介绍了带GPU加速Apache Spark 3.0软件的Cloudera Data Platform（CDP）。
对软件进行快速测试后，在没有修改任何代码的情况下， Tylor在这项工作中的许多步骤就立即加快了5倍，但有几个部分仍然滞后。
Ismaily召集了英伟达数据科学家团队来检查代码的核心内容。他们很快就发现一些数据结构非常糟糕的任务仍在CPU上运行。于是他们编写了代码来处理这些工作并将其插入Spark的RAPIDS软件接口中。RAPIDS是一个在GPU上运行数据分析的开放资源库。
Tylor又进行了一次测试，结果发现一切都能在分布式Spark集群的GPU上顺利运行，而且速度提升非常明显。她在一个四节点的集群上运行了整个程序。
美国国税局研究和应用分析与统计部门技术主管Joe Ansaldi表示：“通过Cloudera和NVIDIA的这一技术整合，我们能够利用以数据为依据的洞察来推动关键任务用例。”
凭借由GPU驱动的服务器所组成的Spark集群，美国国税局团队能够加速目前所有的工作并运行其他以前被认为不可能实现的工作。并且这些工作可以帮助该团队处理他们所掌握的大数据集。
该团队计划把其成功经验运用在数据准备，也就是数据分析中的提取/转换/加载（ETL）方面的工作上。下一步重大计划是加速各类AI推理工作。
英伟达表示，这正是许多企业今天在寻求的机器学习转型。
在全球疫情影响下，每家企业都面临着一场彻底的变革。从面对面会议到购物，一切事物都突然转到了线上。这使企业产生了比以往更多的数据，以及更多需要追踪和监控的数字交易。每次与同事、客户和合作伙伴的互动也都在线上进行。
在去年的GTC 2020大会主题演讲中， NVIDIA首席执行官黄仁勋透露， NVIDIA和Cloudera正在携手为Cloudera Data Platform提速。此次集成将加入NVIDIA的数据科学软件，例如NVIDIA AI、NVIDIA RAPIDS和适用于Apache Spark 3.0的NVIDIA RAPIDS Accelerator 。RAPIDS是一套可以完全在NVIDIA GPU上运行端到端数据科学和分析管道的开源软件库和API 。借助NVIDIA加速计算为Cloudera Data Platform提供的支持，数据科学家和业务分析师将能够以高达10倍的速度运行其工作负载。
这一加速的架构和软件可以通过在CDP本地集成和管理的流行RAPIDS库，来加速机器学习流程。CDP支持企业客户运用Apache Spark 3.0和NVIDIA平台，加速其生产环境，而无需进行任何叉车式升级。
（校对/Sharon）
【企业寻求机器学习转型之下，GPU让不可能成为可能】来源：爱集微APP