您的位置首页 >资讯 >

数据规模拓展无极限,2023亚马逊云科技re:Invent大会首日精彩内容

 在每年的亚马逊云科技re:lnvent大会,由Peter DeSantis带来的《周一晚间直播》是re:lnvent大会的第一个并让人值得期待的主题演讲。作为亚马逊云科技高级副总裁,Peter发布了数据库和应用领域的三项Serverless创新,使客户能够更快、更轻松地扩展其数据基础设施,以支持苛刻的业务用例。

 随着熟悉的背景音乐,Peter上台开始了精彩演讲。他首先回顾了近年来亚马逊云科技在其庞大云服务体系上构建大规模的Serverless服务的过程,包括用于存储的Amazon S3、用于计算的Amazon Lambda、以及用于数据库的Amazon DynamoDB。Serverless的核心理念是消除管理服务器和基础设施的负担。通过使用Serverless服务方式,用户无需再关心升级软件、修补操作系统、淘汰旧主机以及验证新主机等问题。

 Peter同时介绍了亚马逊云科技在其所有产品中广泛使用的六个重要的云计算服务属性:安全性、可用性、可扩展性、性能效率、成本效率和可持续性。Peter解释称,Serverless通过这些设计理念,在亚马逊云科技庞大的基础设施之上运行,并在大量客户中共享计算资源。

 每个客户的实际运行负载只占总体容量和基础设施的一小部分,这使得Serverless更具成本效益。因为客户只需支付所用资源的费用,而不是传统的预配容量。Serverless还使亚马逊云科技能够更有效地运营其基础设施,闲置资源减少,这意味着更环保。由于这些服务从设计之初开始,就利用亚马逊云科技的基础设施,使得它们可以提供增强的安全性能,以及可达99.999%的可用性。

 之后,Peter以“Road to Serverless”为主题,展开了对Serverless发展的解读。从2018年,亚马逊云科技推出了Amazon Aurora Serverless,它能够根据工作负载需求自动无缝地调整数据库容量,而无需对数据库进行任何调整或故障切换。这是通过一种名为Caspian的创新功能实现的,它是一个创新的虚拟机监控程序、热度管理系统和对数据库引擎本身的更新与结合。这些使得Amazon Aurora数据库可根据负载变化,以毫秒为单位快速调整内存容量。

 随着Amazon Aurora Serverless的推出,亚马逊云科技在Serverless的进程中向前迈出了一大步。在介绍了如何扩展数据库的许多场景之后,Peter得出结论:“我们仍然受到物理服务器大小的限制,这并不是Serverless。但是,数据库分片是一种众所周知的改进技术。考虑到将数据水平划分为子集并将其分布到一堆物理上独立的数据库服务器(称为分片),以利用单个服务器的数据库性能。”显然,水平扩展是答案,但如何实现当今数百万用户系统所需的史诗级扩展呢?

 

 重磅发布:Amazon Aurora Limitless Database

 Peter宣布推出Amazon Aurora Limitless Database,客户可轻松扩展其数据库,突破单个服务器的容量限制,并通过数据库分片实现高性能。“有了无限的数据库,就无需担心新增需要管理的新数据库,您的应用程序只是一个可用的数据库入口。”Peter介绍到,“这大大降低了复杂性,将推动先进的云数据管理的发展。”

 Amazon Aurora Limitless Database提供单一接口,并自动在多个数据库分片间扩展和复制数据。亚马逊云科技还利用Amazon Aurora Database自身构建了一个快速路由层,以高效地将查询路由到适当的分片,实现所有分片间的快速分布式数据交换。

 

 重磅发布:Amazon ElastiCache Serverless

 Peter宣布推出Amazon ElastiCache Serverless,这是一种新的无服务器选项,允许客户在一分钟内创建缓存并根据应用程序流量模式立即扩展容量。Amazon ElastiCache Serverless与两种流行的开源缓存解决方案Redis和Memcached兼容。

 客户可以使用Amazon ElastiCache Serverless为要求苛刻的工作负载运行缓存,而无需花费时间进行容量规划或需要缓存专业知识。Amazon ElastiCache Serverless持续监控应用程序的内存、CPU和网络资源利用率,并立即进行扩展以适应其所服务的工作负载访问模式的变化。客户可以创建一个高度可用的缓存,其中的数据可跨多个可用区自动复制,并为所有工作负载提供高达99.99%的可用性服务级别协议(SLA),从而节省客户的时间和费用。

 客户希望能够极其简单地部署和操作缓存。Amazon ElastiCache Serverless提供了简单的端点体验,抽象了底层集群拓扑和缓存基础设施。客户可以降低应用程序复杂性并提高运营卓越性,而无需处理重新连接和重新发现节点。使用Amazon ElastiCache Serverless,无需任何前期成本,只需为使用的资源付费。客户需要为应用程序消耗的缓存数据存储量和ElastiCache处理单元(ECPU)资源付费。

 Peter继续分享Serverless发展之路:2021年,亚马逊云科技推出了Amazon Redshift Serverless,它自动化了数据仓库的缩放、数据布局和数据管理。然而,对于一些苛刻的工作负载,仍需要人工干预。Peter通过介绍一些具有挑战性的数据仓库模式来展示这些问题:

  • 对于仪表板和报告的小型查询,需要持续低于秒级的低延迟;

  • 对于大型ETL批处理作业,需要在不干扰其他工作负载的情况下高效运行。这些作业可能处理数十亿行;

  • 对于特殊的复杂分析查询,需要优化性能而不影响生产工作负载。这些查询可能是典型查询的10-100倍大小。

 

 重磅发布:Amazon Redshift Serverless

 下一代AI驱动的扩展和优化功能

 Peter发布了一项新的Amazon Redshift Serverless功能:下一代AI驱动的扩展和优化。该功能使用AI模型来预测工作负载并自动扩展和优化资源,将现有的基于查询态的资源分配升级为基于查询、数据量级计算复杂度等多方面维度,利用机器学习模型将计算资源动态分配,以帮助客户实现性价比目标。

 亚马逊云科技在Serverless技术方面以开创性工作为基础,旨在帮助客户管理任何规模的数据并大幅简化其运营,以便他们能够专注于为最终用户进行创新,而无需花费时间和精力来配置、管理和扩展其数据基础设施。主要包含以下能力:

  • 基于机器学习的预测模型,能够预测未来工作负载模式并提前调整资源容量。

  • 实时查询分析器,利用机器学习估算每个查询的资源需求并进行合理分配。该系统能分析每个查询的超过50个独特特征。

  • 针对客户需求,优化每个查询以降低成本或提高性能。查询具有线性、次线性和超线性等不同扩展模式。

 借助这些创新,Amazon Redshift Serverless能够优化处理不同类型的大小型复杂生产工作负载,从而将性价比提升高达10倍。

 

 关于未来的探索——量子计算

 在前沿技术领域,Peter带着观众在亚马逊云科技量子计算方面的努力进行了精彩的探索,包括亚马逊云科技为实现量子计算所做的工作。现阶段在量子计算领域常见的挑战是量子比特噪音过大,无法满足高要求的计算需求。

 Peter讲述了逻辑量子比特的故事以及亚马逊云科技为使其具有商业可行性所做的工作。亚马逊云科技做好准备至少花费五年的时间来解决这个技术问题。因为这项技术对于解决科学研究、密码学、药理学和其他领域的问题至关重要。所有这些都将通过云计算对外提供。

 

 引领Serverless发展

 亚马逊云科技在Serverless领域面向数据库、缓存服务和数据仓库的最新能力发布,引领着Serverless的发展方向。永远为客户创新,是亚马逊云科技的主旨,也是Peter的主题演讲收场内容。减轻不必要的繁重工作,亚马逊云科技将致力于为客户持续创新!

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。