Loading...

使用 IP 限制的预签名 URL 来增强 Amazon SageMaker Ground Truth

2026-01-27 13:01:17

强化 Amazon SageMaker 安全性的 IP 限制签名 URL

关键要点

IP 限制的签名 URL:此功能提升了 SageMaker Ground Truth 的数据安全性,通过仅允许特定 IP 地址或 VPC 端点访问签名 URL 来防止未经授权的访问。便捷的数据标记:SageMaker Ground Truth 将人类标注者与机器学习结合,以减少数据标注的时间和成本。配置方法:使用 SageMaker API 或 AWS 命令行工具轻松启用和配置 IP 限制功能。

在增强 Amazon SageMaker 的安全性方面,我们引入了基于 IP 地址或虚拟私有云VPC端点的签名 URL 功能来加强 SageMaker Ground Truth 的数据安全。这将大大降低未经授权访问数据的风险。

什么是 IP 限制的签名 URL?

SageMaker Ground Truth 利用人类标注者与机器学习相结合,极大地减少了数据标注所需的时间和成本。用户可通过 SageMaker Ground Truth 创建标注任务,该工作流需由人类工人在数据对象如图像、视频或文档上注释。为了便于工人标注数据,这些工人会获得 Amazon S3 的签名 URL。

签名 URL 是临时 URL,授予时间限制的访问权限。在 SageMaker Ground Truth 中,这些签名 URL 是通过 grantreadaccess Liquid 过滤器生成,并嵌入到任务模板中。工人可直接通过这些 URL 在浏览器中访问必要的文件以进行标注操作。

然而,分享这些 URL 给工作组外的人可能会导致数据泄露的风险。为此,我们引入了一项新功能,允许按工人所使用的 IP 地址或 VPC 端点限制访问签名 URL,增强了数据标注任务的安全性。这篇文章将指导如何启用此功能,以增强数据安全,并概述该功能的成功标准及其适用场景。

前置条件

在配置 IP 限制签名 URL 之前,以下资源可帮助您理解相关概念:

Amazon S3 签名 URL:此文档涵盖了 Amazon S3 签名 URL 的使用方法,了解签名 URL 的工作原理将对您有帮助。使用 Amazon SageMaker Ground Truth 进行数据标注:此指南解释了如何使用 SageMaker Ground Truth 进行数据标注任务,包括设置工作团队和工作力量的步骤。

引入 IP 限制签名 URL

与客户密切合作后,我们认识到需要增强安全性和更严格的访问控制。因此,我们引入了一项新功能,使用 AWS 全局条件上下文键awsSourceIp和awsVpcSourceIp,允许客户将签名 URL 访问限制为特定的 IP 地址或 VPC 端点。通过结合 AWS 身份与访问管理IAM策略约束,您可以将签名 URL 限制为仅能从您选择的 IP 地址或 VPC 端点访问。这种基于 IP 的访问控制有效锁定了签名 URL 到工人的位置,降低了未经授权访问或意外共享的风险。

免费海外加速器推荐

新功能的好处

此更新为 SageMaker Ground Truth 带来了几个显著的安全性优势:

优势描述增强的数据隐私仅允许来自客户批准地点如公司 VPN、工人在家中网络或指定 VPC 端点访问签名 URL。降低未经授权访问风险强制使用基于 IP 的访问控制,减少来自未经授权位置的访问风险,保护敏感数据。灵活的安全选项可以在 VPC 和非 VPC 设置中应用这些限制,以满足组织的特定安全需求。审计与合规锁定签名 URL 到特定 IP 地址或 VPC 端点,便于追踪和审核组织的数据访问。无缝集成此新功能与现有的 SageMaker Ground Truth 工作流无缝集成,无需中断标注流程。

引入 IP 限制签名 URL 使 SageMaker Ground Truth 在数据访问控制上更具能力,从而确保敏感信息仅限于授权工人在批准的位置访问。

配置适用于 SageMaker Ground Truth 的 IP 限制签名 URL

SageMaker Ground Truth 中的 IP 限制功能可以通过 SageMaker API 或 AWS 命令行工具 (AWS CLI) 启用。让我们首先看一下如何使用 AWS CLI 创建和更新工作团队。

以下是使用 createworkteam 命令创建新工作团队的示例:

bashaws sagemaker createworkteam description 用于图像标注任务的团队 workforcename default workteamname MyWorkteam memberdefinitions { CognitoMemberDefinition { ClientId exampleclientid UserGroup sagemakergroundtruthusergroup UserPool uswest2examplepool } }

要更新现有工作团队,使用 updateworkteam 命令:

bashaws sagemaker updateworkteam workteamname MyWorkteam description 更新图像标注任务的描述

使用 IP 限制的预签名 URL 来增强 Amazon SageMaker Ground Truth

注意,这些示例仅显示了 createworkteam 和 updateworkteam API 的一部分可用参数。有关详细信息和示例,请参阅 SageMaker Ground Truth 开发者指南。

启用签名 URL 的 IP 限制

借助新的 IP 限制功能,您可以在创建新工作团队或修改现有工作团队时配置特定于每个工作团队的基于 IP 的访问约束。以下是启用这些限制的步骤:

在创建或更新工作团队时,您可以指定一个 WorkerAccessConfiguration 对象,该对象定义该工作团队工人的访问约束。在 WorkerAccessConfiguration 中,您可以包含一个 S3Presign 对象,让您为工人使用的签名 URL 设置访问配置。目前,仅能将 IamPolicyConstraints 添加到 S3Presign 中。SageMaker Ground Truth 提供两个 Liquid 过滤器,可用于在自定义工作任务模板中生成签名 URL:grantreadaccess:生成用于指定 S3 对象的签名 URL,授予临时读取访问权限。

s3presign:此新过滤器与 grantreadaccess 的作用相同,但明确显示生成的 URL 受该工作团队定义的 S3Presign 配置的控制。

S3Presign 对象支持 IamPolicyConstraints,您可以启用或禁用 SourceIp 和 VpcSourceIp:

SourceIp:启用后,工人只能从指定的 IP 地址或范围访问签名 URL。VpcSourceIp:启用后,工人只能从您 AWS 账户内指定的 VPC 端点访问签名 URL。

您可以调用 SageMaker 的 ListWorkteams 或 DescribeWorkteam API 来查看工作团队的元数据,包括 WorkerAccessConfiguration。

让我们以创建或更新工作团队为例,使所生成的签名 URL 仅限制于原始访问者的公共 IP 地址。

创建工作团队:

bashaws sagemaker createworkteam description 一个示例工作团队,带有 S3 签名 URL 限制 workforcename default workteamname exampleworkteam memberdefinitions { CognitoMemberDefinition { ClientId exampleclientid UserGroup sagemakergroundtruthusergroup UserPool uswest2examplepool } } workeraccessconfiguration { S3Presign { IamPolicyConstraints { SourceIp Enabled VpcSourceIp Disabled } } }

更新工作团队:

bashaws sagemaker updateworkteam workteamname existingworkteam workeraccessconfiguration { S3Presign { IamPolicyConstraints { SourceIp Enabled VpcSourceIp Disabled } } }

成功标准

虽然 IP 限制签名 URL 功能提供了更强大的安全性,但在某些场景下可能不适用。了解这些限制有助于您在使用此功能时做出明智的决策,并确认其与您组织的安全需求和网络配置的对齐情况。

IP 限制签名 URL 在工人访问 SageMaker Ground Truth 和 S3 对象时使用稳定的 IP 地址的情况下效果最佳。例如,工人从固定的公共 IP 地址如固定 IP 的办公室网络访问标注任务时,则 IP 限制将提高安全性。同样,当工人通过相同 VPC 端点访问 SageMaker Ground Truth 和 S3 对象时,IP 限制将验证签名 URL 的访问仅限于该 VPC。两种情况中,稳定的 IP 地址使基于 IP 的访问控制能够正常工作,从而提供额外的安全保障。

IP 限制签名 URL 无效的场景

场景描述示例退出标准非对称 VPC 端点SageMaker Ground Truth 通过公共互联网连接访问,而 S3 通过 VPC 端点访问,或反之。工人通过公共互联网访问 SageMaker Ground Truth,但通过 VPC 端点访问 S3。验证 SageMaker Ground Truth 和 S3 均通过公共互联网或相同 VPC 端点访问。网络地址转换 (NAT) 层NAT 层可更改请求的源 IP 地址,造成 IP 不匹配。例如:验证 NAT 网关配置是否保持源 IP 地址的一致性。VPN 的使用VPN 更改外发 IP 地址,可能导致 IP 限制签名 URL 的访问问题。工人使用分割隧道 VPN 将不同请求发送至 Ground Truth 或 S3,访问可能被拒绝。禁用 VPN 或使用提供所有请求一致 IP 地址的全隧道 VPN。

请注意,grantreadaccess 功能不支持接口端点,因为它们无法解析公共 DNS 名称。此限制与 IP 限制无关,在配置网络设置以使用签名 URL 访问 S3 对象时需予以考虑。在这种情况下,请使用 S3 网关端点来确保与 grantreadaccess 生成的公共 DNS 名称兼容。

使用 S3 访问日志进行调试

要调试与 IP 限制签名 URL 相关的问题,S3 访问日志可以提供重要的见解。通过为 S3 存储桶启用访问日志,您可以跟踪所有对 S3 对象的请求及其来源的 IP 地址。此信息有助于识别:

期望与实际 IP 地址的不匹配导致访问问题的动态 IP 地址或 VPN来源不明的未经授权访问

要通过 S3 访问日志进行调试,请按照以下步骤操作:

启用 S3 访问日志:将您的存储桶配置为将访问日志发送到另一个存储桶或日志服务,例如 Amazon CloudWatch Logs。审查日志文件:分析日志文件以识别 IP 地址、请求时间戳和错误代码的模式或异常。观察 IP 地址变化:如果您在日志中频繁观察到 IP 地址的变化,可能表明工人的 IP 地址是动态的或因 VPN 或代理而更改。检查 NAT 层的修改:检查日志文件中的 xforwardedfor 头,以查看 NAT 层是否修改了源 IP 地址。验证授权访问:通过查看日志文件中的 Remote IP 字段,确认请求来自已批准且一致的 IP 地址。

通过遵循这些步骤并分析 S3 访问日志,您可以验证签名 URL 是否仅能在批准且一致的 IP 地址访问。

结论

在 Amazon SageMaker Ground Truth 中引入 IP 限制签名 URL 显著增强了通过该服务访问的数据安全性。通过允许您限制访问特定 IP 地址或 VPC 端点,此功能有助于实现签名 URL 的更细致控制。对于那些具有严格安全要求的组织而言,它为敏感数据提供了额外的保护选项。我们鼓励您探索这一新的安全功能,以保护您组织的数据,并提升您的标注工作流的整体安全性。要开始使用 SageMaker Ground Truth,请访问 入门指南。要在工作团队设置中实现签名 URL 的 IP 限制,请参考 CreateWorkteam 和 UpdateWorkteam API 文档。根据本博客中的指导有效配置这些安全措施。欲获取更多信息或帮助,请联系您的 AWS 帐号团队或访问 SageMaker 社区论坛。

作者介绍

Sundar Raghavan,AWS 的 AI/ML 专家解决方案架构师,帮助客户构建可扩展且高效的 AI/ML 管道,协同人类。闲暇时,他喜欢与家人一起旅行、运动和享受户外活动。

Michael Borde,亚马逊 AI 的首席软件工程师,在此工作七年。他在芝加哥大学学习过数学和计算机科学。Michael 热衷于云计算、分布式系统设计以及数字隐私与安全。下班后,您经常能在 Capitol Hill 的健身房看到他锻炼。

Jacky Shum,亚马逊 AWS SageMaker Ground Truth 团队的软件工程师,致力于帮助 AWS 客户利用机器学习应用,包括之前在亚马逊欺诈检测中参与基于 ML 的欺诈检测工作。

Rohith Kodukula,SageMaker Ground Truth 团队的软件开发工程师。闲暇时,他喜欢保持活力并阅读各种感兴趣的内容大多数事情都挺有趣。

Abhinay Sandeboina,AWS 人工智能中的工程经理,任职超过两年,负责管理机器学习平台服务,拥有十年的软件/ML 工程经验。曾在 Zillow 和 Capital One 担任各种工程管理职位。

加载评论

从 SQL Server 迁移到 Amazon DynamoDB,并使用临时表进行数据转换 数据库博
从 SQL Server 迁移到 Amazon DynamoDB,并使用临时表进行数据转换 数据库博

从 SQL Server 迁移到 Amazon DynamoDB:使用中转表进行数据转型关键要点成本效益和操作简化:迁移到 Amazon DynamoDB 可以降低运营成本、简化操作并提高性能。数据迁...

利用 Amazon Rekognition 提高交通信号灯的效率 机器学习博客
利用 Amazon Rekognition 提高交通信号灯的效率 机器学习博客

利用亚马逊Rekognition提升交通信号灯效率由 Colin Chu 和 Joe Wilson 于2024年9月23日发布在 亚马逊机器学习, 亚马逊Rekognition, 亚马逊SageMak...