Bienvenidos a AboutData.blog de Gold Light Data, donde exploramos lo último en Big Data, IA, ML, Analítica de Negocios e Inteligencia de Negocios. Únete a nosotros para mantenerte informado y empoderado en el dinámico mundo de la tecnología de datos.

Organiza el desarrollo del aprendizaje automático utilizando espacios compartidos en SageMaker Studio para la colaboración en tiempo real

Amazon SageMaker Studio es el primer entorno de desarrollo totalmente integrado (IDE) para el aprendizaje automático (ML). Proporciona una única interfaz visual basada en web donde se pueden realizar todos los pasos de desarrollo de ML, incluida la preparación de datos y la creación, capacitación e implementación de modelos.

Dentro de un dominio de Amazon SageMaker, los usuarios pueden aprovisionar una aplicación IDE personal de Amazon SageMaker Studio, que ejecuta un JupyterServer gratuito con integraciones para examinar los experimentos de Amazon SageMaker, orquestar canalizaciones de Amazon SageMaker y mucho más. Los usuarios solo pagan por el cómputo flexible en los núcleos de sus portátiles. Estas aplicaciones personales montan automáticamente el directorio de inicio privado de Amazon Elastic File System (Amazon EFS) de un usuario respectivo para que puedan mantener el código, los datos y otros archivos aislados de otros usuarios. Aunque Amazon SageMaker Studio ya admite el uso compartido de notebooks entre aplicaciones privadas, el mecanismo asíncrono puede ralentizar el proceso de iteración.

Ahora, con espacios compartidos en Amazon SageMaker Studio, los usuarios pueden organizar esfuerzos e iniciativas colaborativas de aprendizaje automático mediante la creación de una aplicación IDE compartida que los usuarios utilizan con su propio perfil de usuario de Amazon SageMaker. Los trabajadores de datos que colaboran en un espacio compartido obtienen acceso a un entorno de Amazon SageMaker Studio donde pueden acceder, leer, editar y compartir sus notebooks en tiempo real, lo que les brinda la ruta más rápida para comenzar a iterar con sus pares sobre nuevas ideas. Los trabajadores de datos pueden incluso colaborar en el mismo portátil al mismo tiempo utilizando capacidades de colaboración en tiempo real. El notebook indica a cada usuario coeditor con un cursor diferente que muestra su respectivo nombre de perfil de usuario.

Los espacios compartidos en SageMaker Studio etiquetan automáticamente los recursos, como los trabajos de capacitación, los trabajos de procesamiento, los experimentos, las canalizaciones y las entradas del registro de modelos creadas dentro del ámbito de un espacio de trabajo con sus respectivas sagemaker:space-arn. El espacio filtra esos recursos dentro de la interfaz de usuario (IU) de Amazon SageMaker Studio para que a los usuarios solo se les presenten experimentos, canalizaciones y otros recursos de SageMaker que sean pertinentes para su esfuerzo de aprendizaje automático.

Descripción general de la solución

Descripción general de la solución

Dado que los espacios compartidos etiquetan automáticamente los recursos, los administradores pueden monitorear fácilmente los costos asociados con un esfuerzo de ML y planificar presupuestos utilizando herramientas como AWS Budgets y AWS Cost Explorer. Como administrador, solo deberá adjuntar una etiqueta de asignación de costos para sagemaker:space-arn.
adjunte una etiqueta de asignación de costos para sagemaker:space-arn
Una vez que esté completo, puede usar AWS Cost Explorer para identificar cuánto le cuestan a su organización los proyectos de aprendizaje automático individuales.
Una vez que esté completo, puede usar AWS Cost Explorer para identificar cuánto le cuestan a su organización los proyectos de aprendizaje automático individuales.

Comenzando con espacios compartidos en Amazon SageMaker Studio

En esta sección, analizaremos el flujo de trabajo típico para crear y utilizar espacios compartidos en Amazon SageMaker Studio.

Crea un espacio compartido en Amazon SageMaker Studio

Puedes usar la consola de Amazon SageMaker o la interfaz de línea de comandos de AWS (AWS CLI) para habilitar espacios en un dominio existente. Para obtener la información más actualizada, consulta Crear un espacio compartido. Los espacios compartidos solo funcionan con una imagen de JupyterLab 3 SageMaker Studio y para dominios de SageMaker que utilizan la autenticación de AWS Identity and Access Management (AWS IAM).

Creación de consola

Para crear un espacio dentro de un dominio de Amazon SageMaker designado, primero deberás establecer un rol de ejecución predeterminado de espacio designado. Desde la página Domain details, selecciona la pestaña de Domain settings y selecciona Edit. Luego, puedes establecer un rol de ejecución predeterminado de espacio, que solo debe completarse una vez por Dominio, como se muestra en el siguiente diagrama:


A continuación, puedes ir a la Space management dentro de tu dominio y selecciona Create como se muestra en el siguiente diagrama:
vaya a la pestaña Administración de espacio dentro de su dominio y seleccione el botón Crear

Creación de CLI de AWS

También puedes establecer un rol de ejecución de espacio de dominio predeterminado desde la CLI de AWS, para determinar el ARN de la imagen JupyterLab3 de tu región.

aws --region <REGION> \
sagemaker update-domain \
--domain-id <DOMAIN-ID> \
--default-space-settings "ExecutionRole=<YOUR-SAGEMAKER-EXECUTION-ROLE-ARN>"

Una vez que se haya completado para tu dominio, puedes crear un espacio compartido desde la CLI.

aws --region <REGION> \
sagemaker create-space \
--domain-id <DOMAIN-ID> \
--space-name <SPACE-NAME> 

Inicia un espacio compartido en Amazon SageMaker Studio

Los usuarios pueden iniciar un espacio compartido seleccionando Launch junto a tu perfil de usuario dentro de la consola de AWS para tu dominio de Amazon SageMaker.


Después de seleccionar Spaces en la sección colaborativa, luego selecciona qué espacio lanzar:


Como alternativa, los usuarios pueden generar una URL prefirmada para lanzar un espacio a través de la CLI de AWS:

aws sagemaker create-presigned-domain-url \
--region <REGION> \
--domain-id <DOMAIN-ID> \
--space-name <SPACE-NAME> \
--user-profile-name <USER-PROFILE-NAME> 

Colaboración en tiempo real

Una vez que se ha cargado el IDE de espacio compartido de Amazon SageMaker Studio, los usuarios pueden seleccionar en el panel izquierdo el botón Collaborators para ver qué usuarios están trabajando activamente en su espacio y en qué notebook. Si más de una persona está trabajando en el mismo notebook, verás un cursor con el nombre de perfil del otro usuario donde están editando:


En la siguiente captura de pantalla, se pueden observar las diferentes interacciones de usuarios que están editando y visualizando el mismo notebook.

Conclusión

En este artículo, hemos mostrado cómo los espacios compartidos en SageMaker Studio ofrecen una experiencia IDE colaborativa en tiempo real dentro de Amazon SageMaker Studio. El etiquetado automatizado ayuda a los usuarios a definir y filtrar sus recursos de Amazon SageMaker, lo que incluye: experimentos, canalizaciones y entradas de registro modelo para maximizar la productividad del usuario. Además, los administradores pueden usar estas etiquetas aplicadas para monitorear los costos asociados con un espacio determinado y establecer presupuestos apropiados usando AWS Cost Explorer y AWS Budgets.

¡Acelera la colaboración de tu equipo hoy configurando espacios compartidos en Amazon SageMaker Studio para tus esfuerzos específicos de aprendizaje automático!

Tags :

Author: Iván Torres
Author: Iván Torres

Iván Torres actualmente cuenta con una Maestría en Ciencias en Analítica de Negocios e Inteligencia Artificial Aplicada, otorgada por la Universidad de Charleston (West Virginia, USA), también es profesor de Ingeniería y Maestría en la Universidad TecMilenio, y ha contribuido en diferentes proyectos tecnológicos como analista, consultor y líder para empresas de ámbito internacional acumulando más de 15 años de experiencia en los campos de desarrollo de Software, Big Data, analítica de negocio e I.A. Editor de About Data Blog.

Deja un comentario

Related Post