AWS Glue — это полностью управляемый сервис ETL (извлечение, преобразование и загрузка), который может классифицировать ваши данные, очищать их, обогащать и перемещать между различными хранилищами данных. AWS Glue состоит из центрального репозитория данных, известного как каталог данных AWS Glue, механизма ETL, который автоматически генерирует код Python, и планировщика, который обрабатывает разрешение зависимостей, мониторинг заданий и повторные попытки. AWS Glue не имеет серверов, поэтому управлять инфраструктурой не требуется.


AWS Glue состоит из ряда компонентов компонентов:

AWS Glue был представлен в августе 2017 года.

Благодаря возможности масштабирования по требованию, AWS Glue помогает вам сосредоточиться на важных действиях, которые максимизируют ценность ваших данных.
Чтобы повысить гибкость и оптимизировать расходы, AWS Glue предлагает встроенную высокую доступность и оплату по факту использования.

Данные, зарегистрированные в каталоге данных AWS Glue, доступны для многих сервисов AWS, включая

  • Спектр красного смещения Амазонки
  • EMR (Hadoop, Hive, HBase, Presto, Spark, Impala и т. д.)
  • Амазонка Афина
  • Скрипты AWS Glue

Официальный сайт :-