TLDR

Интеграция данных — это синхронизация информации между одной системой (например, отдел продаж) и другое (например, Снежинка)


Описание изображенияИсточник: Гифи


Контур

  • Что это?
  • Зачем тебе это?
  • Как вы это реализуете?
  • Кто это для?
  • Будущие и следующие шаги


Что это?

Интеграция данных — это процесс загрузки данных из внешнего источника и их последующего экспорта во внутреннее место назначения. Этот процесс также можно обратить (например, обратный ETL).


Сценарий

Вы регулярно собираете золото из разрозненных королевств, присягнувших на верность вашему трону. Вы получаете их золотые платежи через Полоса.


Описание изображенияИсточник: Гифи

Ваше казначейство (также известное как финансовая команда) хочет лучше понять, какие демографические группы королевств платят хорошо и вовремя.

Им нужны данные о золотых платежах от Полоса в твоей Снежинка хранилище данных, чтобы они могли объединить его с данными переписи королевства. После объединения они могут анализировать данные и сообщать о них высшему совету.


Зачем тебе это?

Варианты использования для интеграции внешних данных с внутренними системами включают (но не ограничиваются):

  • Объединяйте данные из нескольких источников для создания комплексных моделей данных для бизнес-применений.
  • Анализ данных из внешних инструментов SaaS
  • Объединение данных для персонализации
  • Прогнозирование

Примеры использования для загрузки данных из ваших внутренних систем (например, PostgreSQL), а затем экспортировать его во внешнюю систему (например, HubSpot) включают (но не ограничиваются):

  • Перенос внутренних данных приложения в маркетинговые инструменты (например, мэйлчимп, Google Рекламаи т. д.) для информационно-пропагандистских кампаний, рекламы и т. д.
  • Синхронизация пользовательских данных с CRM (например, отдел продаж)
  • Экспорт внутренних данных в управление задачами (например, Воздушный стол) софт для опс


Сценарий

У вас большой турнир в честь вашего следующего наследника престола. Вы расклеили множество рекламных плакатов по всей стране. Многие рыцари записываются для участия в вашем турнире.


Описание изображенияИсточник: Гифи

Вы создаете интеграцию данных между всеми поставщиками рекламных услуг (например, Google Реклама, Объявления в Facebookи т. д.), получая данные из этих API и сохраняя их в Большой запрос хранилище данных.

Ваша команда использует данные об эффективности рекламных кампаний, регистрации рыцарей, результатах турниров и расходах зрителей для расчета рентабельности инвестиций в рекламные кампании. Эти модели помогут вашей команде более эффективно продвигать следующий турнир.


Как вы это реализуете?

Есть 3 способа выполнить интеграцию данных:

  1. Программное обеспечение как услуга (SAAS)
  2. Программное обеспечение с открытым исходным кодом
  3. Напишите код с нуля или используйте библиотеки с открытым исходным кодом


Описание изображенияИсточник: Гифи

Некоторые преимущества использования SAAS или программного обеспечения с открытым исходным кодом заключаются в том, что вы получаете некоторые готовые функции, такие как (неполный список):

  • Когда сторонний API обновляется, сопровождающие помогут его обновить.
  • При наличии повторяющейся записи вы можете автоматически проигнорировать ее или обновить существующую запись.
  • Автоматически отслеживать ход и статус синхронизации
  • Повторить неудачную синхронизацию
  • И более…


Кто это для?

Как правило, инженерия данных занимается интеграцией данных. Инженеры данных могут выбрать, как это реализовать (например, купить SAAS или внедрить программное обеспечение с открытым исходным кодом).

Маркетинг, продажи, операции и т. д. могут помочь повлиять на то, какие сторонние источники нуждаются в интеграции данных или какие сторонние API нуждаются в синхронизации данных из внутренних хранилищ данных.

В зависимости от того, какие источники требуются для конкретных случаев использования в бизнесе, требуются разные решения.


Описание изображенияИсточник: Гифи

Компании используют SAAS или собственное программное обеспечение с открытым исходным кодом для интеграции данных из общих источников. Когда необычный источник не существует в готовом виде от поставщика SAAS, команды обычно сами пишут код для обработки синхронизации.

Кроме того, когда команде необходимо экспортировать данные из своих внутренних систем в сторонние API (например, Salesforce) и у нее есть очень индивидуальные потребности, они также обычно пишут собственный код для обработки своего конкретного варианта использования.


Будущие и следующие шаги

Как только данные будут интегрированы в общее место назначения, вы можете начать объединять их с данными из других источников, анализировать их, а затем делать прогнозы на их основе.

Для этого вам сначала нужно очистить данные, обработать их и преобразовать данные через конвейер данных. Управление этим процессом проверяемым, воспроизводимым и наблюдаемым образом имеет решающее значение.


Описание изображенияИсточник: Гифи

Будущий контент этой серии по интеграции данных будет включать:

  • Певица Спец.: стандарт сообщества разработчиков данных для написания интеграций данных.
  • Как написать собственную интеграцию данных
  • Как построить сквозной конвейер данных для синхронизации данных