Главная > Документация пользователя > Модели

Работа с ETL-блоками

ETL-блоки - это инструмент, позволяющий трансформировать и обрабатывать данные, используя готовые блоки скриптов. 

Каждый ETL-блок содержит:

• скрипт с функцией определения списка полей объекта и функцией сборки данных блока (по аналогии с after_load/after_all-функциями из ETL-редактора), и скрипт определения;

• список настраиваемых параметров, которые пользователь должен указать на странице редактирования модели при помещении данного ETL-блока на схему модели.

Доступные ETL-блоки:

• Вычисляемые поля - блок предназначен для добавления вычисляемых полей к любой части модели. Вычисляемое поле задается названием и выражением для вычисления значения поля. При указании выражений вычисляемых полей используется Spark SQL;

• Декоратор - блок предназначен для произвольного преобразования схемы и процедуры получения данных любой части модели;

• Функция - блок предназначен для реализации произвольного поведения при обработке данных модели;

• SQL-блок - блок позволяет выполнить произвольное SQL-выражение над любой частью модели;

• Временная серия - блок позволяет сгенерировать столбец с некоторыми периодическими временными значениями;

• Разворот иерархии Parent-Child - блок предназначен для преобразования таблицы с parent-child иерархией в таблицу, где уровни иерархии вынесены (развернуты) в отдельные столбцы;

• Прогнозирование временного ряда - блок выполняет прогнозирование временного ряда на основе автоматически обучаемой статистической модели;

• Классификация/регрессия с ML-моделью - блок выполняет предсказание (классификацию, регрессию) для вложенной в него таблицы на основе ML-модели из внутреннего реестра ML-моделей;

• ML-модель в ручном режиме - блок предназначен для опытных специалистов по ML-моделям в случае нехватки функционала блоков Прогнозирование временного ряда (авто) и Классификация/регрессия с ML-моделью;

• JSON-блок - блок позволяет преобразовать значения из JSON-поля в новые строки или столбцы. Работает со значениями полей как в виде объектов, так и массивов.

Для подключения ETL-блоков из внешнего репозитория используется переменная среды ETL_BLOCKS_REPOSITORY. В переменной указывается адрес собственного репозитория. В список ETL-блоков добавляются блоки из стороннего репозитория. Создание собственных ETL-блоков можно выполнять с использованием клиентской библиотеки analytic-workspace-client.

С подробным описание каждого ETL-блока и его параметров можно ознакомиться перейдя по ссылке Подробнее о блоке, указанной в окне настройки параметров ETL-блока.

Добавление ETL-блока

Для добавления ETL-блока нажмите на кнопку  Добавить объект на панели кнопок и в выпадающем списке выберите пункт ETL-блок.

Откроется окно выбора блока.

Для выбора блока в списке установите флажок напротив необходимого блока и нажмите на кнопку Добавить в появившейся панели выполнения действий.

После добавления ETL-блока на схему модели откроется окно для задания параметров ETL-блока. Каждый ETL-блок имеет свой набор параметров. С подробным описание каждого ETL-блока и его параметров можно ознакомиться перейдя по ссылке Подробнее о блоке, указанной в окне настройки параметров ETL-блока.

Для наполнения ETL-блока данными переместите с помощью drag-and-drop в его область блоки данных и соедините их связью типа JOIN. При перемещении связанных объектов данных в или из ETL-блока, будет перемещен сам объект и все его связанные объекты справа. Если перемещаемый объект был связан слева с другим объектом, то откроется предупреждение, что данная связь будет удалена.

Невозможно соединить при помощи JOIN блоки данных внутри и вне ETL-блока. Для такого соединения используйте связь JOIN ETL-блока целиком и объекта вне ETL-блока.

Для переименования ETL-блока:

• в области схемы модели напротив необходимого ETL-блока нажмите на кнопку , откроется контекстное меню. Выберите пункт Переименовать и измените название;

• дважды нажмите на наименование ETL-блока и измените название.

Для удаления ETL-блока в области схемы модели напротив необходимого ETL-блока нажмите на кнопку , откроется контекстное меню. Выберите пункт Удалить.

Для связи ETL-блока с другими блоками или объектами в области схемы модели напротив необходимого ETL-блока нажмите на кнопку , откроется контекстное меню. Выберите пункт Добавить JOIN.

Настройка параметров ETL-блока

Настройка параметров ETL-блока доступна сразу после создания блока. Для перехода к редактированию настроек параметров ETL-блока в области схемы модели напротив необходимого ETL-блока нажмите на кнопку , откроется контекстное меню. Выберите пункт Настроить параметры.

Откроется окно для задания параметров ETL-блока. Каждый ETL-блок имеет свой набор параметров. С подробным описание каждого ETL-блока и его параметров можно ознакомиться перейдя по ссылке Подробнее о блоке, указанной в окне настройки параметров ETL-блока.

В случае неверно заполненных параметров или незаполненных параметров, приводящих к ошибке, справа от наименования ETL-блока отображается пиктограмма , сигнализирующая об ошибке блока. При наведении на пиктограмму появляется подсказка с текстом ошибки.

Вычисляемые поля

Блок предназначен для добавления вычисляемых полей к любой части модели. Вычисляемое поле задается названием и выражением для вычисления значения поля. При указании выражений вычисляемых полей используется Spark SQL.

Окно настройки параметров содержит:

1.Блок кнопок управления:

• Сохранить - сохраняет параметры и закрывает окно;
• Отменить - закрывает окно без сохранения изменений. При нажатии на кнопку, если на форме есть несохраненные изменения, отображается окно подтверждения закрытия формы. Чтобы сохранить изменения, нажмите на кнопку Сохранить изменения, для закрытия окна без сохранения - на кнопку Закрыть;

Выйти из режима создания/редактирования также можно по кнопке или нажатием клавиши Esc на клавиатуре. При нажатии на кнопку/клавишу, если на форме есть несохраненные изменения, отображается окно подтверждения закрытия формы.

• Выполнить - тестовый запуск блока внутри текущей модели. Результат тестового запуска ETL-блока отображаются в блоке Результаты запуска. Если в процессе запуска возникнут ошибки, отобразится текст ошибки;

Запуск выполняется на ограниченном наборе данных, результаты могут отличаться от полной загрузки модели.

• Структура вложенных объектов - просмотр структуры полей всех вложенных в ETL-блок объектов. В структуре указаны параметры полей объектов - Наименование в модели и Алиас в квадратных скобках;

Если значения параметров поля Наименование в модели и Алиас совпадают, то отобразится только один параметр поля.

• подсказка - отображение/скрытие подсказки к блоку.

2.Подсказка к блоку. В подсказке содержится ссылка Подробнее о блоке, по которой доступно подробное описание ETL-блока и его параметров. Отображается/скрывается по кнопке .

3.Параметры ETL-блока:

• Название - наименование вычисляемого поля. Доступно использование букв, цифр и символа _;
• SQL выражение - SQL запрос для вычисления поля. При указании выражений используется Spark SQL. Для удобства редактирования выражения используется полноэкранное редактирование. Для перехода к полноэкранному режиму необходимо нажать ;

В поле ввода SQL выражения при вводе первых букв отображаются значения справочников (IntelliSense) и подсветка синтаксиса. Справочники реализованы по полям модели, ключевым словам (select, from и др.), алиасам, таблицам. При выборе алиаса в выпадающем списке в формуле указывается код выбранного поля для корректной работы запроса.

• кнопка Добавить "Вычисляемое поле" позволяет добавить вычисляемое поле в блок. Кнопка отображается после добавления двух и более полей. Позволяет удалить поле, если оно не единственное на форме .

4.Блок предпросмотра:

• отображается по результатам тестового запуска ETL-блока по кнопке . Если в процессе тестового запуска возникнут ошибки, отобразится текст ошибки;

  

  Тестовый запуск выполняется на ограниченном наборе данных, результаты могут отличаться от полной загрузки модели.

• при просмотре структуры вложенных объектов по кнопке . В структуре вложенных объектов указаны параметры полей объектов - Наименование в модели и Алиас в квадратных скобках. Если значения параметров поля Наименование в модели и Алиас совпадают, то отобразится только один параметр поля.

  

Загрузка данных предпросмотра выполняется автоматически:

• при открытой и активной вкладке браузера;
• при открытой форме, на которой должны отобразиться данные;
• до превышения максимально установленного времени загрузки - 15 минут.

В иных случаях операция загрузки автоматически завершается в течение 5-10 секунд.

Для удобства редактирования выражений используется полноэкранное редактирование. Для перехода к полноэкранному режиму необходимо нажать  над полем SQL выражение.

Полноэкранный режим редактирования содержит:

1.Наименование вычисляемого поля. Двойным нажатием доступна форма изменения наименования. Кнопка позволяет закрыть полноэкранный режим с сохранением внесенных изменений.

2.Кнопки управления:

• Сбросить изменения - откатывает изменения в SQL выражении до состояния перед открытием полноэкранного режима;
• подсказка - отображает/скрывает текст подсказки. В подсказке доступна ссылка на документацию о синтаксисе для выражения;

3.Поиск по наименованиям и алиасам полей вложенных объектов.

4.Сортировка по наименованию полей. По умолчанию установлена сортировка По возрастанию, при нажатии сортировка меняется на По убыванию.

5.Кнопка для сворачивания панели полей и увеличения области ввода выражения. Для разворачивания панели используйте кнопку Структура.

6.Поле ввода выражения.

В поле ввода SQL-запроса при вводе первых букв отображаются значения справочников (IntelliSense) и подсветка синтаксиса. Справочники реализованы по полям модели, ключевым словам (select, from и др.), алиасам, таблицам. При выборе алиаса в выпадающем списке в формуле указывается код выбранного поля для корректной работы запроса. При выборе листов или таблиц файловых источников в выпадающем списке в запросе прописывается его название в обратных кавычках для корректной работы запроса.

7.Структура вложенных объектов. Для поля отображается наименование, алисас (в скобках) и тип данных. При нажатии на поле выполняется добавление его наименования в поле ввода выражения, в место установки курсора. Если в блок не добавлены объекты, то в структуре отобразится уведомление Отсутствуют вложенные объекты.

Декоратор

Блок предназначен для произвольного преобразования схемы и процедуры получения данных любой части модели.

Окно настройки параметров содержит:

1.Блок кнопок управления:

• Сохранить - сохраняет параметры и закрывает окно;
• Отменить - закрывает окно без сохранения изменений. При нажатии на кнопку, если на форме есть несохраненные изменения, отображается окно подтверждения закрытия формы. Чтобы сохранить изменения, нажмите на кнопку Сохранить изменения, для закрытия окна без сохранения - на кнопку Закрыть;

Выйти из режима создания/редактирования также можно по кнопке или нажатием клавиши Esc на клавиатуре. При нажатии на кнопку/клавишу, если на форме есть несохраненные изменения, отображается окно подтверждения закрытия формы.

• Выполнить - тестовый запуск блока внутри текущей модели. Результат тестового запуска ETL-блока отображаются в блоке Результаты запуска. Если в процессе запуска возникнут ошибки, отобразится текст ошибки;

Запуск выполняется на ограниченном наборе данных, результаты могут отличаться от полной загрузки модели.

• Структура вложенных объектов - просмотр структуры полей всех вложенных в ETL-блок объектов. В структуре указаны параметры полей объектов - Наименование в модели и Алиас в квадратных скобках;

Если значения параметров поля Наименование в модели и Алиас совпадают, то отобразится только один параметр поля.

• подсказка - отображение/скрытие подсказки к блоку.

2.Подсказка к блоку. В подсказке содержится ссылка Подробнее о блоке, по которой доступно подробное описание ETL-блока и его параметров. Отображается/скрывается по кнопке .

3.Параметры ETL-блока:

• Функция для получения схемы - имя функции из ETL-скрипта модели, которая используется для получения схемы блока;
• Функция для построения данных - имя функции из ETL-скрипта модели, которая используется для получения данных блока.

4.Блок предпросмотра:

• отображается по результатам тестового запуска ETL-блока по кнопке . Если в процессе тестового запуска возникнут ошибки, отобразится текст ошибки;

  

  Тестовый запуск выполняется на ограниченном наборе данных, результаты могут отличаться от полной загрузки модели.

• при просмотре структуры вложенных объектов по кнопке . В структуре вложенных объектов указаны параметры полей объектов - Наименование в модели и Алиас в квадратных скобках. Если значения параметров поля Наименование в модели и Алиас совпадают, то отобразится только один параметр поля.

  

Загрузка данных предпросмотра выполняется автоматически:

• при открытой и активной вкладке браузера;
• при открытой форме, на которой должны отобразиться данные;
• до превышения максимально установленного времени загрузки - 15 минут.

В иных случаях операция загрузки автоматически завершается в течение 5-10 секунд.

Функция

Блок предназначен для реализации произвольного поведения при обработке данных модели.

Окно настройки параметров содержит:

1.Блок кнопок управления:

• Сохранить - сохраняет параметры и закрывает окно;
• Отменить - закрывает окно без сохранения изменений. При нажатии на кнопку, если на форме есть несохраненные изменения, отображается окно подтверждения закрытия формы. Чтобы сохранить изменения, нажмите на кнопку Сохранить изменения, для закрытия окна без сохранения - на кнопку Закрыть;

Выйти из режима создания/редактирования также можно по кнопке или нажатием клавиши Esc на клавиатуре. При нажатии на кнопку/клавишу, если на форме есть несохраненные изменения, отображается окно подтверждения закрытия формы.

• Выполнить - тестовый запуск блока внутри текущей модели. Результат тестового запуска ETL-блока отображаются в блоке Результаты запуска. Если в процессе запуска возникнут ошибки, отобразится текст ошибки;

Запуск выполняется на ограниченном наборе данных, результаты могут отличаться от полной загрузки модели.

• Структура вложенных объектов - просмотр структуры полей всех вложенных в ETL-блок объектов. В структуре указаны параметры полей объектов - Наименование в модели и Алиас в квадратных скобках;

Если значения параметров поля Наименование в модели и Алиас совпадают, то отобразится только один параметр поля.

• подсказка - отображение/скрытие подсказки к блоку.

2.Подсказка к блоку. В подсказке содержится ссылка Подробнее о блоке, по которой доступно подробное описание ETL-блока и его параметров. Отображается/скрывается по кнопке .

3.Параметры ETL-блока:

• Вызываемая функция - имя функции из ETL-скрипта модели, которая используется для получения требуемого поведения;

4.Блок предпросмотра:

• отображается по результатам тестового запуска ETL-блока по кнопке . Если в процессе тестового запуска возникнут ошибки, отобразится текст ошибки;

  

  Тестовый запуск выполняется на ограниченном наборе данных, результаты могут отличаться от полной загрузки модели.

• при просмотре структуры вложенных объектов по кнопке . В структуре вложенных объектов указаны параметры полей объектов - Наименование в модели и Алиас в квадратных скобках. Если значения параметров поля Наименование в модели и Алиас совпадают, то отобразится только один параметр поля.

  

Загрузка данных предпросмотра выполняется автоматически:

• при открытой и активной вкладке браузера;
• при открытой форме, на которой должны отобразиться данные;
• до превышения максимально установленного времени загрузки - 15 минут.

В иных случаях операция загрузки автоматически завершается в течение 5-10 секунд.

SQL-блок

Блок позволяет выполнить произвольное SQL-выражение над любой частью модели.

Окно настройки параметров содержит:

1.Блок кнопок управления:

• Сохранить - сохраняет параметры и закрывает окно;
• Отменить - закрывает окно без сохранения изменений. При нажатии на кнопку, если на форме есть несохраненные изменения, отображается окно подтверждения закрытия формы. Чтобы сохранить изменения, нажмите на кнопку Сохранить изменения, для закрытия окна без сохранения - на кнопку Закрыть;

Выйти из режима создания/редактирования также можно по кнопке или нажатием клавиши Esc на клавиатуре. При нажатии на кнопку/клавишу, если на форме есть несохраненные изменения, отображается окно подтверждения закрытия формы.

• Выполнить - тестовый запуск блока внутри текущей модели. Результат тестового запуска ETL-блока отображаются в блоке Результаты запуска. Если в процессе запуска возникнут ошибки, отобразится текст ошибки;

Запуск выполняется на ограниченном наборе данных, результаты могут отличаться от полной загрузки модели.

• Структура вложенных объектов - просмотр структуры полей всех вложенных в ETL-блок объектов. В структуре указаны параметры полей объектов - Наименование в модели и Алиас в квадратных скобках;

Если значения параметров поля Наименование в модели и Алиас совпадают, то отобразится только один параметр поля.

• подсказка - отображение/скрытие подсказки к блоку.

2.Подсказка к блоку. В подсказке содержится ссылка Подробнее о блоке, по которой доступно подробное описание ETL-блока и его параметров. Отображается/скрывается по кнопке .

3.Параметры ETL-блока:

• SQL выражение - SQL запрос для вычисления. При указании выражений используется Spark SQL. Для удобства редактирования выражения используется полноэкранное редактирование. Для перехода к полноэкранному режиму необходимо нажать ;

В поле ввода SQL выражения при вводе первых букв отображаются значения справочников (IntelliSense) и подсветка синтаксиса. Справочники реализованы по полям модели, ключевым словам (select, from и др.), алиасам, таблицам. При выборе алиаса в выпадающем списке в формуле указывается код выбранного поля для корректной работы запроса.

4.Блок предпросмотра:

• отображается по результатам тестового запуска ETL-блока по кнопке . Если в процессе тестового запуска возникнут ошибки, отобразится текст ошибки;

  

  Тестовый запуск выполняется на ограниченном наборе данных, результаты могут отличаться от полной загрузки модели.

• при просмотре структуры вложенных объектов по кнопке . В структуре вложенных объектов указаны параметры полей объектов - Наименование в модели и Алиас в квадратных скобках. Если значения параметров поля Наименование в модели и Алиас совпадают, то отобразится только один параметр поля.

  

Загрузка данных предпросмотра выполняется автоматически:

• при открытой и активной вкладке браузера;
• при открытой форме, на которой должны отобразиться данные;
• до превышения максимально установленного времени загрузки - 15 минут.

В иных случаях операция загрузки автоматически завершается в течение 5-10 секунд.

Полноэкранный режим редактирования содержит:

1.Наименование вычисляемого поля. Двойным нажатием доступна форма изменения наименования. Кнопка позволяет закрыть полноэкранный режим с сохранением внесенных изменений.

2.Кнопки управления:

• Сбросить изменения - откатывает изменения в SQL выражении до состояния перед открытием полноэкранного режима;
• подсказка - отображает/скрывает текст подсказки. В подсказке доступна ссылка на документацию о синтаксисе для выражения;

3.Поиск по наименованиям и алиасам полей вложенных объектов.

4.Сортировка по наименованию полей. По умолчанию установлена сортировка По возрастанию, при нажатии сортировка меняется на По убыванию.

5.Кнопка для сворачивания панели полей и увеличения области ввода выражения. Для разворачивания панели используйте кнопку Структура.

6.Поле ввода выражения.

В поле ввода SQL-запроса при вводе первых букв отображаются значения справочников (IntelliSense) и подсветка синтаксиса. Справочники реализованы по полям модели, ключевым словам (select, from и др.), алиасам, таблицам. При выборе алиаса в выпадающем списке в формуле указывается код выбранного поля для корректной работы запроса. При выборе листов или таблиц файловых источников в выпадающем списке в запросе прописывается его название в обратных кавычках для корректной работы запроса.

7.Структура вложенных объектов. Для поля отображается наименование, алисас (в скобках) и тип данных. При нажатии на поле выполняется добавление его наименования в поле ввода выражения, в место установки курсора. Если в блок не добавлены объекты, то в структуре отобразится уведомление Отсутствуют вложенные объекты.

Временная серия

Блок позволяет сгенерировать столбец с некоторыми периодическими временными значениями.

Окно настройки параметров содержит:

1.Блок кнопок управления:

• Сохранить - сохраняет параметры и закрывает окно;
• Отменить - закрывает окно без сохранения изменений. При нажатии на кнопку, если на форме есть несохраненные изменения, отображается окно подтверждения закрытия формы. Чтобы сохранить изменения, нажмите на кнопку Сохранить изменения, для закрытия окна без сохранения - на кнопку Закрыть;

Выйти из режима создания/редактирования также можно по кнопке или нажатием клавиши Esc на клавиатуре. При нажатии на кнопку/клавишу, если на форме есть несохраненные изменения, отображается окно подтверждения закрытия формы.

• Выполнить - тестовый запуск блока внутри текущей модели. Результат тестового запуска ETL-блока отображаются в блоке Результаты запуска. Если в процессе запуска возникнут ошибки, отобразится текст ошибки;

Запуск выполняется на ограниченном наборе данных, результаты могут отличаться от полной загрузки модели.

• Структура вложенных объектов - просмотр структуры полей всех вложенных в ETL-блок объектов. В структуре указаны параметры полей объектов - Наименование в модели и Алиас в квадратных скобках;

Если значения параметров поля Наименование в модели и Алиас совпадают, то отобразится только один параметр поля.

• подсказка - отображение/скрытие подсказки к блоку.

2.Подсказка к блоку. В подсказке содержится ссылка Подробнее о блоке, по которой доступно подробное описание ETL-блока и его параметров. Отображается/скрывается по кнопке .

3.Параметры ETL-блока:

• Относительные даты начала и окончания - позволяет в качестве начала и окончания серии использовать относиельные даты, например, начало года. При включении опции отображаются дополнительные поля настройки;
• Начало серии - поле для ввода или выбора из календара даты начала временной серии;
• Окончание серии - поле для ввода или выбора из календара даты окончания временной серии;

Начало серии и Окончание серии активны только при отключении опции Относительные даты начала и окончания.

• Срок начала серии - выбор даты, относительно текущей, начала временной серии:
  • Начало дня;
  • Начало недели;
  • Начало месяца;
  • Начало квартала;
  • Начало года;
• Смещение начала - поле для ввода смещения периода в целочисленном эквиваленте относительной Срок начала серии временной серии. Возможные варианты:
  • 0 - текущий период, без смещения. Значение по умолчанию, применяется, даже если поле пустое;
  • 1, 2 и т.д. - следующий период, смещение вперед. Цифра указывает на количество периодов для смещения в будущее. Например, 1 - начало следующего дня, 2 - начало дня через один день и т.д.;
  • -1, -2 и т.д. - прошлый период, смещение назад. Цифра указывает на количество периодов для смещения в прошлое. Например, - 1 - начало прошлого дня, - 2 - начало позопрошлого дня и т.д.;
• Срок окончания серии - выбор даты, относительно текущей, окончания временной серии:
  • Конец дня;
  • Конец недели;
  • Конец месяца;
  • Конец квартала;
  • Конец года;
• Смещение окончания - поле для ввода смещения периода в целочисленном эквиваленте относительной Срок окончания серии временной серии. Возможные варианты:
  • 0 - текущий период, без смещения. Значение по умолчанию, применяется, даже если поле пустое;
  • 1, 2 и т.д. - следующий период, смещение вперед. Цифра указывает на количество периодов для смещения в будущее. Например, 1 - конец следующего дня, 2 - конец дня через один день и т.д.;
  • -1, -2 и т.д. - прошлый период, смещение назад. Цифра указывает на количество периодов для смещения в прошлое. Например, - 1 - конец прошлого дня, - 2 - конец позопрошлого дня и т.д.;

Срок начала серии, Смещение начала, Срок окончания серии и Смещение окончания активны только при включении опции Относительные даты начала и окончания.

• Значение шага - поле для ввода числового значения шага серии;
• Тип шага - выбор единицы измерения шага:
  • секунда;
  • минута;
  • час;
  • день;
  • неделя;
  • месяц;
  • год;
• Название поля с серией - наименование столбца в модели, в котором будет сохранена временная серия;
• Разбить дату/время на компоненты - позволяет дополнительно разбить сгенерированные дату или время на отдельные столбцы;

4.Блок предпросмотра:

• отображается по результатам тестового запуска ETL-блока по кнопке . Если в процессе тестового запуска возникнут ошибки, отобразится текст ошибки;

  

  Тестовый запуск выполняется на ограниченном наборе данных, результаты могут отличаться от полной загрузки модели.

• при просмотре структуры вложенных объектов по кнопке . В структуре вложенных объектов указаны параметры полей объектов - Наименование в модели и Алиас в квадратных скобках. Если значения параметров поля Наименование в модели и Алиас совпадают, то отобразится только один параметр поля.

  

Загрузка данных предпросмотра выполняется автоматически:

• при открытой и активной вкладке браузера;
• при открытой форме, на которой должны отобразиться данные;
• до превышения максимально установленного времени загрузки - 15 минут.

В иных случаях операция загрузки автоматически завершается в течение 5-10 секунд.

Разворот иерархии Parent-Child

Блок предназначен для преобразования таблицы с parent-child иерархией в таблицу, где уровни иерархии вынесены (развернуты) в отдельные столбцы.

Окно настройки параметров содержит:

1.Блок кнопок управления:

• Сохранить - сохраняет параметры и закрывает окно;
• Отменить - закрывает окно без сохранения изменений. При нажатии на кнопку, если на форме есть несохраненные изменения, отображается окно подтверждения закрытия формы. Чтобы сохранить изменения, нажмите на кнопку Сохранить изменения, для закрытия окна без сохранения - на кнопку Закрыть;

Выйти из режима создания/редактирования также можно по кнопке или нажатием клавиши Esc на клавиатуре. При нажатии на кнопку/клавишу, если на форме есть несохраненные изменения, отображается окно подтверждения закрытия формы.

• Выполнить - тестовый запуск блока внутри текущей модели. Результат тестового запуска ETL-блока отображаются в блоке Результаты запуска. Если в процессе запуска возникнут ошибки, отобразится текст ошибки;

Запуск выполняется на ограниченном наборе данных, результаты могут отличаться от полной загрузки модели.

• Структура вложенных объектов - просмотр структуры полей всех вложенных в ETL-блок объектов. В структуре указаны параметры полей объектов - Наименование в модели и Алиас в квадратных скобках;

Если значения параметров поля Наименование в модели и Алиас совпадают, то отобразится только один параметр поля.

• подсказка - отображение/скрытие подсказки к блоку.

2.Подсказка к блоку. В подсказке содержится ссылка Подробнее о блоке, по которой доступно подробное описание ETL-блока и его параметров. Отображается/скрывается по кнопке .

3.Параметры ETL-блока:

Для выбора столбцов необходимо предварительно добавить объект в блок.

• Идентификатор записи (id) - выбор столбца, в котором хранятся идентификаторы записи;
• Идентификатор родителя (parent_id) - выбор столбца, в котором хранятся идентификаторы родительской записи;
• Название столбца - выбор столбца, значения которого будут размножены по уровням иерархии;
• кнопка Добавить "Атрибут иерархии" - позволяет добавить еще один столбец, который будет размножен по уровням иерархии. Кнопка отображается после добавления двух и более полей. Позволяет удалить поле, если оно не единственное на форме ;
• Префикс столбца для уровня - приписка в названии столбца, которая будет добавлена к каждому столбцу при разворачивании уровней иерархии;
• кнопка Добавить "Уровень иерархии" - позволяет добавить еще один префикс. Кнопка отображается после добавления двух и более полей. Позволяет удалить поле, если оно не единственное на форме ;
• Столбец с номером уровня - название столбца в модели, в котором будут записаны уровни иерархии;
• Оставить только записи последнего уровня - позволяет исключить из таблицы все уровни, кроме последнего;

4.Блок предпросмотра:

• отображается по результатам тестового запуска ETL-блока по кнопке . Если в процессе тестового запуска возникнут ошибки, отобразится текст ошибки;

  

  Тестовый запуск выполняется на ограниченном наборе данных, результаты могут отличаться от полной загрузки модели.

• при просмотре структуры вложенных объектов по кнопке . В структуре вложенных объектов указаны параметры полей объектов - Наименование в модели и Алиас в квадратных скобках. Если значения параметров поля Наименование в модели и Алиас совпадают, то отобразится только один параметр поля.

  

Загрузка данных предпросмотра выполняется автоматически:

• при открытой и активной вкладке браузера;
• при открытой форме, на которой должны отобразиться данные;
• до превышения максимально установленного времени загрузки - 15 минут.

В иных случаях операция загрузки автоматически завершается в течение 5-10 секунд.

Прогнозирование временного ряда

Блок выполняет прогнозирование временного ряда на основе автоматически обучаемой статистической модели.

Сервисы, которые отвечают за превью и синхронизацию моделей с ML-предсказаниями подключаются с помощью docker-compose.ml.yml и docker-compose.ml.prod.yml. Для инстансов Системы, на которых не нужно машинное обучение, данные сервисы подключать не рекомендуется, т.к. данные контейнеры потребляют существенные ресурсы.

Окно настройки параметров содержит:

1.Блок кнопок управления:

• Сохранить - сохраняет параметры и закрывает окно;
• Отменить - закрывает окно без сохранения изменений. При нажатии на кнопку, если на форме есть несохраненные изменения, отображается окно подтверждения закрытия формы. Чтобы сохранить изменения, нажмите на кнопку Сохранить изменения, для закрытия окна без сохранения - на кнопку Закрыть;

Выйти из режима создания/редактирования также можно по кнопке или нажатием клавиши Esc на клавиатуре. При нажатии на кнопку/клавишу, если на форме есть несохраненные изменения, отображается окно подтверждения закрытия формы.

• Выполнить - тестовый запуск блока внутри текущей модели. Результат тестового запуска ETL-блока отображаются в блоке Результаты запуска. Если в процессе запуска возникнут ошибки, отобразится текст ошибки;

Запуск выполняется на ограниченном наборе данных, результаты могут отличаться от полной загрузки модели.

• Структура вложенных объектов - просмотр структуры полей всех вложенных в ETL-блок объектов. В структуре указаны параметры полей объектов - Наименование в модели и Алиас в квадратных скобках;

Если значения параметров поля Наименование в модели и Алиас совпадают, то отобразится только один параметр поля.

• подсказка - отображение/скрытие подсказки к блоку.

2.Подсказка к блоку. В подсказке содержится ссылка Подробнее о блоке, по которой доступно подробное описание ETL-блока и его параметров. Отображается/скрывается по кнопке .

3.Параметры ETL-блока:

Для выбора столбцов необходимо предварительно добавить объект в блок.

• Библиотека прогнозирования - библиотека для построения прогноза под данным. В текущей версии блока поддерживается: Prophet;
• Название поля с датой - выбор столбца, который является временной меткой ряда значений;
• Название поля с показателем - выбор столбца, значения которого необходимо предсказать. К полям дочерней таблицы добавляется столбец {показатель}__forecast, в который будет записано спрогнозированное значение;
• Доверительный интервал для показателя - позволяет добавить дополнительные столбцы {показатель}__forecast_lower и {показатель}__forecast_upper, в которых будут указаны нижняя и верхняя границы для доверительного интервала спрогнозированного значения основного показателя;
• Поле для группировки значений в серию - выбор столбца, для определения группировки;
• кнопка Добавить "Поле группы" - позволяет добавить еще одно поле для группировки. Кнопка отображается после добавления двух и более полей. Позволяет удалить поле, если оно не единственное на форме ;
• Тренд - позволяет добавить дополнительный столбец `{показатель}__trend, в котором будут значения тренда прогнозируемого показателя:
  • нет;
  • да;
  • да, с доверительным интервалом;

Если выбрано значение да, с доверительным интервалом, то дополнительно будут сформированы столбцы {показатель}__trend_lower и {показатель}__trend_upper с границами доверительного интервала для значений линии тренда.

• Годовая компонента" - позволяет добавить дополнительный столбец {показатель}__yearly, в котором будут значения годовой компоненты сезонности прогнозируемого показателя:
  • нет;
  • да;
  • да, с доверительным интервалом;

Если выбрано значение да, с доверительным интервалом, то дополнительно будут сформированы столбцы {показатель}__yearly_lower и {показатель}__yearly_upper с границами доверительного интервала для значений годовой компоненты сезонности.

• Еженедельная компонента - позволяет добавить дополнительный столбец {показатель}__weekly, в котором будут значения недельной компоненты сезонности прогнозируемого показателя:
  • нет;
  • да;
  • да, с доверительным интервалом;

Если выбрано значение да, с доверительным интервалом, то дополнительно будут сформированы столбцы {показатель}__weekly_lower и {показатель}__weekly_upper с границами доверительного интервала для значений недельной компоненты сезонности.

• Дневная компонента - позволяет добавить дополнительный столбец {показатель}__daily, в котором будут значения дневной компоненты сезонности прогнозируемого показателя:
  • нет;
  • да;
  • да, с доверительным интервалом;

Если выбрано значение да, с доверительным интервалом, то дополнительно будут сформированы столбцы {показатель}__daily_lower и {показатель}__daily_upper с границами доверительного интервала для значений дневной компоненты сезонности.

• Количество прогнозируемых точек - количество точек, на которое необходимо спрогнозировать временной ряд. Размерность точек определяется значением настройки Частота;

• Частота - размерность прогнозируемых точек временного ряда в будущем:

  • автоматически - размерность определится автоматически на основе исторических данных. Если система в процессе обработки данных не сможет определить частоту, то будет выдана ошибка и необходимо будет указать конкретное значение частоты самостоятельно;
  • день;
  • неделя;
  • месяц (первый день);
  • месяц (посл. день);
  • квартал (первый день);
  • квартал (посл. день);
  • год (первый день);
  • год (посл. день);

• Применить прогноз исторических данных - позволяет построить прогноз для значений уже присутствующих в таблице. Это позволит визуально сравнить, насколько прогностическая модель хорошо приближает уже известные значения временного ряда;

4.Блок предпросмотра:

• отображается по результатам тестового запуска ETL-блока по кнопке . Если в процессе тестового запуска возникнут ошибки, отобразится текст ошибки;

  

  Тестовый запуск выполняется на ограниченном наборе данных, результаты могут отличаться от полной загрузки модели.

• при просмотре структуры вложенных объектов по кнопке . В структуре вложенных объектов указаны параметры полей объектов - Наименование в модели и Алиас в квадратных скобках. Если значения параметров поля Наименование в модели и Алиас совпадают, то отобразится только один параметр поля.

  

Загрузка данных предпросмотра выполняется автоматически:

• при открытой и активной вкладке браузера;
• при открытой форме, на которой должны отобразиться данные;
• до превышения максимально установленного времени загрузки - 15 минут.

В иных случаях операция загрузки автоматически завершается в течение 5-10 секунд.

Классификация/регрессия с ML-моделью

Блок выполняет предсказание (классификацию, регрессию) для вложенной в него таблицы на основе ML-модели из внутреннего реестра ML-моделей.

Сервисы, которые отвечают за превью и синхронизацию моделей с ML-предсказаниями подключаются с помощью docker-compose.ml.yml и docker-compose.ml.prod.yml. Для инстансов Системы, на которых не нужно машинное обучение, данные сервисы подключать не рекомендуется, т.к. данные контейнеры потребляют существенные ресурсы.

Окно настройки параметров содержит:

1.Блок кнопок управления:

• Сохранить - сохраняет параметры и закрывает окно;
• Отменить - закрывает окно без сохранения изменений. При нажатии на кнопку, если на форме есть несохраненные изменения, отображается окно подтверждения закрытия формы. Чтобы сохранить изменения, нажмите на кнопку Сохранить изменения, для закрытия окна без сохранения - на кнопку Закрыть;

Выйти из режима создания/редактирования также можно по кнопке или нажатием клавиши Esc на клавиатуре. При нажатии на кнопку/клавишу, если на форме есть несохраненные изменения, отображается окно подтверждения закрытия формы.

• Выполнить - тестовый запуск блока внутри текущей модели. Результат тестового запуска ETL-блока отображаются в блоке Результаты запуска. Если в процессе запуска возникнут ошибки, отобразится текст ошибки;

Запуск выполняется на ограниченном наборе данных, результаты могут отличаться от полной загрузки модели.

• Структура вложенных объектов - просмотр структуры полей всех вложенных в ETL-блок объектов. В структуре указаны параметры полей объектов - Наименование в модели и Алиас в квадратных скобках;

Если значения параметров поля Наименование в модели и Алиас совпадают, то отобразится только один параметр поля.

• подсказка - отображение/скрытие подсказки к блоку.

2.Подсказка к блоку. В подсказке содержится ссылка Подробнее о блоке, по которой доступно подробное описание ETL-блока и его параметров. Отображается/скрывается по кнопке .

3.Параметры ETL-блока:

Для выбора столбцов необходимо предварительно добавить объект в блок.

• Ссылка на ML-модель - ссылка на модель во внутреннем реестре MLFlow;

Формат ссылок

Формат с номером версии модели: models:/{model_name}/{suffix}

Пример: model:/MyModelName/1

Формат с алиасом модели: models:/{model_name}@{alias}

Пример: model:/MyModelName@production

Формат с запуском эксперимента: runs:/{run_id}/model

Пример: runs:/31d59be3b06f43a7ab7d6e218b999862/model

• Поле из модели - выбор столбца, который будет сопоставлен с полем из набора для обучения;
• Название при обучении - наименование столбца в обучении модели, для сопоставления с Поле из модели;

В процессе работы выполняемся автоматическое сопоставление полей из модели и полей данных обучения. Сопоставление выполняется с заменой пробелов на знаки подчеркивания, а также с удалением "технических" префиксов вида "etl_block__".

Если какой-то признак не будет сопоставлен с полем из модели, то необходимо добавить его в параметре вручную.

• кнопка Добавить "Признак модели" - позволяет добавить еще одно соответствие поля модели с полем из набора для обучения. Кнопка отображается после добавления двух и более полей. Позволяет удалить поле, если оно не единственное на форме ;
• Название поля - позволяет добавить дополнительный столбец, в котором будет записан результат предсказания по каждой строке;

• Тип значения - выбор типа значения, которое будет сгенерировано ML-моделью:

  • строка;
  • целое;
  • дробное;

• кнопка Добавить "Целевая переменная" - позволяет добавить еще одно поле переменной. Кнопка отображается после добавления двух и более полей. Позволяет удалить поле, если оно не единственное на форме ;

4.Блок предпросмотра:

• отображается по результатам тестового запуска ETL-блока по кнопке . Если в процессе тестового запуска возникнут ошибки, отобразится текст ошибки;

  

  Тестовый запуск выполняется на ограниченном наборе данных, результаты могут отличаться от полной загрузки модели.

• при просмотре структуры вложенных объектов по кнопке . В структуре вложенных объектов указаны параметры полей объектов - Наименование в модели и Алиас в квадратных скобках. Если значения параметров поля Наименование в модели и Алиас совпадают, то отобразится только один параметр поля.

  

Загрузка данных предпросмотра выполняется автоматически:

• при открытой и активной вкладке браузера;
• при открытой форме, на которой должны отобразиться данные;
• до превышения максимально установленного времени загрузки - 15 минут.

В иных случаях операция загрузки автоматически завершается в течение 5-10 секунд.

ML-модель в ручном режиме

Блок предназначен для опытных специалистов по ML-моделям, в случае нехватки функционала блоков Прогнозирование временного ряда и Классификация/регрессия с ML-моделью.

Сервисы, которые отвечают за превью и синхронизацию моделей с ML-предсказаниями подключаются с помощью docker-compose.ml.yml и docker-compose.ml.prod.yml. Для инстансов Системы, на которых не нужно машинное обучение, данные сервисы подключать не рекомендуется, т.к. данные контейнеры потребляют существенные ресурсы.

Окно настройки параметров содержит:

1.Блок кнопок управления:

• Сохранить - сохраняет параметры и закрывает окно;
• Отменить - закрывает окно без сохранения изменений. При нажатии на кнопку, если на форме есть несохраненные изменения, отображается окно подтверждения закрытия формы. Чтобы сохранить изменения, нажмите на кнопку Сохранить изменения, для закрытия окна без сохранения - на кнопку Закрыть;

Выйти из режима создания/редактирования также можно по кнопке или нажатием клавиши Esc на клавиатуре. При нажатии на кнопку/клавишу, если на форме есть несохраненные изменения, отображается окно подтверждения закрытия формы.

• Выполнить - тестовый запуск блока внутри текущей модели. Результат тестового запуска ETL-блока отображаются в блоке Результаты запуска. Если в процессе запуска возникнут ошибки, отобразится текст ошибки;

Запуск выполняется на ограниченном наборе данных, результаты могут отличаться от полной загрузки модели.

• Структура вложенных объектов - просмотр структуры полей всех вложенных в ETL-блок объектов. В структуре указаны параметры полей объектов - Наименование в модели и Алиас в квадратных скобках;

Если значения параметров поля Наименование в модели и Алиас совпадают, то отобразится только один параметр поля.

• подсказка - отображение/скрытие подсказки к блоку.

2.Подсказка к блоку. В подсказке содержится ссылка Подробнее о блоке, по которой доступно подробное описание ETL-блока и его параметров. Отображается/скрывается по кнопке .

3.Параметры ETL-блока:

• Ссылка на ML-модель - ссылка на модель во внутреннем реестре MLFlow;

Формат ссылок

Формат с номером версии модели: models:/{model_name}/{suffix}

Пример: model:/MyModelName/1

Формат с алиасом модели: models:/{model_name}@{alias}

Пример: model:/MyModelName@production

Формат с запуском эксперимента: runs:/{run_id}/model

Пример: runs:/31d59be3b06f43a7ab7d6e218b999862/model

• Функция для получения схемы - имя функции из ML-модели, которая используется для получения схемы блока;
• Функция для построения данных - имя функции из ML-модели, которая используется для получения данных блока.
• Название поля - позволяет добавить дополнительный столбец, в котором будет записан результат предсказания по каждой строке;

• Тип значения - выбор типа значения, которое будет сгенерировано ML-моделью:

  • строка;
  • целое;
  • дробное;
  • дата;
  • дата и время;
  • логическое;

• кнопка Добавить "Целевая переменная" - позволяет добавить еще одно поле переменной. Кнопка отображается после добавления двух и более полей. Позволяет удалить поле, если оно не единственное на форме ;

4.Блок предпросмотра:

• отображается по результатам тестового запуска ETL-блока по кнопке . Если в процессе тестового запуска возникнут ошибки, отобразится текст ошибки;

  

  Тестовый запуск выполняется на ограниченном наборе данных, результаты могут отличаться от полной загрузки модели.

• при просмотре структуры вложенных объектов по кнопке . В структуре вложенных объектов указаны параметры полей объектов - Наименование в модели и Алиас в квадратных скобках. Если значения параметров поля Наименование в модели и Алиас совпадают, то отобразится только один параметр поля.

  

Загрузка данных предпросмотра выполняется автоматически:

• при открытой и активной вкладке браузера;
• при открытой форме, на которой должны отобразиться данные;
• до превышения максимально установленного времени загрузки - 15 минут.

В иных случаях операция загрузки автоматически завершается в течение 5-10 секунд.

JSON-блок

Блок позволяет преобразовать значения из JSON-поля в новые строки или столбцы. Работает со значениями полей как в виде объектов, так и массивов.

Окно настройки параметров содержит:

1.Блок кнопок управления:

• Сохранить - сохраняет параметры и закрывает окно;
• Отменить - закрывает окно без сохранения изменений. При нажатии на кнопку, если на форме есть несохраненные изменения, отображается окно подтверждения закрытия формы. Чтобы сохранить изменения, нажмите на кнопку Сохранить изменения, для закрытия окна без сохранения - на кнопку Закрыть;

Выйти из режима создания/редактирования также можно по кнопке или нажатием клавиши Esc на клавиатуре. При нажатии на кнопку/клавишу, если на форме есть несохраненные изменения, отображается окно подтверждения закрытия формы.

• Выполнить - тестовый запуск блока внутри текущей модели. Результат тестового запуска ETL-блока отображаются в блоке Результаты запуска. Если в процессе запуска возникнут ошибки, отобразится текст ошибки;

Запуск выполняется на ограниченном наборе данных, результаты могут отличаться от полной загрузки модели.

• Структура вложенных объектов - просмотр структуры полей всех вложенных в ETL-блок объектов. В структуре указаны параметры полей объектов - Наименование в модели и Алиас в квадратных скобках;

Если значения параметров поля Наименование в модели и Алиас совпадают, то отобразится только один параметр поля.

• подсказка - отображение/скрытие подсказки к блоку.

2.Подсказка к блоку. В подсказке содержится ссылка Подробнее о блоке, по которой доступно подробное описание ETL-блока и его параметров. Отображается/скрывается по кнопке .

3.Параметры ETL-блока:

Для выбора столбцов необходимо предварительно добавить объект в блок.

• JSON-поле - выбор столбца, в котором содержаться JSON-значения;
• Схема JSON - схема данных внутри JSON-значений. Если используется каскад JSON-блоков, когда схема JSON уже была применена во вложенном JSON-блоке, то поле можно не заполнять;

Правила заполнения схемы

• [] - для указания массива, например, [целое];
• {} - для указания объекта, например, {a: целое, b: строка};
• Типы значений:
  • целое;
  • дробное;
  • датавремя;
  • логическое;
  • строка;
• "" - для атрибута с пробелами в наименовании, например, "имя с пробелом": целое;
• объекты и массивы могут вкладываться друг в друга:
  • {a: {b: целое}}, например, {"a": {"b":1}};
  • {a: [целое]}, например, {"a": [1, 2]};
  • [{a: целое, b: строка}], например, [{"a": 1}, {"b": "привет"}].

• кнопка Заполнить схему JSON автоматически - автоматическое построение схемы на основе первых 100 строк из вложенного объекта;

Заполнение схемы выполняется:

• при открытой и активной вкладке браузера;
• при открытой форме, на которой должны отобразиться данные;
• до превышения максимально установленного времени загрузки - 15 минут.

В иных случаях операция загрузки автоматически завершается в течение 5-10 секунд.

• Тип преобразования - выбор метода преобразования данных:
  • Атрибуты объекта -> Столбцы - извлекает значения из атрибутов объектов в JSON-поле и помещает их в отдельные столбцы модели;
  • Элементы массива -> Столбцы - извлекает значения из массива и создает для каждого такого значения отдельный столбец модели. В значениях новых столбцов указывается true/false (или 1/0, или {значение}/null) в зависимости от того, присутствует ли указанное значение в массиве текущей строки;
  • Элементы массива -> Строки - множит текущую строку столько раз, сколько есть элементов в массиве. В модель добавляется отдельная строка, в которой указывается значение массива;
• Путь к объекту - последовательность атрибутов до вложенного объекта, если он находится не на самом верхнем уровне JSON-поля. Пример, если в JSON-поле хранится объект d {"a": {"b": {"c": {"d": 1}}}}, то в поле указывается значение a.b.c;
• Что указывать в значениях новых столбцов - в значениях новых столбцов указывается true/false или 1/0, или {значение}/null в зависимости от того, присутствует ли указанное значение в массиве текущей строки;

Настройка Что указывать в значениях новых столбцов активна только при Тип преобразования в значении Элементы массива -> Столбцы.

• Столбец в модели - название столбца со значениями массива;

Настройка Что указывать в значениях новых столбцов активна только при Тип преобразования в значении Элементы массива -> Строки.

• Правила создания столбцов - правила создания столбцов:

  • Значение из объекта - атрибуты объекта, которые нужно перенести;
  • Столбец в модели - название столбца с атрибутами объекта;

  Название Столбец в модели может быть создано автоматически:

  • НазваниеJSONполя__АтрибутОбъекта - при Тип преобразования в значении Атрибуты объекта -> Столбцы;
  • НазваниеJSONполя__ЗначениеИзМассива - при Тип преобразования в значении Элементы массива -> Столбцы.
  • кнопка Добавить "столбец" - позволяет добавить еще одно правило создания столбцов; Кнопка отображается после добавления двух и более полей. Позволяет удалить поле, если оно не единственное на форме ;
  • кнопка Заполнить автоматически - автоматическое заполнение правил создания столбцов (атрибуты) на основе первых 100 строк из вложенного объекта;

4.Блок предпросмотра:

• отображается по результатам тестового запуска ETL-блока по кнопке . Если в процессе тестового запуска возникнут ошибки, отобразится текст ошибки;

  

  Тестовый запуск выполняется на ограниченном наборе данных, результаты могут отличаться от полной загрузки модели.

• при просмотре структуры вложенных объектов по кнопке . В структуре вложенных объектов указаны параметры полей объектов - Наименование в модели и Алиас в квадратных скобках. Если значения параметров поля Наименование в модели и Алиас совпадают, то отобразится только один параметр поля.

  

Загрузка данных предпросмотра выполняется автоматически:

• при открытой и активной вкладке браузера;
• при открытой форме, на которой должны отобразиться данные;
• до превышения максимально установленного времени загрузки - 15 минут.

В иных случаях операция загрузки автоматически завершается в течение 5-10 секунд.