Параметры¶
Общий список параметров для источника в разделе Источники данных.
Кодировка¶
Для файлов: csv | tsv | json | jsonl | xml
Устанавливает кодировку, в которой должен быть прочтен текстовый файл.
Пример
Параметр: Кодировка
Значение параметра: cp1251
Результат: файл загружен в кодировке cp1251
КоличествоСтрок¶
Для файлов: csv | tsv | xlsx | xls | xlsb | ods
Указывает, сколько строк необходимо считать из файла. Значение параметра указывается только целым положительным числом.
Пример
Файл:
| Date | City | Category | Orders | Profit |
|---|---|---|---|---|
| 2025-03-01 | London | Office Supplies | 8 | 120.8 |
| 2025-03-02 | London | Furniture | 2 | 100 |
| 2025-03-03 | London | Office Supplies,Other | 1 | 750 |
| 2025-03-04 | London | Office Supplies | 2 | 1250.5 |
| 2025-03-05 | London | Furniture,Other | 4 | 85 |
| 2025-03-06 | Moscow | Furniture | 23 | 723 |
| 2025-03-07 | Moscow | Office Supplies,Other | 1 | 1000 |
| 2025-03-08 | Moscow | Furniture,Other | 4 | 4000 |
| 2025-03-09 | Moscow | Furniture,Other | 5 | 3700 |
| 2025-03-10 | Moscow | Office Supplies,Other | 25 | 1200 |
Параметр: КоличествоСтрок
Значение параметра: 5
Результат: из файла загружена строка заголовков и 5 строк данных
| Date | City | Category | Orders | Profit |
|---|---|---|---|---|
| 2025-03-01 | London | Office Supplies | 8 | 120.8 |
| 2025-03-02 | London | Furniture | 2 | 100 |
| 2025-03-03 | London | Office Supplies,Other | 1 | 750 |
| 2025-03-04 | London | Office Supplies | 2 | 1250.5 |
| 2025-03-05 | London | Furniture,Other | 4 | 85 |
НазванияСтолбцов¶
Задает названия для считанных из файла столбцов через запятую.
Если в названии столбца используется символ запятая (,), то название необходимо заключить в двойные кавычки. Например, "Сумма, руб".
Если в названии столбца используется символ запятая (,) и символ кавычка ("), то название полностью заключается в кавычки, а текст в кавычках заключается в дополнительные кавычки. Например, "Сумма, ""руб""".
Количество названий должно совпадать с количеством столбцов. Если количество названий будет меньше количества столбцов, то из файла будут считаны не все столбцы. Считывается количество первых столбцов слева направо в количестве указанных названий.
Пример
Файл:
Date;City;Category;Orders;Profit
2025-03-01;London;Office Supplies;8;120.8
2025-03-02;London;Furniture;2;100
2025-03-03;London;Office Supplies,Other;1;750
2025-03-04;London;Office Supplies;2;1250.5
2025-03-05;London;Furniture,Other;4;85
Параметр: НазванияСтолбцов
Значение параметра: Дата,Город,Категории,Заказ,"Прибыль, руб."
Результат: из файла загружено 5 колонки с наименованиями столбцов Дата, Город, Категории, Заказ, Прибыль, руб..
| Дата | Город | Категории | Заказ | Прибыль, руб. |
|---|---|---|---|---|
| 2025-03-01 | London | Office Supplies | 8 | 120.8 |
| 2025-03-02 | London | Furniture | 2 | 100 |
| 2025-03-03 | London | Office Supplies,Other | 1 | 750 |
| 2025-03-04 | London | Office Supplies | 2 | 1250.5 |
| 2025-03-05 | London | Furniture,Other | 4 | 85 |
ПропуститьСтрок¶
Для файлов: csv | tsv | xlsx | xls | xlsb | ods
Указывает, сколько строк необходимо пропустить от заголовка (нулевой строки) до начала данных. Значение параметра указывается только целым положительным числом. Если заголовок находится не в первой строке, то необходимо добавить параметр СтрокаЗаголовка, указав номер строки. Пропускаемые строки будут отсчитываться от назначенной строки заголовков.
При необходимости пропустить строки только на конкретном листе файла, используйте название или номер листа после двоеточия :.
Пример
Файл:
| Date | City | Category | Orders | Profit |
|---|---|---|---|---|
| 2025-03-01 | London | Office Supplies | 8 | 120.8 |
| 2025-03-02 | London | Furniture | 2 | 100 |
| 2025-03-03 | London | Office Supplies,Other | 1 | 750 |
| 2025-03-04 | London | Office Supplies | 2 | 1250.5 |
| 2025-03-05 | London | Furniture,Other | 4 | 85 |
| 2025-03-06 | Moscow | Furniture | 23 | 723 |
| 2025-03-07 | Moscow | Office Supplies,Other | 1 | 1000 |
| 2025-03-08 | Moscow | Furniture,Other | 4 | 4000 |
| 2025-03-09 | Moscow | Furniture,Other | 5 | 3700 |
| 2025-03-10 | Moscow | Office Supplies,Other | 25 | 1200 |
Параметр: ПропуститьСтрок
Значение параметра: Лист1=5
Результат: из файла с Лист1 загружена строка заголовков и строки с данными, начиная с 6
| Date | City | Category | Orders | Profit |
|---|---|---|---|---|
| 2025-03-06 | Moscow | Furniture | 23 | 723 |
| 2025-03-07 | Moscow | Office Supplies,Other | 1 | 1000 |
| 2025-03-08 | Moscow | Furniture,Other | 4 | 4000 |
| 2025-03-09 | Moscow | Furniture,Other | 5 | 3700 |
| 2025-03-10 | Moscow | Office Supplies,Other | 25 | 1200 |
Разделитель¶
Указывает с каким разделителем необходимо прочесть файл. Указывайте символ, например ;, для табуляции - Таб, для пробела - Пробел.
Пример
Файл:
Date;City;Category;Orders;Profit
2025-03-01;London;Office Supplies;8;120.8
2025-03-02;London;Furniture;2;100
2025-03-03;London;Office Supplies,Other;1;750
2025-03-04;London;Office Supplies;2;1250.5
2025-03-05;London;Furniture,Other;4;85
2025-03-06;Moscow;Furniture;23;723
2025-03-07;Moscow;Office Supplies,Other;1;1000
2025-03-08;Moscow;Furniture,Other;4;4000
2025-03-09;Moscow;Furniture,Other;5;3700
2025-03-10;Moscow;Office Supplies,Other;25;1200
Параметр: Разделитель
Значение параметра: ;
Результат: из файла загружена строка заголовков и строки с данными
| Date | City | Category | Orders | Profit |
|---|---|---|---|---|
| 2025-03-01 | London | Office Supplies | 8 | 120.8 |
| 2025-03-02 | London | Furniture | 2 | 100 |
| 2025-03-03 | London | Office Supplies,Other | 1 | 750 |
| 2025-03-04 | London | Office Supplies | 2 | 1250.5 |
| 2025-03-05 | London | Furniture,Other | 4 | 85 |
| 2025-03-06 | Moscow | Furniture | 23 | 723 |
| 2025-03-07 | Moscow | Office Supplies,Other | 1 | 1000 |
| 2025-03-08 | Moscow | Furniture,Other | 4 | 4000 |
| 2025-03-09 | Moscow | Furniture,Other | 5 | 3700 |
| 2025-03-10 | Moscow | Office Supplies,Other | 25 | 1200 |
РазделительДробнойЧасти¶
Для файлов: csv | tsv | xlsx | xls | xlsb | ods
Указывает символ: точка . или запятая ,, который является разделителем целой и дробной части чисел.
Пример
Файл:
| Date | City | Category | Orders | Profit |
|---|---|---|---|---|
| 2025-03-01 | London | Office Supplies | 8 | 120.8 |
| 2025-03-02 | London | Furniture | 2 | 100 |
| 2025-03-03 | London | Office Supplies,Other | 1 | 750 |
| 2025-03-04 | London | Office Supplies | 2 | 1250.5 |
Параметр: РазделительДробнойЧасти
Значение параметра: ,
Результат: из файла с Лист1 загружена строка заголовков и строки с данными, разделитель дробной части запятая ,
| Date | City | Category | Orders | Profit |
|---|---|---|---|---|
| 2025-03-01 | London | Office Supplies | 8 | 120,8 |
| 2025-03-02 | London | Furniture | 2 | 100 |
| 2025-03-03 | London | Office Supplies,Other | 1 | 750 |
| 2025-03-04 | London | Office Supplies | 2 | 1250,5 |
СимволЭкранирования¶
Указывает символ экранирования строк в ячейках.
Пример
Файл:
Date;City;Category;Orders;Profit
2025-03-01;"London";"Office Supplies";8;120.8
2025-03-02;"London";"Furniture";2;100
2025-03-03;"London";"Office Supplies,Other";1;750
2025-03-04;"London";"Office Supplies";2;1250.5
Параметр: СимволЭкранирования
Значение параметра: "
Результат: из файла загружена строка заголовков и строки с данными. Строки в кавычках загружены как тип Строка
| Date | City | Category | Orders | Profit |
|---|---|---|---|---|
| 2025-03-01 | London | Office Supplies | 8 | 120.8 |
| 2025-03-02 | London | Furniture | 2 | 100 |
| 2025-03-03 | London | Office Supplies, Other | 1 | 750 |
| 2025-03-04 | London | Office Supplies | 2 | 1250.5 |
| Наименование | Тип |
|---|---|
| Date | Дата - datetime64[ns, UTC] |
| City | Строка - string |
| Category | Строка - string |
| Orders | Число (целое) - int64 |
| Profit | Число (дробное) float64 |
СтолбецИмяФайла¶
Для файлов: csv | tsv | xls | xlsx | xlsb | ods | json | jsonl | qvd | zip | rar | 7z | tar | gz
Для ссылок: SFTP-папки | S3-хранилище | Яндекс-диск
Указывает название нового столбца, в котором в каждой строке будет добавлено значением с именем файла. Имя файла определяется файлом, из которого пришла строка данных.
Параметр доступен и для файлов загруженных по ссылке - настройка Вариант загрузки файла в значении Ссылка.
Пример
Файл:
заказы.zip
london.xlsx
london.xlsx
| Date | City | Category | Orders | Profit |
|---|---|---|---|---|
| 2025-03-01 | London | Office Supplies | 8 | 120.8 |
| 2025-03-02 | London | Furniture | 2 | 100 |
| 2025-03-03 | London | Office Supplies,Other | 1 | 750 |
| 2025-03-04 | London | Office Supplies | 2 | 1250.5 |
| 2025-03-05 | London | Furniture,Other | 4 | 85 |
moscow.xlsx
| Date | City | Category | Orders | Profit |
|---|---|---|---|---|
| 2025-03-06 | Moscow | Furniture | 23 | 723 |
| 2025-03-07 | Moscow | Office Supplies,Other | 1 | 1000 |
| 2025-03-08 | Moscow | Furniture,Other | 4 | 4000 |
| 2025-03-09 | Moscow | Furniture,Other | 5 | 3700 |
| 2025-03-10 | Moscow | Office Supplies,Other | 25 | 1200 |
Параметр: СтолбецИмяФайла
Значение параметра: File
Результат: из файлов загружена одна строка заголовков и строки с данными в общую таблицу. Добавлен столбец File и заполнен названием файла
| Date | City | Category | Orders | Profit | File |
|---|---|---|---|---|---|
| 2025-03-01 | London | Office Supplies | 8 | 120,8 | london.xlsx |
| 2025-03-02 | London | Furniture | 2 | 100 | london.xlsx |
| 2025-03-03 | London | Office Supplies, Other | 1 | 750 | london.xlsx |
| 2025-03-04 | London | Office Supplies | 2 | 1250,5 | london.xlsx |
| 2025-03-06 | Moscow | Furniture | 23 | 723 | moscow.xlsx |
| 2025-03-07 | Moscow | Office Supplies,Other | 1 | 1000 | moscow.xlsx |
| 2025-03-08 | Moscow | Furniture,Other | 4 | 4000 | moscow.xlsx |
| 2025-03-09 | Moscow | Furniture,Other | 5 | 3700 | moscow.xlsx |
| 2025-03-10 | Moscow | Office Supplies,Other | 25 | 1200 | moscow.xlsx |
Столбцы¶
Для файлов: csv | tsv | xlsx | xls | xlsb | ods
Задает столбцы через запятую, которые необходимо прочесть из файла. Названия столбцов в параметре должны совпадать с названиями из файла. Для csv файлов используются номера столбцов, начиная с 0.
Если в названии столбца используется символ запятая (,), то название необходимо заключить в двойные кавычки. Например, "Сумма, руб".
Если в названии столбца используется символ запятая (,) и символ кавычка ("), то название полностью заключается в кавычки, а текст в кавычках заключается в дополнительные кавычки. Например, "Сумма, ""руб""".
При необходимости считать столбцы только на конкретном листе файла, используйте название или номер листа после двоеточия :.
Пример
Файл:
Date;City;Category;Orders;Profit
2025-03-01;London;Office Supplies;8;120.8
2025-03-02;London;Furniture;2;100
2025-03-03;London;Office Supplies,Other;1;750
2025-03-04;London;Office Supplies;2;1250.5
2025-03-05;London;Furniture,Other;4;85
Параметр: Столбцы
Значение параметра: 0,1,2,4
Результат: из файла загружены все столбцы, кроме 3
| Date | City | Category | Profit |
|---|---|---|---|
| 2025-03-01 | London | Office Supplies | 120.8 |
| 2025-03-02 | London | Furniture | 100 |
| 2025-03-03 | London | Office Supplies,Other | 750 |
| 2025-03-04 | London | Office Supplies | 1250.5 |
| 2025-03-05 | London | Furniture,Other | 85 |
СтрокаЗаголовка¶
Для файлов: xlsx | xls | xlsb | ods
Указывает позицию номер строки заголовка в файле. Нумерация строк начинается с 0.
При необходимости указать строку заголовков только на конкретном листе файла, используйте название или номер листа после двоеточия :.
Пример
Файл:
| Дата выгрузки: 2025-03-30 | ||||
|---|---|---|---|---|
| Время выгрузки: 17:45:40 | ||||
| Date | City | Category | Orders | Profit |
| 2025-03-01 | London | Office Supplies | 8 | 120.8 |
| 2025-03-02 | London | Furniture | 2 | 100 |
| 2025-03-03 | London | Office Supplies,Other | 1 | 750 |
| 2025-03-04 | London | Office Supplies | 2 | 1250.5 |
Параметр: СтрокаЗаголовка
Значение параметра: 2
Результат: из файла загружена строка 2 как строка заголовков и строки с данными, начиная с 3
| Date | City | Category | Orders | Profit |
|---|---|---|---|---|
| 2025-03-01 | London | Office Supplies | 8 | 120.8 |
| 2025-03-02 | London | Furniture | 2 | 100 |
| 2025-03-03 | London | Office Supplies,Other | 1 | 750 |
| 2025-03-04 | London | Office Supplies | 2 | 1250.5 |
Таймаут¶
Ограничивает время ожидания ответа в секундах от источника. Не ограничивает длительность всего процесса загрузки данных. Значение параметра указывается только целым положительным числом.
При необходимости задать таймаут только для конкретного объекта (таблицы), используйте название таблицы после двоеточия :. Если параметр задан на все объекты источника, то он будет применен и к моделям источника, включая блоки данных SQL-запрос.
Пример
Параметр: Таймаут:Номенклатура
Значение параметра: 30
Результат: загрузка будет прекращена, если ответ по загрузке таблицы Номенклатура не будет получен за 30 секунд
Тип¶
Для файлов: csv | tsv | xlsx | xls | xlsb | ods
Указывает тип данных (регистроНезависимо) столбцов в файле.
При необходимости указать тип только на конкретном листе файла, используйте название или номер листа после двоеточия :. При необходимости указать тип только для конкретного столбца, используйте название или номер столбца (для csv) после двоеточия :.
Названия типов:
| Значение параметра | Тип данных |
|---|---|
| Целое Число ЧислоЦелое Int Integer |
Число (целое) |
| Дробное ЧислоДробное Float |
Число (дробное) |
| Строка Текст Str String |
Строка |
| Дата ДатаВремя ДатаИВремя Date DateTime Через пробел формат даты: dd.mm.yyyy, dd.bb.yyyy, dd.mm.yy, dd.bb.yy, yyyy.mm.dd, yyyy.bb.dd, yy.mm.dd, yy.bb.dd(1) Через пробел формат времени при наличии: HH:MM:SS(3) |
Дата |
| Логическое Булево Bool Boolean Через пробел формат значений истина / ложь через слеш: t/f(2) |
Логический |
- dd - день
mm - месяц числом
bb - месяц текстом (Ru|En)
yy - год 2 знака
yyyy - год 4 знака
Разделитель даты может быть точка., тире-, слеш/или пробел для bb - месяц текстом - t - значение истины, например, 1
f - значение ложь, например, 0 - HH - часы
MM - минуты
SS - секунды
Разделитель времени двоеточие:
Пример
Файл:
| Date | City | Category | Orders | Profit | By card |
|---|---|---|---|---|---|
| 2025-03-01 | London | Office Supplies | 8 | 120.8 | 1 |
| 2025-03-02 | London | Furniture | 2 | 100 | 0 |
| 2025-03-03 | London | Office Supplies,Other | 1 | 750 | 0 |
| 2025-03-04 | London | Office Supplies | 2 | 1250.5 | 1 |
Параметр: Тип:Date
Значение параметра: ДатаВремя yyyy-mm-dd HH:MM:SS
Параметр: Тип:City
Значение параметра: Строка
Параметр: Тип:Profit
Значение параметра: Дробное
Параметр: Тип:By card
Значение параметра: Булево 1/0
Результат: из файла загружена строка заголовков и строки с данными, каждому столбцу присвоен указанный тип
| Date | City | Category | Orders | Profit | By card |
|---|---|---|---|---|---|
| 2025-03-01 00:00:00 | London | Office Supplies | 8 | 120.8 | 1 |
| 2025-03-02 00:00:00 | London | Furniture | 2 | 100 | 0 |
| 2025-03-03 00:00:00 | London | Office Supplies,Other | 1 | 750 | 0 |
| 2025-03-04 00:00:00 | London | Office Supplies | 2 | 1250.5 | 1 |
| Наименование | Тип |
|---|---|
| Date | Дата - datetime64[ns, UTC] |
| City | Строка - string |
| Category | object |
| Orders | Число (целое) - int64 |
| Profit | Число (дробное) float64 |
| By card | Логический - boolean |
ФильтрФайлов¶
Для файлов: zip | rar | 7z | tar | gz
Задает критерии отбора файлов из папки:
- маска имени файла в формате регулярного выражения;
- правило фильтрации по характеристике файла:
ПервыйПоВремени- наиболее старый файл;ПервыйПоНазванию- первый в алфавитном порядке;ПоследнийПоВремени- наиболее свежий файл;ПоследнийПоНазванию- последний в алфавитном порядке;
- количество файлов после двоеточия
:.
Критерии применяются последовательно: сначала маска имени файла, затем правила фильтрации.
Параметр доступен и для файлов загруженных по ссылке - настройка Вариант загрузки файла в значении Ссылка.
Пример
Файл:
заказы.zip
Параметр: ФильтрФайлов
Значение параметра: .*.xlsx,ПоследнийПоВремени
Результат: загружен файл заказы_Москва.xlsx