Let`s try: dbt Частина 9 — змінні

Змінні додають гнучкості нашим пайплайнам, тому ми визначаємо та використовуємо їх тут.


Список статей
  1. Спробуймо dbt. Частина 1 — пролог
  2. Спробуймо dbt. Частина 2 — перший запуск
  3. Спробуймо dbt. Частина 3 — seed і source
  4. Спробуймо dbt. Частина 4 — матеріалізація моделей
  5. Спробуймо dbt. Частина 5 — від Jinja до макросів і хуків
  6. Спробуймо dbt. Частина 6 — snapshots і analyses
  7. Спробуймо dbt. Частина 7 — тести
  8. Спробуймо dbt. Частина 8 — DAG і документація
  9. Спробуймо dbt. Частина 9 — змінні
  10. Спробуймо dbt. Частина 10 — пакети
  11. Спробуймо dbt. Частина 11 — SQLFluff і Pre-Commit

Глобальне налаштування

Змінні в dbt можна визначати глобально або локально. Глобальні змінні оголошуються в dbt_project.yml, як показано нижче.

Визначення та використання

Конфігурацію в dbt_project.yml можна зробити під ключем vars.

vars:
  target_date: 2026-01-01

Це нова змінна target_date, і тепер ми можемо звернутися до змінної target_date за допомогою макросу var() у моделі як показано нижче.

select *
from {{ source("students", "student_grades") }}
where updated_at = '{{ var("target_date") }}'

Під час компіляції значення target_date підставиться в умову для updated_at ось так.

$ dbt compile 
Compiled node 'selected_students' is:
select *
from `bluebirz-playground`.`raw`.`student_grades`
where updated_at = '2026-01-01'

Перевизначення

Іноді значення змінних потрібно перевизначити — для цього є прапорець --vars.

$ dbt compile --vars '{target_date: 2026-02-01}'
Compiled node 'selected_students' is:
select *
from `bluebirz-playground`.`raw`.`student_grades`
where updated_at = '2026-02-01'

Значення за замовчуванням

У деяких випадках нам потрібні значення за замовчуванням для змінних. Передача другого аргументу в макрос var() задає значення за замовчуванням.

select *
from {{ source("students", "student_grades") }}
where
    updated_at = '{{ var("target_date") }}'
    and name = '{{ var("target_name", "Billy") }}'

Тепер Billy — значення за замовчуванням, якщо target_name не задано.

$ dbt compile 
Compiled node 'selected_students' is:
select *
from `bluebirz-playground`.`raw`.`student_grades`
where
    updated_at = '2026-01-01'
    and name = 'Billy'

Робота з масивами

Ми можемо визначити масив у синтаксисі YAML, використовуючи дефіси (-) або дужки ([]), як показано нижче.

vars:
  target_date: 2026-01-01
  target_subjects:
    - "biology"
    - "physics"
    - "chemistry"
  other_subjects: ["literature", "mathematics"]

Припустімо, після компіляції ми хочемо отримати такий запит.

$ dbt compile 
Compiled node 'selected_students' is:
select *
from `bluebirz-playground`.`raw`.`student_grades`
where
    updated_at = '2026-01-01'
    and subject in ('biology', 'physics', 'chemistry')

Є різні способи досягти цього.

Цикл (for-loop)

Ми можемо зробити це традиційним способом за допомогою циклу. Ітеруючись по масиву за допомогою for-loop, ми конкатенуємо кожен елемент у ньому з комою ,, якщо елемент не є останнім у масиві. Так отримуємо рядок зі значеннями через кому.

select *
from {{ source("students", "student_grades") }}
where
    updated_at = '{{ var("target_date") }}'
    and subject in (
        {%- for subject in var("target_subjects") -%}
            '{{ subject }}' {%- if not loop.last -%},{%- endif -%}
        {%- endfor -%}
    )

Заміна (replace)

За замовчуванням масив можна привести до рядка у форматі [a, b, c, ...], тому ми можемо просто використати фільтр Jinja replace, щоб перетворити [] на ().

select *
from {{ source("students", "student_grades") }}
where
    updated_at = '{{ var("target_date") }}'
    and subject in {{ var("target_subjects") | replace("[", "(") | replace("]", ")") }}

Об’єднання (join)

Або просто використайте фільтр Jinja join, щоб об’єднати всі елементи комами та оточити їх лапками та дужками ('...'), і тепер ми отримаємо повний рядок.

select *
from {{ source("students", "student_grades") }}
where
    updated_at = '{{ var("target_date") }}'
    and subject in ('{{ var("target_subjects") | join("', '") }}')

Локальне налаштування

Якщо ми не хочемо оголошувати це глобально, а мати кілька змінних для використання в одній моделі, ми можемо зробити це так.

Встановлення та використання

Використовуйте {% set <variable> = <value> %}, щоб оголосити змінну та її значення в моделі. Потім звертайтеся до змінних, просто написавши {{ <var> }}.

{%- set target_date = "2026-01-01" -%}

select *
from {{ source("students", "student_grades") }}
where updated_at = '{{ target_date }}'

Після компіляції target_date має значення 2026-01-01.

$ dbt compile
Compiled node 'selected_students' is:
select *
from `bluebirz-playground`.`raw`.`student_grades`
where updated_at = '2026-01-01'

Встановлення масивів

Так само можна оголосити масив і перетворити його на рядок, як у прикладах вище.

{%- set target_date = "2026-01-01" -%}
{%- set target_subjects = ["biology", "physics", "chemistry"] -%}
select *
from {{ source("students", "student_grades") }}
where
    updated_at = '{{ target_date }}'
    and subject in {{ target_subjects | replace("[", "(") | replace("]", ")") }}

Тепер ми отримуємо масив як показано нижче.

$ dbt compile
Compiled node 'selected_students' is:
select *
from `bluebirz-playground`.`raw`.`student_grades`
where
    updated_at = '2026-01-01'
    and subject in ('biology', 'physics', 'chemistry')

Перевизначення з глобальних змінних

І, звісно, визначення локальних змінних шляхом успадкування глобальних змінних також можливе.

{%- set search_date = var("target_date") -%}
select *
from {{ source("students", "student_grades") }}
where updated_at = '{{ search_date }}'

Тоді тут можна використовувати прапорець --vars.

$ dbt compile --vars '{target_date: 2026-02-01}'
Compiled node 'selected_students' is:
select *
from `bluebirz-playground`.`raw`.`student_grades`
where updated_at = '2026-02-01'

Підсумок

  • Визначайте глобальні змінні за допомогою ключа vars у dbt_project.yml.
  • Використовуйте глобальні змінні через {{ var("<var>", "<default_value>") }}.
  • Визначайте локальні змінні за допомогою {% set <var> = <value> %} у моделі.
  • Використовуйте локальні змінні через {{ <var> }}.
  • Прапорець --vars призначений для перевизначення змінних під час виконання команд dbt.
  • Фільтри Jinja replace і join, а також цикл for допомагають перетворювати масиви на рядки.

Джерела


ОРИГІНАЛ СТАТТІ: Let’s try: dbt part 9 – variables
АВТОР СТАТТІ: bluebirz

Оригінал опубліковано під ліцензією CC BY 4.0. Цей матеріал є перекладом українською мовою.


Доєднуйтесь до наших спільнот 👇

Залишити відповідь