Let`s try: dbt Частина 10 — пакети

Спільнота dbt — один із головних чинників, чому розробники люблять dbt. Тепер ми можемо знаходити сторонні пакети, які підвищують продуктивність і швидкість розробки.


Список статей
  1. Спробуймо dbt. Частина 1 — пролог
  2. Спробуймо dbt. Частина 2 — перший запуск
  3. Спробуймо dbt. Частина 3 — seed і source
  4. Спробуймо dbt. Частина 4 — матеріалізація моделей
  5. Спробуймо dbt. Частина 5 — від Jinja до макросів і хуків
  6. Спробуймо dbt. Частина 6 — snapshots і analyses
  7. Спробуймо dbt. Частина 7 — тести
  8. Спробуймо dbt. Частина 8 — DAG і документація
  9. Спробуймо dbt. Частина 9 — змінні
  10. Спробуймо dbt. Частина 10 — пакети
  11. Спробуймо dbt. Частина 11 — SQLFluff і Pre-Commit

Пакети dbt

Пакети (packages) — це зовнішні проєкти dbt, які можна встановити у власні проєкти й повторно використовувати для різних функцій.

Пакети можна знайти в хабі dbt: https://hub.getdbt.com

А тепер скористаємося одним із пакетів.

1. Визначаємо пакети

Починаємо зі створення файлу packages.yml у кореневій директорії, там само, де лежить dbt_project.yml, як у прикладі нижче.

packages:
  - package: dbt-labs/dbt_utils
    version: 1.1.0

2. Встановлюємо пакети

Виконуємо команду dbt deps, щоб установити й оновити пакети відповідно до packages.yml.

$ dbt deps

19:12:54  Running with dbt=1.9.2
19:12:55  Updating lock file in file path: /path/to/dbt-project/package-lock.yml
19:12:55  Installing dbt-labs/dbt_utils
19:12:55  Installed from version 1.1.0
19:12:55  Updated version available: 1.4.1
19:12:55  
19:12:55  Updates available for packages: ['dbt-labs/dbt_utils']                 
Update your versions in packages.yml, then run dbt deps

Повідомлення означає, що вийшла нова версія пакета, і її можна вказати в packages.yml.

3. Використовуємо пакети

Тепер у нас є пакет dbt-labs/dbt_utils. Він надає багато корисних функцій.

Наприклад, dbt_utils.not_null_proportion перевіряє, чи потрапляє частка непорожніх значень у полі в заданий діапазон. Перевіряємо, що непорожніх значень щонайменше 95 %, як показано нижче.

version: 2

models:
  - name: calc_grades
    columns:
      - name: id
        tests:
          - dbt_utils.not_null_proportion:
              at_least: 0.95
      - name: name
      - name: subject
      - name: grade
      - name: updated_at

Запускаємо dbt test і бачимо, що тест не пройшов, бо в полі id понад 5 % значень null.

$ dbt test

19:52:48  Running with dbt=1.9.2
19:52:48  Registered adapter: bigquery=1.9.1
19:52:49  Found 7 models, 1 seed, 1 test, 2 sources, 606 macros
19:52:49  
19:52:49  Concurrency: 4 threads (target='dev')
19:52:49  
19:52:50  1 of 1 START test dbt_utils_not_null_proportion_calc_grades_0_95__id ........... [RUN]
19:52:52  1 of 1 FAIL 1 dbt_utils_not_null_proportion_calc_grades_0_95__id ............... [FAIL 1 in 1.75s]
19:52:52  
19:52:52  Finished running 1 test in 0 hours 0 minutes and 2.88 seconds (2.88s).
19:52:52  
19:52:52  Completed with 1 error, 0 partial successes, and 0 warnings:
19:52:52  
19:52:52  Failure in test dbt_utils_not_null_proportion_calc_grades_0_95__id (models/schema.yml)
19:52:52    Got 1 result, configured to fail if != 0
19:52:52  
19:52:52    compiled code at target/compiled/dbt-project/models/schema.yml/dbt_utils_not_null_proportion_calc_grades_0_95__id.sql
19:52:52  
19:52:52  Done. PASS=0 WARN=0 ERROR=1 SKIP=0 TOTAL=1

Цікаві пакети

Ось кілька пакетів dbt, які варто розглянути для своїх проєктів. Набагато більше пакетів можна знайти в хабі за посиланням вище.


Підсумок

  • Пакети визначаємо у файлі packages.yml під ключем packages.
  • Пакети встановлюємо й оновлюємо командою dbt deps.

ОРИГІНАЛ СТАТТІ: Let’s try: dbt part 10 – packages
АВТОР СТАТТІ: bluebirz

Оригінал опубліковано під ліцензією CC BY 4.0. Цей матеріал є перекладом українською мовою.


Доєднуйтесь до наших спільнот 👇

Залишити відповідь