Спільнота dbt — один із головних чинників, чому розробники люблять dbt. Тепер ми можемо знаходити сторонні пакети, які підвищують продуктивність і швидкість розробки.
Список статей
- Спробуймо dbt. Частина 1 — пролог
- Спробуймо dbt. Частина 2 — перший запуск
- Спробуймо dbt. Частина 3 — seed і source
- Спробуймо dbt. Частина 4 — матеріалізація моделей
- Спробуймо dbt. Частина 5 — від Jinja до макросів і хуків
- Спробуймо dbt. Частина 6 — snapshots і analyses
- Спробуймо dbt. Частина 7 — тести
- Спробуймо dbt. Частина 8 — DAG і документація
- Спробуймо dbt. Частина 9 — змінні
- Спробуймо dbt. Частина 10 — пакети
- Спробуймо dbt. Частина 11 — SQLFluff і Pre-Commit
Пакети dbt
Пакети (packages) — це зовнішні проєкти dbt, які можна встановити у власні проєкти й повторно використовувати для різних функцій.
Пакети можна знайти в хабі dbt: https://hub.getdbt.com
А тепер скористаємося одним із пакетів.
1. Визначаємо пакети
Починаємо зі створення файлу packages.yml у кореневій директорії, там само, де лежить dbt_project.yml, як у прикладі нижче.
packages:
- package: dbt-labs/dbt_utils
version: 1.1.02. Встановлюємо пакети
Виконуємо команду dbt deps, щоб установити й оновити пакети відповідно до packages.yml.
$ dbt deps
19:12:54 Running with dbt=1.9.2
19:12:55 Updating lock file in file path: /path/to/dbt-project/package-lock.yml
19:12:55 Installing dbt-labs/dbt_utils
19:12:55 Installed from version 1.1.0
19:12:55 Updated version available: 1.4.1
19:12:55
19:12:55 Updates available for packages: ['dbt-labs/dbt_utils']
Update your versions in packages.yml, then run dbt depsПовідомлення означає, що вийшла нова версія пакета, і її можна вказати в packages.yml.
3. Використовуємо пакети
Тепер у нас є пакет dbt-labs/dbt_utils. Він надає багато корисних функцій.
Наприклад, dbt_utils.not_null_proportion перевіряє, чи потрапляє частка непорожніх значень у полі в заданий діапазон. Перевіряємо, що непорожніх значень щонайменше 95 %, як показано нижче.
version: 2
models:
- name: calc_grades
columns:
- name: id
tests:
- dbt_utils.not_null_proportion:
at_least: 0.95
- name: name
- name: subject
- name: grade
- name: updated_at
Запускаємо dbt test і бачимо, що тест не пройшов, бо в полі id понад 5 % значень null.
$ dbt test
19:52:48 Running with dbt=1.9.2
19:52:48 Registered adapter: bigquery=1.9.1
19:52:49 Found 7 models, 1 seed, 1 test, 2 sources, 606 macros
19:52:49
19:52:49 Concurrency: 4 threads (target='dev')
19:52:49
19:52:50 1 of 1 START test dbt_utils_not_null_proportion_calc_grades_0_95__id ........... [RUN]
19:52:52 1 of 1 FAIL 1 dbt_utils_not_null_proportion_calc_grades_0_95__id ............... [FAIL 1 in 1.75s]
19:52:52
19:52:52 Finished running 1 test in 0 hours 0 minutes and 2.88 seconds (2.88s).
19:52:52
19:52:52 Completed with 1 error, 0 partial successes, and 0 warnings:
19:52:52
19:52:52 Failure in test dbt_utils_not_null_proportion_calc_grades_0_95__id (models/schema.yml)
19:52:52 Got 1 result, configured to fail if != 0
19:52:52
19:52:52 compiled code at target/compiled/dbt-project/models/schema.yml/dbt_utils_not_null_proportion_calc_grades_0_95__id.sql
19:52:52
19:52:52 Done. PASS=0 WARN=0 ERROR=1 SKIP=0 TOTAL=1Цікаві пакети
Ось кілька пакетів dbt, які варто розглянути для своїх проєктів. Набагато більше пакетів можна знайти в хабі за посиланням вище.
- dbt-labs/codegen — генерує код dbt.
- brooklyn-data/dbt_artifacts — моделювання метаданих dbt.
- dbt-labs/dbt_utils — службові функції для проєктів dbt.
- elementary-data/elementary — виявляє аномалії, відстежує якість даних і будує таблиці метаданих.
- metaplane/dbt_expectations — розгортає тести на кшталт Great Expectations (GE) безпосередньо у сховищі даних за допомогою dbt.
- dbt-labs/dbt_external_tables — макроси dbt для підготовки (staging) зовнішніх джерел.
- kristeligt-dagblad/dbt_ml — навчання, аудит і використання моделей BigQuery ML.
Підсумок
- Пакети визначаємо у файлі
packages.ymlпід ключемpackages. - Пакети встановлюємо й оновлюємо командою
dbt deps.
ОРИГІНАЛ СТАТТІ: Let’s try: dbt part 10 – packages
АВТОР СТАТТІ: bluebirz
Оригінал опубліковано під ліцензією CC BY 4.0. Цей матеріал є перекладом українською мовою.
Доєднуйтесь до наших спільнот 👇
