Щоб привести всі скрипти в нашій кодовій базі до єдиного стандарту, ми інтегруємо форматувальник SQL, який форматує їх і виконує перевірки перед розгортанням.
Список статей
- Спробуймо dbt. Частина 1 — пролог
- Спробуймо dbt. Частина 2 — перший запуск
- Спробуймо dbt. Частина 3 — seed і source
- Спробуймо dbt. Частина 4 — матеріалізація моделей
- Спробуймо dbt. Частина 5 — від Jinja до макросів і хуків
- Спробуймо dbt. Частина 6 — snapshots і analyses
- Спробуймо dbt. Частина 7 — тести
- Спробуймо dbt. Частина 8 — DAG і документація
- Спробуймо dbt. Частина 9 — змінні
- Спробуймо dbt. Частина 10 — пакети
- Спробуймо dbt. Частина 11 — SQLFluff і Pre-Commit
SQLFluff — форматувальник
SQLFluff — чудовий інструмент для форматування SQL-скриптів. Після налаштування він форматуватиме кожен SQL-файл, покращуючи читабельність, а ми можемо налаштувати його відповідно до стандартів команди.
Встановлення
Оскільки ми працюємо з dbt, потрібно встановити SQLFluff і шаблонізатор SQLFluff для dbt (sqlfluff-templater-dbt). Робимо це так:
# pip
pip install sqlfluff sqlfluff-templater-dbt
sqlfluff --version
# uv
uv add sqlfluff sqlfluff-templater-dbt
uv run sqlfluff --versionЯкщо встановлення завершилося успішно, має коректно вивестися номер версії.
Базове використання
Тепер у нас є команда sqlfluff. Вона має кілька підкоманд, але я зазвичай користуюся lint і fix.
lint
lint перевіряє, чи відповідає код правилам форматування. Нижче наведено приклад виводу lint: відображаються номер рядка (Line), позиція (Position), код правила (LT) та опис.
# sqlfluff installed via pip
sqlfluff lint # check any errors in sql format
# sqlfuff installed via uv
uv run sqlfluff lint # check any errors in sql format$ uv run sqlfluff lint models/mart/weekly_avg_cases_per_country.sql
=== [dbt templater] Sorting Nodes...
=== [dbt templater] Compiling dbt project...
=== [dbt templater] Project Compiled.
== [models/mart/weekly_avg_cases_per_country.sql] FAIL
L: 4 | P: 5 | LT05 | Line is too long (131 > 80).
| [layout.long_lines]
L: 4 | P: 30 | LT01 | Unexpected whitespace before 'partition' keyword.
| [layout.spacing]
All Finished 📜 🎉!fix
fix знаходить порушення і виправляє ті, що можна виправити автоматично.
# sqlfluff installed via pip
sqlfluff fix # format the sql files
# sqlfuff installed via uv
uv run sqlfluff fix # format the sql files$ uv run sqlfluff fix models/mart/weekly_avg_cases_per_country.sql
==== finding fixable violations ====
=== [dbt templater] Sorting Nodes...
=== [dbt templater] Compiling dbt project...
=== [dbt templater] Project Compiled.
== [models/mart/weekly_avg_cases_per_country.sql] FAIL
L: 4 | P: 5 | LT05 | Line is too long (130 > 80).
| [layout.long_lines]
L: 4 | P: 30 | LT01 | Unexpected whitespace before 'partition' keyword.
| [layout.spacing]
== [models/mart/weekly_avg_cases_per_country.sql] FIXED
2 fixable linting violations foundНалаштування SQLFluff
Формат і правила для sqlfluff можна налаштувати на рівні проєкту.
Припустімо, структура тек проєкту виглядає так.
.
├── .sqlfluff <<-- SQLfluff configs
├── .sqlfluffignore <<-- SQLFluff ignore files
├── README.md
└─── dbt-bq
├── analyses
├── logs
├── macros
├── models
├── seeds
├── snapshots
└── testsВміст .sqlfluff можна написати так.
[sqlfluff]
dialect = bigquery
templater = dbt
runaway_limit = 10
max_line_length = 80
indent_unit = space
large_file_skip_byte_limit = 30000
[sqlfluff:indentation]
tab_space_size = 4
[sqlfluff:layout:type:comma]
spacing_before = touch
line_position = trailing
[sqlfluff:rules:capitalisation.keywords]
capitalisation_policy = lower
[sqlfluff:rules:aliasing.table]
aliasing = explicit
[sqlfluff:rules:aliasing.column]
aliasing = explicit
[sqlfluff:rules:aliasing.expression]
allow_scalar = False
[sqlfluff:rules:capitalisation.identifiers]
extended_capitalisation_policy = lower
[sqlfluff:rules:capitalisation.functions]
capitalisation_policy = lower
[sqlfluff:rules:capitalisation.literals]
capitalisation_policy = lower
[sqlfluff:rules:ambiguous.column_references] # Number in group by
group_by_and_order_by_style = implicit
[sqlfluff:templater:dbt]
project_dir = dbt-bq
profile_dir = dbt-bqТакож можна виключити файли й теки з перевірки sqlfluff, створивши файл .sqlfluffignore.
dbt-bq/reports
dbt-bq/target
dbt-bq/dbt_packages
dbt-bq/macros
.venvPre-commit — перевірка перед комітом
І друге: pre-commit — це інструмент, який перевіряє всі потрібні ресурси, перш ніж ми надішлемо зміни в репозиторій.
Про pre-commit автор писав в окремому дописі
Приклад конфігурації
У цьому прикладі використано dbt-checkpoint і sqlfluff, щоб перевіряти всі ресурси та формат.
# yaml-language-server: $schema=https://www.schemastore.org/pre-commit-config.json
repos:
- repo: https://github.com/dbt-checkpoint/dbt-checkpoint
rev: v2.0.6
hooks:
- id: check-script-has-no-table-name
files: ^dbt_bq/models/
- id: check-script-ref-and-source
files: ^dbt_bq/models/
- id: check-model-has-properties-file
files: ^dbt_bq/models/
- id: check-model-columns-have-desc
files: ^dbt_bq/models/
- id: check-model-has-description
files: ^dbt_bq/models/
- id: check-model-has-contract
files: ^dbt_bq/models
- id: check-macro-has-description
files: ^dbt_bq/macros/
- id: check-macro-arguments-have-desc
files: ^dbt_bq/macros/
- repo: https://github.com/sqlfluff/sqlfluff
rev: "3.4.1"
hooks:
- id: sqlfluff-lint
additional_dependencies:
- "dbt-bigquery"
- "sqlfluff-templater-dbt"
args:
- --config=.sqlfluff
- id: sqlfluff-fix
additional_dependencies:
- "dbt-bigquery"
- "sqlfluff-templater-dbt"
args:
- --config=.sqlfluffПідсумок
sqlfluffформатує SQL-скрипти:sqlfluff lintперевіряє наявність помилок;sqlfluff fixвиправляє помилки.
pre-commitперевіряє зміни перед надсиланням у репозиторій:dbt-checkpointперевіряє ресурси dbt;sqlfluffперевіряє формат SQL.
Джерела
- Лінтинг і форматування коду | dbt Developer Hub
- Налаштування конфігурації — документація SQLFluff
- Довідник правил — документація SQLFluff
ОРИГІНАЛ СТАТТІ: Let’s try: dbt part 11 – SQLFluff & Pre-Commit
АВТОР СТАТТІ: bluebirz
Оригінал опубліковано під ліцензією CC BY 4.0. Цей матеріал є перекладом українською мовою.
Доєднуйтесь до наших спільнот 👇
