Let`s try: dbt Частина 11 — SQLFluff і Pre-Commit

Щоб привести всі скрипти в нашій кодовій базі до єдиного стандарту, ми інтегруємо форматувальник SQL, який форматує їх і виконує перевірки перед розгортанням.


Список статей
  1. Спробуймо dbt. Частина 1 — пролог
  2. Спробуймо dbt. Частина 2 — перший запуск
  3. Спробуймо dbt. Частина 3 — seed і source
  4. Спробуймо dbt. Частина 4 — матеріалізація моделей
  5. Спробуймо dbt. Частина 5 — від Jinja до макросів і хуків
  6. Спробуймо dbt. Частина 6 — snapshots і analyses
  7. Спробуймо dbt. Частина 7 — тести
  8. Спробуймо dbt. Частина 8 — DAG і документація
  9. Спробуймо dbt. Частина 9 — змінні
  10. Спробуймо dbt. Частина 10 — пакети
  11. Спробуймо dbt. Частина 11 — SQLFluff і Pre-Commit

SQLFluff — форматувальник

SQLFluff — чудовий інструмент для форматування SQL-скриптів. Після налаштування він форматуватиме кожен SQL-файл, покращуючи читабельність, а ми можемо налаштувати його відповідно до стандартів команди.

SQLFluff
Лінтер SQL для людей
🔗 sqlfluff.com
SQLFluff

Встановлення

Оскільки ми працюємо з dbt, потрібно встановити SQLFluff і шаблонізатор SQLFluff для dbt (sqlfluff-templater-dbt). Робимо це так:

# pip 
pip install sqlfluff sqlfluff-templater-dbt
sqlfluff --version

# uv 
uv add sqlfluff sqlfluff-templater-dbt
uv run sqlfluff --version

Якщо встановлення завершилося успішно, має коректно вивестися номер версії.

Базове використання

Тепер у нас є команда sqlfluff. Вона має кілька підкоманд, але я зазвичай користуюся lint і fix.

lint

lint перевіряє, чи відповідає код правилам форматування. Нижче наведено приклад виводу lint: відображаються номер рядка (Line), позиція (Position), код правила (LT) та опис.

# sqlfluff installed via pip 
sqlfluff lint # check any errors in sql format

# sqlfuff installed via uv
uv run sqlfluff lint # check any errors in sql format
$ uv run sqlfluff lint models/mart/weekly_avg_cases_per_country.sql
=== [dbt templater] Sorting Nodes...
=== [dbt templater] Compiling dbt project...
=== [dbt templater] Project Compiled.
== [models/mart/weekly_avg_cases_per_country.sql] FAIL                                                                                                                 
L:   4 | P:   5 | LT05 | Line is too long (131 > 80).
                       | [layout.long_lines]
L:   4 | P:  30 | LT01 | Unexpected whitespace before 'partition' keyword.
                       | [layout.spacing]
All Finished 📜 🎉!

fix

fix знаходить порушення і виправляє ті, що можна виправити автоматично.

# sqlfluff installed via pip 
sqlfluff fix  # format the sql files

# sqlfuff installed via uv
uv run sqlfluff fix  # format the sql files
$ uv run sqlfluff fix models/mart/weekly_avg_cases_per_country.sql
==== finding fixable violations ====
=== [dbt templater] Sorting Nodes...
=== [dbt templater] Compiling dbt project...
=== [dbt templater] Project Compiled.
== [models/mart/weekly_avg_cases_per_country.sql] FAIL                                                                                                                 
L:   4 | P:   5 | LT05 | Line is too long (130 > 80).
                       | [layout.long_lines]
L:   4 | P:  30 | LT01 | Unexpected whitespace before 'partition' keyword.
                       | [layout.spacing]
== [models/mart/weekly_avg_cases_per_country.sql] FIXED
2 fixable linting violations found

Налаштування SQLFluff

Формат і правила для sqlfluff можна налаштувати на рівні проєкту.

Припустімо, структура тек проєкту виглядає так.

.
├── .sqlfluff         <<-- SQLfluff configs 
├── .sqlfluffignore   <<-- SQLFluff ignore files
├── README.md
└─── dbt-bq
   ├── analyses
   ├── logs
   ├── macros
   ├── models
   ├── seeds
   ├── snapshots
   └── tests

Вміст .sqlfluff можна написати так.

[sqlfluff]
dialect = bigquery
templater = dbt
runaway_limit = 10
max_line_length = 80
indent_unit = space
large_file_skip_byte_limit = 30000

[sqlfluff:indentation]
tab_space_size = 4

[sqlfluff:layout:type:comma]
spacing_before = touch
line_position = trailing

[sqlfluff:rules:capitalisation.keywords]
capitalisation_policy = lower

[sqlfluff:rules:aliasing.table]
aliasing = explicit

[sqlfluff:rules:aliasing.column]
aliasing = explicit

[sqlfluff:rules:aliasing.expression]
allow_scalar = False

[sqlfluff:rules:capitalisation.identifiers]
extended_capitalisation_policy = lower

[sqlfluff:rules:capitalisation.functions]
capitalisation_policy = lower

[sqlfluff:rules:capitalisation.literals]
capitalisation_policy = lower

[sqlfluff:rules:ambiguous.column_references] # Number in group by
group_by_and_order_by_style = implicit

[sqlfluff:templater:dbt]
project_dir = dbt-bq
profile_dir = dbt-bq

Також можна виключити файли й теки з перевірки sqlfluff, створивши файл .sqlfluffignore.

dbt-bq/reports
dbt-bq/target
dbt-bq/dbt_packages
dbt-bq/macros
.venv

Pre-commit — перевірка перед комітом

І друге: pre-commit — це інструмент, який перевіряє всі потрібні ресурси, перш ніж ми надішлемо зміни в репозиторій.

Про pre-commit автор писав в окремому дописі

Let’s try: pre-commit before you commit
Переконайтеся, що зміни чисті й готові до надсилання в Git
bluebirz bluebirz

Приклад конфігурації

У цьому прикладі використано dbt-checkpoint і sqlfluff, щоб перевіряти всі ресурси та формат.

# yaml-language-server: $schema=https://www.schemastore.org/pre-commit-config.json
repos:
  - repo: https://github.com/dbt-checkpoint/dbt-checkpoint
    rev: v2.0.6
    hooks:
      - id: check-script-has-no-table-name
        files: ^dbt_bq/models/
      - id: check-script-ref-and-source
        files: ^dbt_bq/models/
      - id: check-model-has-properties-file
        files: ^dbt_bq/models/
      - id: check-model-columns-have-desc
        files: ^dbt_bq/models/
      - id: check-model-has-description
        files: ^dbt_bq/models/
      - id: check-model-has-contract
        files: ^dbt_bq/models

      - id: check-macro-has-description
        files: ^dbt_bq/macros/
      - id: check-macro-arguments-have-desc
        files: ^dbt_bq/macros/

  - repo: https://github.com/sqlfluff/sqlfluff
    rev: "3.4.1"
    hooks:
      - id: sqlfluff-lint
        additional_dependencies:
          - "dbt-bigquery"
          - "sqlfluff-templater-dbt"
        args:
          - --config=.sqlfluff
      - id: sqlfluff-fix
        additional_dependencies:
          - "dbt-bigquery"
          - "sqlfluff-templater-dbt"
        args:
          - --config=.sqlfluff

Підсумок

  • sqlfluff форматує SQL-скрипти:
    • sqlfluff lint перевіряє наявність помилок;
    • sqlfluff fix виправляє помилки.
  • pre-commit перевіряє зміни перед надсиланням у репозиторій:
    • dbt-checkpoint перевіряє ресурси dbt;
    • sqlfluff перевіряє формат SQL.

Джерела


ОРИГІНАЛ СТАТТІ: Let’s try: dbt part 11 – SQLFluff & Pre-Commit
АВТОР СТАТТІ: bluebirz

Оригінал опубліковано під ліцензією CC BY 4.0. Цей матеріал є перекладом українською мовою.


Доєднуйтесь до наших спільнот 👇

Залишити відповідь