Основи, а не яскраві інструменти

Привіт, майбутні зірки інженерії даних! Давайте розпакуємо загальну головоломку, з якою ви можете зіткнутися: навігація в лабіринті інструментів та технологій для інженерії даних.

Ви роздумуєте, чи варто занурюватися у Spark або Snowflake?

Роздумуєте над Python чи Scala?

Намагаєтесь обрати між Airflow чи Argo, Flink чи Spark Streaming, AWS чи GCP, Superset чи Tableau?

Я розумію, це заплутано!

Ось основна ідея:

“Зосередьтеся на основах, а не тільки на яскравих інструментах“

---

Розуміння суті, а не лише інструментів

Фундаментальна річ #1: розуміння розподілених обчислень важливіше, ніж вибір між Spark та Snowflake:

Йдеться про те, як керувати та обробляти величезні масиви даних, а не лише про те, який інструмент використовувати.

Що таке розподілені обчислення?

Уявіть, що у вас є великий пазл, і замість того, щоб намагатися вирішити його самостійно, ви звертаєтеся за допомогою до друзів. Кожен друг бере частину пазла і працює над нею. Коли всі закінчать, ви складаєте всі шматочки разом.

В цьому і полягає суть розподілених обчислень – розбиття великих завдань на менші, розподіл їх між кількома комп’ютерами (або вузлами), а потім об’єднання результатів.

Ключові поняття розподілених обчислень

1. Вузли (Node) та кластери:

• Ноди: Це окремі комп’ютери в розподіленій системі.
  
• Кластери: Група вузлів, що працюють разом, називається кластером.

Уявіть собі вузли як працівників, а кластер – як команду.

2. Паралельна обробка:

• Це схоже на багатозадачність. Замість того, щоб один комп’ютер виконував всю роботу (послідовно), кілька завдань виконуються одночасно різними комп’ютерами.

3. Відмовостійкість і надмірність:

• У розподіленій системі, якщо один вузол виходить з ладу, інші можуть його замінити. Це і є відмовостійкість.
  
• Резервування означає наявність додаткових вузлів або копій даних в якості резервної копії.

4. Масштабованість:

• Йдеться про обробку більшого обсягу роботи шляхом додавання нових вузлів. Якщо ваші дані зростають, ваша система також може зростати.

5. Балансування навантаження:

• Йдеться про рівномірний розподіл роботи між вузлами так, щоб жоден вузол не був перевантажений.

Чому розподілені обчислення необхідні в інженерії даних?

1. Робота з великими даними:

• Розподілені обчислення дозволяють ефективно обробляти та аналізувати величезні обсяги даних (Big Data).

2. Швидкість та ефективність:

• Розділивши завдання, ви можете обробляти дані швидше, ніж одна машина.

3. Надійність:

• Якщо один вузол виходить з ладу, інші можуть продовжити роботу, роблячи систему більш надійною.

4. Економічна ефективність:

• Часто економічно вигідніше використовувати кластер недорогих комп’ютерів, ніж один висококласний сервер.

Реальні застосування в інженерії даних

1. Hadoop та Spark:

• Це популярні фреймворки, які використовують розподілені обчислення для обробки даних.

2. Зберігання та пошук даних:

• Такі системи, як Bigtable від Google та DynamoDB від Amazon, використовують розподілені обчислення для ефективного зберігання та пошуку даних.

---

Принцип №2: розуміння, коли використовувати пакетну або потокову обробку, важливіше, ніж вибір між Flink та Spark Streaming:

Важливою є стратегія обробки даних.

Пакетна обробка: Методичний шеф-кухар

Уявіть, що ви шеф-кухар, який готує велике свято. Ви збираєте всі інгредієнти (дані) протягом певного часу, а потім починаєте готувати (обробляти).

Це і є пакетна обробка. Ви обробляєте дані великими, зібраними шматками в запланований час. Йдеться не про швидкість, а про ретельність.

Використовуйте пакетну обробку, коли:

1. Ви нікуди не поспішаєте: якщо аналіз у режимі реального часу не є критично важливим, вам підійде пакетна обробка. Вона ідеально підходить для звітів на кінець дня або щомісячних підсумків.
   
2. Точність переважає над швидкістю: Пакетна обробка може обробляти складні обчислення, для яких потрібні дані з декількох джерел. Це як переконатися, що у вас є всі інгредієнти перед тим, як почати готувати.
   
3. Економічна ефективність: Часто пакетна обробка може бути економічно вигіднішою, особливо коли йдеться про великі обсяги даних, які не потребують негайних дій.

Стрімінг: Кухар швидкого реагування

А тепер уявіть собі кухаря, який готує страви на льоту, коли надходять замовлення.

Це потокова передача даних. Йдеться про обробку даних у режимі реального часу в міру їх надходження. Швидкість і оперативність – ось що тут важливо.

Обирайте стрімінг, коли:

1. Потрібні негайні дії: Якщо ваші дані потребують миттєвих дій (наприклад, виявлення шахрайства у фінансових транзакціях), потокове передавання – це саме те, що треба.
   
2. Безперервне введення: Коли дані генеруються безперервно (наприклад, стрічки соціальних мереж або дані з датчиків), потокова передача гарантує, що ви завжди будете в курсі подій.
   
3. Обробка великих, непередбачуваних робочих навантажень: Потокове передавання може краще впоратися з непередбачуваними потоками даних, адаптуючись до потоку в міру його надходження.

Вибір правильного підходу

Подумайте про свої цілі щодо даних.

Якщо вам потрібно проаналізувати величезні обсяги накопичених даних для отримання всебічної інформації, пакетна обробка – ваш союзник. З іншого боку, якщо ви маєте справу з даними, чутливими до часу, які потребують негайної уваги, потокова обробка виходить на перший план.

---

Фундаментальна #3: Принципи програмування проти Scala/Python:

Дебати між Scala та Python відходять на другий план перед розумінням функціонального та об’єктно-орієнтованого програмування.

Саме ці основи програмування роблять вас універсальним у сфері інженерії даних.

Функціональне програмування: Точний інструмент

Функціональне програмування (ФП) – це прецизійний інструмент у вашому арсеналі.

Воно наголошує на використанні чистих функцій – думайте про них як про передбачувані машини, де однакові входи завжди дають однакові результати, не змінюючи жодного стану за межами функції. Це робить ваш код більш передбачуваним і легшим для налагодження.

Ключові аспекти функціонального програмування:

1. Незмінність: Після створення структури даних не змінюються. Це схоже на використання інгредієнтів у рецепті без зміни їхньої початкової форми.
   
2. Безстатусність: ФП уникає спільних станів і покладається на незмінні дані, що призводить до меншої кількості помилок, особливо в системах, де дані проходять через різні частини програми.
   
3. Функції вищого порядку: Це функції, які приймають інші функції як параметри або повертають їх як результати. Це як мати головний рецепт, який може змінювати і використовувати інші рецепти різними способами.

Навіщо використовувати ФП в інженерії даних?

1. Передбачуваність і легке налагодження: Завдяки чистим функціям ви можете легко прогнозувати результати та налагоджувати проблеми.
   
2. Паралельність: Незмінність даних і бездержавність FP роблять його ідеальним інструментом для паралельних операцій, що має вирішальне значення при обробці великих масивів даних.

Об’єктно-орієнтоване програмування: Структурований органайзер

Об’єктно-орієнтоване програмування (ООП) – це як структурований органайзер для вашого коду.

Йдеться про створення об’єктів – наборів даних і методів, які представляють щось у вашому додатку. Уявіть собі кожен об’єкт як міні-робота, запрограмованого на виконання певних завдань і зберігання певної інформації.

Основні поняття об’єктно-орієнтованого програмування:

1. Інкапсуляція: Це об’єднання даних і методів, які працюють з ними, в одному блоці або об’єкті. Це як капсула, що містить все необхідне для виконання конкретного завдання.
   
2. Успадкування: Об’єкти можуть успадковувати властивості та поведінку від інших об’єктів, створюючи ієрархію. Це схоже на генеалогічне дерево, де ознаки передаються у спадок.
   
3. Поліморфізм: Це дозволяє розглядати об’єкти як екземпляри батьківського класу, а не як власне клас. Уявіть собі, що це різні інструменти, які мають однаковий інтерфейс, але виконують свої унікальні дії.

Переваги ООП в інженерії даних:

1. Модульність: Розбиття складних систем на керовані об’єкти полегшує їх розуміння, розробку та підтримку.
   
2. Можливість повторного використання: Об’єкти та класи можна повторно використовувати в різних частинах програми, заощаджуючи час та зусилля.
   
3. Чітка структура: ООП забезпечує чітку структуру вашого коду, що полегшує навігацію та масштабування.

Об’єднуємо зусилля в інженерії даних

В інженерії даних мають місце як функціональне, так і об’єктно-орієнтоване програмування.

Використовуйте ФП для завдань, які вимагають високого рівня передбачуваності та паралельності.
ООП, з його акцентом на модульність і повторне використання, відмінно підходить для структурування великих систем і додатків.

---

Основи #4: Основи розгортання хмарних сервісів проти AWS/GCP:

Розуміння, як пайплайни розгортаються в хмарі, важливіше, ніж вибір між AWS та GCP.

Йдеться про розуміння хмарної інфраструктури та способів її найкращого використання.

Розуміння хмарної інфраструктури

Хмарна інфраструктура – це віртуальні технології та ресурси, які складають хмарні обчислення.

Уявіть собі це як великий пул ресурсів (таких як сервери, сховища, бази даних, мережі, програмне забезпечення), до яких ви можете отримати доступ через Інтернет.

Ключові компоненти хмарної інфраструктури:

1. Обчислювальна потужність: сюди входять сервери та віртуальні машини. Так само, як ваш ноутбук або настільний комп’ютер, але вони розташовані у віддалених центрах обробки даних.
   
2. Сховище: Хмарне сховище дозволяє зберігати дані та отримувати до них доступ через Інтернет, пропонуючи масштабованість та безпеку.
   
3. Робота в мережі: Включає в себе віртуальні мережеві ресурси, які дозволяють безпечно підключати хмарні сервіси та користувачів.
   
4. Бази даних: Хмарні бази даних забезпечують гнучкість і легку масштабованість, необхідні для ефективного управління великими масивами даних.

Як найкраще використовувати хмарну інфраструктуру

1. Масштабованість: Хмару можна легко масштабувати відповідно до ваших потреб. Використовуйте її для проектів, які мають різне робоче навантаження або мають зростати з часом.
   
2. Економічність: Платіть за те, що використовуєте. Хмара чудово підходить для проектів, де ви хочете контролювати витрати – не потрібно інвестувати у фізичне обладнання.
   
3. Гнучкість і доступність: Доступ до даних і додатків з будь-якого місця. Це ідеально підходить для віддалених команд або якщо вам потрібно надавати послуги в різних географічних регіонах.
   
4. Аварійне відновлення та резервне копіювання: Використовуйте хмару для резервного копіювання даних та аварійного відновлення. Це набагато простіше і надійніше, ніж традиційні методи.
   
5. Експерименти та інновації: Хмара забезпечує ідеальне середовище для експериментів з новими ідеями, оскільки ви можете швидко налаштовувати та демонтувати системи без значних інвестицій.

Поради щодо навігації в хмарі

1. Розуміти різні моделі надання послуг: Знати різницю між IaaS (інфраструктура як послуга), PaaS (платформа як послуга) та SaaS (програмне забезпечення як послуга). Кожна з них має свій унікальний варіант використання.
   
2. Безпека та комплаєнс: Завжди надавайте пріоритет безпеці. Зрозумійте модель спільної відповідальності – поки хмарні провайдери захищають інфраструктуру, ви несете відповідальність за безпеку ваших даних.
   
3. Контролюйте та оптимізуйте витрати: Слідкуйте за своїм використанням та витратами. Використовуйте інструменти хмарних сервісів для оптимізації та скорочення витрат.
   
4. Будьте в курсі трендів: Хмарні технології швидко розвиваються. Будьте в курсі нових послуг та функцій.

Хмарна інфраструктура змінює правила гри в інженерії даних. Вона пропонує гнучкість, масштабованість і безліч сервісів, які можна адаптувати до ваших конкретних потреб.

Незалежно від того, чи ви невеликий стартап, чи велике підприємство, розуміння та ефективне використання хмарної інфраструктури може вивести ваші проекти з обробки даних на нові висоти. Тож, використовуйте хмару, експериментуйте та спостерігайте за тим, як зростають ваші можливості роботи з даними!

---

Принцип №5: Зрозуміла візуалізація даних за допомогою інструментів:

Здатність створювати чіткі та ефективні візуалізації даних важливіша за інструмент, який ви використовуєте, будь то Tableau чи Superset чи PowerBI.

Мова йде про передачу інсайтів, а не лише про програмне забезпечення.

Мистецтво передачі інсайтів про дані

1. Зрозумійте свою аудиторію: Перш ніж зануритися в дані, запитайте себе, хто є вашою аудиторією. Це технічні експерти чи нефахівці? Керівники чи клієнти? Розуміння їхньої точки зору і того, що вони цінують найбільше, допоможе адаптувати ваше повідомлення для максимального впливу.

2. Перетворіть дані на історії: Люди створені для історій. Перетворіть свої інсайти з даних на розповіді. Замість того, щоб просто представити цифри, поясніть, що ці цифри означають у реальному світі. Як вони впливають на вашу аудиторію? Що ці цифри розповідають про тенденції, виклики чи можливості?

3. Спрощуйте, але не перебільшуйте: Ваша мета – зробити складні дані зрозумілими, але не за рахунок точності. Уникайте жаргону, але переконайтеся, що основний зміст ваших даних не загубився через спроби спрощення.

4. Використовуйте візуальні ефекти з розумом: Добре складена діаграма чи графік можуть передати те, що не можуть передати абзаци тексту. Використовуйте візуальні елементи, щоб підтримати вашу розповідь, але пам’ятайте, що вони не повинні бути перевантажені. Кожен візуальний елемент має слугувати чіткій меті.

5. Зосередьтеся на ключових висновках: Що ви хочете, щоб ваша аудиторія запам’ятала або діяла? Виділіть ці моменти. Незалежно від того, чи це важлива тенденція, несподіваний інсайт або терміновий заклик до дії, переконайтеся, що ці елементи виділяються.

6. Запрошуйте до участі: Заохочуйте запитання та дискусії. Це не лише гарантує, що ваша аудиторія зрозуміла вашу ідею, але й сприяє створенню атмосфери співпраці. Будьте відкриті до зворотного зв’язку і готові заглибитися в аспекти, які цікавлять вашу аудиторію.

7. Практикуйте емпатію: Поставте себе на місце вашої аудиторії. Як би ви відреагували на дані на їхньому місці? Такий емпатичний підхід може допомогти вам обрати правильний тон, рівень деталізації та стиль презентації.

Інструменти – це лише початок

Пам’ятайте, що інструменти та програмне забезпечення – це лише відправна точка. Вони як інструменти в оркестрі – важливо те, як ви використовуєте їх для створення симфонії.

Ваша здатність ефективно ділитися інсайтами може перетворити дані на дії та рішення, подолавши розрив між цифрами та реальним впливом.

---

Принцип №6: розуміння розкладу пайплайнів та угод про рівень обслуговування (SLA) важливіше, ніж вибір між Airflow та Argo:

Йдеться про надійність та ефективність ваших процесів обробки даних.

Розуміння планування конвеєра

1. Що таке планування роботи пайплайнів?

• Уявіть собі конвеєрний графік як розклад для ваших процесів обробки даних. Він визначає, коли і як часто повинні виконуватися ваші завдання з обробки даних.

Подібно до того, як розклад руху поїздів гарантує, що вони будуть ходити за розкладом, планування конвеєрів забезпечує ефективне та надійне виконання ваших завдань з обробки даних.

2. Чому це важливо?

• Правильне планування запобігає виникненню вузьких місць. Це гарантує, що дані безперебійно проходять через ваші системи, а ресурси використовуються оптимально.

Це як координувати дорожній рух у жвавому місті, щоб уникнути заторів.

3. Основні міркування:

– Частота: Вирішіть, як часто повинні працювати ваші трубопроводи. Це може бути щогодини, щодня або щотижня, залежно від ваших потреб у даних.

– Залежності: Деякі завдання залежать від виконання інших. Розуміння цих залежностей має вирішальне значення для уникнення помилок і затримок.

– Розподіл ресурсів: Переконайтеся, що ваш розклад узгоджується з доступними обчислювальними ресурсами, щоб запобігти перевантаженню систем.

Угоди про рівень обслуговування (SLA (Service Level Agreement))

1. Що таке SLA?

– SLA – це як обіцянки, які ви даєте своїм користувачам щодо продуктивності та надійності ваших сервісів передачі даних. Вони встановлюють очікування щодо таких речей, як час обробки даних та час безперебійної роботи системи.

2. Важливість SLA в інженерії даних:

– Угоди про рівень обслуговування будують довіру. Дотримуючись ваших SLA, ви запевняєте користувачів, що вони можуть покладатися на ваші системи обробки даних. Йдеться про підтримку постійного рівня обслуговування.

3. Управління SLA:

– Чіткі показники: Визначте чіткі, вимірювані цілі (наприклад, час обробки не повинен перевищувати 2 години).

– Моніторинг: Регулярно контролюйте свої системи, щоб переконатися, що ви дотримуєтеся SLA.

– Спілкування: Будьте прозорими зі своїми користувачами, особливо якщо ви очікуєте порушення SLA.

За межами інструментів: Зосередження на процесі та ефективності

Хоча такі інструменти, як Airflow або Argo, є важливими, вони є лише засобом для досягнення мети.

Справжня майстерність полягає в тому, як ви керуєте цими інструментами, щоб підтримувати ефективні та надійні конвеєри даних.

– Автоматизація: Використовуйте інструменти для автоматизації планування та моніторингу завдань, але не забувайте періодично переглядати та коригувати ці автоматизації відповідно до зміни потреб у даних.

– Кращі практики: Будьте в курсі найкращих галузевих практик в управлінні проектами та виконанні SLA.

– Гнучкість: Будьте готові адаптувати свої стратегії в міру того, як ваше середовище даних і потреби бізнесу змінюються.

Висновок: Серце надійної роботи з даними

Підсумовуючи, можна сказати, що розуміння та ефективне управління графіками та угодами про рівень обслуговування є основою успіху будь-якої операції з інженерії даних.

Справа не лише в тому, який інструмент ви використовуєте, але й у тому, як ви його використовуєте, щоб забезпечити надійність, ефективність і достовірність ваших процесів обробки даних. Враховуючи ці аспекти, ви станете відокремленим інженером даних, який не просто працює з інструментами, а дійсно сприяє успіху, заснованому на даних.

---

Адаптація до змін:

Сила фундаментальних понять Розуміння цих фундаментальних понять озброює вас здатністю до адаптації.

Технології в інженерії даних постійно розвиваються.

Якщо ви добре розумієте базові принципи, адаптація до нових інструментів і технологій стане легкою справою.

Пам’ятайте, що у швидкоплинному світі інженерії даних мова йде не про новітні інструменти чи програмне забезпечення. Йдеться про вічні принципи, які лежать в їх основі.

Зосередившись на цих ключових концепціях, ви налаштуєте себе на довгостроковий успіх, будете готові орієнтуватися та адаптуватися до постійно мінливого технологічного ландшафту.

Отже, зануртеся в основи. Вони – ваш справжній компас у захоплюючій подорожі інженерії даних!

Зараз я працюю над книгою, в якій детально викладаю всі ці основи.

Залишайтеся на зв’язку, підписавшись на розсилку, щоб отримувати ранні пропозиції, коли я опублікую книгу.

---

⭐️ Мій магазин Gumroad: https://codewarepam.gumroad.com/

Підпишіться на мою розсилку, щоб регулярно отримувати безкоштовні електронні книги, тренди в галузі штучного інтелекту та кейси з науки про дані. Підпишіться зараз!

https://ai-codehub.beehiiv.com/?source=post_page—–ef066b0a3adb——————————–

Електронна книга-бестселер:

50+ найкращих ChatGPT-персонажів для індивідуальних інструкцій

Безкоштовні електронні книги:

1. Опановуємо мистецтво швидкого інжинірингу
   
2. Топ 50+ ефективних підказок ChatGPT для аналітиків даних
   
3. Оволодіння ідеальними підказками з мистецтва ШІ: 50+ найкращих підказок
   
4. 200+ найкращих авторських підказок
   
5. Доменна майстерність для аспірантів даних

ОРИГІНАЛ СТАТТІ:How to Break into Data Engineering : 2024

АВТОР СТАТІ:Richard Warepam

🚀Долучайтесь до нашої спільноти Telegram:

• Data Life UA
• Group Data Analysis UA
• Group Data Engineering UA

🚀Долучайтесь до нашої спільноти FaceBook:

• Data Life UA

🚀Долучайтесь до нашої спільноти Twiter X:

• X