online
Beginner
16 занять
Вт, Сб

Курс Big Data Engineering

00 День днів
00 година годин
00 хвилина хвилин
00 секунда секунд
До початку Почався Незабаром Завершено
13 Травня,
19:15
course-logo

Опис курсу Big Data Engineering 

У сучасному світі, де дані є ключовим активом, фахівці, які вміють ними оперувати – на вагу золота. Хочете розширити свій професійний горизонт та опанувати технології, що визначають майбутнє IT?  

Ми пропонуємо комплексну програму, розроблену експертами-практиками, яка дозволить вам не тільки освоїти передові технології, але й суттєво підвищити свою конкурентоспроможність на ринку праці. Курс Big Data Engineering від Sigma Software University – це стратегічна інвестиція у ваш професійний успіх.

Кому підійде курс Big Data Engineering

Цільова аудиторія курсу охоплює широкий спектр учасників, які мають різний рівень досвіду та мети вивчення та поглиблення своїх знань. Серед можливих учасників можуть бути:

Студенти та випускники

Ті, хто має технічну освіту, випускники та студенти спеціальності Computer Science та суміжних напрямків і зацікавлених у розширенні компетенцій у програмуванні для Big Data.

Професіонали ІТ-галузі

Розробники та фахівці з інформаційних технологій, які хочуть опанувати та/або поглибити свої знання у світі великих даних: від ґрунтовного розуміння стадій Data Lifecycle, до розгляду конкретних технологій (бази дані, хмарні сервіси, візуалізаційні інструменти, машинне навчання, штучний інтелект (AI)), сучасних технік обробки і зберігання та регулювання інформації.

Переваги курсу Big Data Engineering від Sigma Software University

Обравши курс Big Data Engineering, ви отримаєте декілька вагомих переваг, а саме:

Фокус на практичних навичках 

Ми розуміємо, що теорія без практики – недостатня. Саме тому курс побудований таким чином, щоб ви отримали максимум практичного досвіду. Ви будете працювати з реальними кейсами, використовувати сучасні інструменти та технології Big Data, що дозволить одразу застосовувати отримані знання у професійній діяльності. 

Комплексний підхід до Big Data 

Курс охоплює увесь спектр знань, необхідних для успішної роботи з великими даними: від збору та зберігання до обробки, аналізу та візуалізації великих масивів даних. Ви отримаєте цілісне розуміння екосистеми Big Data та зможете ефективно працювати на будь-якому етапі життєвого циклу даних. 

Актуальність та передові технології 

Ми тримаємо руку на пульсі технологічних інновацій. Курс оновлений та відображає останні досягнення в галузі Big Data. Ви будете вивчати технології, які є найбільш затребуваними сьогодні та визначають майбутнє індустрії. Ви матимете змогу ближче познайомитися з компанією Sigma Software, а також дізнатися більше про наші навчальні програми, зокрема курс Python та курс Data Science.

На курсі Big Data Engineering ви: 

  • Здобудете глибинне розуміння концепцій та архітектури Big Data систем 
  • Опануєте інструменти для ефективної обробки, зберігання та аналізу великих обсягів даних 
  • Навчитеся застосовувати Spark, Airflow, Kafka, S3, бази даних, хмарні сервіси AWS та інші ключові технології
  • Зможете створювати конвеєри обробки даних та розробляти аналітичні рішення для різноманітних задач
  • Підвищите свою цінність як фахівця та відкриєте нові кар’єрні можливості. Ви зможете отримати глибокі знання для прийняття ефективних рішень під час проєктування дата-систем, оптимально балансуючи функціональність і вартість цього рішення
  • Отримаєте сертифікат Sigma Software University, що підтвердить ваш професійний рівень у сфері Big Data 

Програма навчання Big Data Engineering

Курс включає 16 занять, що проводяться двічі на тиждень (вівторок та субота) впродовж 3-3.5 місяців. Суботні заняття розпочинаються о 10:00, тривалість кожного заняття – 2 години. Формат навчання – онлайн-лекції з демонстрацією та інтерактивними Q&A сесіями.

Викладачі курсу будуть розглядати наступні теми:

  • Теоретична частина 
  • Історичний екскурс та розвиток даної сфери
  • Загальний огляд ключових підходів до проєктування сучасних систем (архітектура, патерни, підходи)
  • Основні методи зберігання, обробки, аналізу та візуалізації інформації 

Зберігання (HDFS, NoSQL, DBMS, Cloud storages)

Обробка і аналіз (Spark, Glue, Lambda)

– Візуалізація (Notebooks, Grafana)

  • Хмарні системи (AWS)
  • Оркестрація та синхронізація процесів (Airflow)

 

Заняття 1 Основи Big Data
  • Що таке великі дані?
  • Які проблеми вирішує Big Data?
  • Практичні аспекти Big Data
  • Огляд посади Data Engineer та його обов’язки
  • Вступ до стеку технологій Big Data
  • Домашнє завдання: Перевірка навчальних матеріалів
Заняття 2 Огляд платформ даних
  • Основні поняття та глосарій у сфері Data Platforms
  • Вступ до моделювання конвеєрів даних
  • Огляд рівнів обробки та пов’язаних з ними технологій
    • Data storage
    • Data processing
    • Data ingestion
    • Data querying
    • Data visualization
  • Вступ до хмарних концепцій та хмарних обчислень (з акцентом на AWS)
  • Моделі послуг PaaS / IaaS / SaaS
Заняття 3 Отримання та інтеграція даних. Частина 1 
  • Типи обміну даними
    • Ingestion
    • Export
    • Replication
  • Огляд джерел даних
  • Інтеграція та пріоритезація джерел даних  
  • Пакетна інтеграція даних
Заняття 4 Отримання та інтеграція даних. Частина 2 
  • Концепції проєктування Data Lakes
  • Типи інтеграції Pull / Push
  • Архітектурні підходи (Lambda, Kappa, Delta) 
  • Інтеграція даних у реальному часі
  • Інструментарій для отримання потокових даних
Заняття 5 Основи зберігання даних. Частина 1
  • Класифікації сховищ даних
  • Вступ до OLTP, OLAP, DWH
  • Ключові принципи HDFS / Object Stores
  • Загальні поняття про СУБД
  • Огляд баз даних NoSQL
  • Хмарні сховища даних
Заняття 6 Основи зберігання даних. Частина 2
  • Порівняльний аналіз Data Lakes та Data Warehouses 
  • Теорема CAP
  • Огляд форматів даних
  • Концепції розбиття на розділи / шардингу / реплікації
  • Повна та остаточна узгодженість даних
Заняття 7 Основи моделювання даних. Частина 1
  • Основні поняття моделювання даних
  • Моделювання даних в рамках різних типів сховищ
  • Вступ до схеми даних
  • Огляд схем на читання/на запис
Заняття 8 Основи моделювання даних. Частина 2
  • Стратегії пакетування/партиціонування
  • Основи грануляції даних
  • Сховища без схем
  • Обробка запізнень
Заняття 9 Вступ до обробки даних
  • Історичний контекст
  • Вступ до роботи з ETL-конвеєрами
  • Основи моделі Map-Reduce
  • Модель розподіленої обробки та локальність даних  
  • Огляд стеку технологій обробки даних
Заняття 10 Основи обробки даних. Частина 1
  • Основи управління ресурсами
  • Огляд основних фреймворків для обробки даних
  • Концепції пакетної обробки даних
    • Розробка робочих процесів
    • Планування
    • Оркестрування
Заняття 11 Основи обробки даних. Частина 2
  • Семантика гарантії доставки / обробки
  • Концепції обробки потокових даних  
  • Типи розвитку або синхронізації конвеєрів
Заняття 12 Хмарні обчислення. Частина 1
  • Основні хмарні сервіси AWS
  • Ресурси для побудови платформ даних
  • AWS SDK в рамках реалізації конвеєрів даних
  • Інструменти керування AWS CLI
Заняття 13 Хмарні обчислення. Частина 2
  • Огляд конвеєрів даних у хмарі AWS
  • Реєстрація в хмарних рішеннях AWS
  • Моніторинг у хмарних рішеннях AWS
  • Вступ до безперервної інтеграції / безперервного розгортання в AWS
Заняття 14 Запит та візуалізація даних
  • Форми подання даних
  • Вступ до візуалізації даних
  • Поняття вітрин даних, звітів, подань
  • Поняття DWH у сфері звітності
  • Інструменти бізнес-аналітики
  • Автоматизація звітів за допомогою Data Dashboards
  • Дослідження даних за допомогою Notebooks
Заняття 15 Регулювання даних
  • Цілі регулювання даних
  • Процедури управління даними
  • Поняття відстеження даних, лінії зв’язку, версійності
  • Політика збереження даних
  • Поняття безпеки даних/приватності/інформації з обмеженим доступом
  • Інструменти та рішення для регулювання даних
Заняття 16 Підсумкове заняття
  • Обговорення архітектурних ідей
  • Фінальна сесія запитань та відповідей
У разі виникнення будь-яких питань звертайтесь до менеджера Ольги

По завершенні курсу Big Data Engineering ви:

  • Розумітимете основні концептуальні проблеми аналізу, обробки та зберігання великих даних
  • Вмітимете аналізувати та обробляти великі дані у різних форматах за допомогою різних інструментів
  • Вмітимете використовувати актуальне програмне забезпечення для зберігання, аналізу та обробки даних у практичній роботі

Вимоги до учасників курсу Big Data Engineering:

  • Базові знання програмування на одній з мов (Python, Scala, Java тощо)
  • Знання SQL
  • Базові знання роботи операційних систем Linux/Bash
  • Основи роботи з Docker

Розкрийте свій потенціал у Big Data та станьте лідером у цифровій епосі! Разом із Sigma Software University ви зануритесь у світ інженерії даних, аналізу часових рядів та розробки масштабованих інфраструктур. Отримайте знання та вміння, що допоможуть вам стати висококваліфікованим інженером, здатним ухвалювати обґрунтовані стратегічні рішення та впливати на майбутнє галузі!

FAQ

Який рівень англійської потрібен для навчання на курсі по Біг дата?

Щоб онлайн-курс Big Data Engineering пройшов для вас максимально ефективно та успішно, рекомендований рівень знання англійської мови – Intermediate або вище, бо, як вже було сказано вище, на заняттях буде багато використовуватись англійська термінологія. 

Чи є вікові обмеження для проходження курсу?

На нашому курсі немає вікових обмежень – кожна людина, незалежно від віку може прийти на курс та отримати необхідні йому або їй знання.

Чи передбачені програмою курсу практичні заняття?

Так, програма курсу передбачає практичні заняття. Ви матимете можливість застосовувати отримані знання на практиці. 

Чи можу я працювати Big Data-інженером після закінчення курсу з Big Data Engineering?

Курс надає необхідні базові знання та практичні навички для старту кар’єри Junior Big Data-інженера або аналітика Big Data. Однак для успішного працевлаштування ми рекомендуємо продовжувати навчання та набувати практичний досвід.

Скільки часу в тиждень потрібно виділяти для навчання на курсі Big Data Engineering?

Рекомендовано 4-6 годин на тиждень: 4 години лекцій та 2 години самостійної роботи.

ДОЄДНУЙСЯ ЗАРАЗ
ТА НАВЧАЙСЯ З НАМИ!
Дякуємо за
реєстрацію

    Ми отримали ваш запит, наш менеджер найближчим часом зв'яжеться з вами.

    Подати ще одну заявку