Dátový inžinier / dátová inžinierka

Čo to znamená

Dátový inžinier stavia cesty, ktorými údaje vo firme tečú. Navrhuje a prevádzkuje dátové toky zo zdrojových systémov do úložísk, stará sa o ich spoľahlivosť a kvalitu a pripravuje údaje do podoby, v ktorej sa dajú analyzovať.

Iné pomenovania: data engineer, inžinier dátových tokov, ETL vývojár, dátová inžinierka.

Popis pozície

Analytik ani model nemajú z čoho pracovať, kým sa údaje nedostanú na jedno miesto v použiteľnej podobe. To je úloha dátového inžiniera: postaviť toky, ktoré pravidelne a spoľahlivo ťahajú údaje zo zdrojových systémov, premieňajú ich a ukladajú do úložiska.

Práca sa od klasického vývoja líši tým, že zlyhania nebývajú hlasné. Zdrojový systém zmení formát stĺpca, prenos prejde bez chyby a do úložiska natečú nesprávne hodnoty. Preto je súčasťou práce kontrola kvality, sledovanie tokov a schopnosť dohľadať, odkiaľ ktorý údaj pochádza.

Voči [BI špecialistovi](/slovnik/business-intelligence-specialista) ide o širší a technickejší záber: okrem klasického dátového skladu sem patria veľké objemy, priebežné spracovanie a cloudové platformy. V menších firmách sú obe pozície jedna a tá istá.

Náplň práce a zodpovednosti

  1. /0.1Návrh a vývoj dátových tokov zo zdrojových systémov do úložísk.
  2. /0.2Transformácia a čistenie údajov do analyticky použiteľnej podoby.
  3. /0.3Prevádzka a sledovanie pravidelných prenosov vrátane riešenia zlyhaní.
  4. /0.4Kontrola kvality údajov a nastavenie upozornení na odchýlky.
  5. /0.5Návrh a správa dátových úložísk vrátane cloudových.
  6. /0.6Optimalizácia nákladov a výkonu spracovania veľkých objemov.
  7. /0.7Dokumentácia pôvodu údajov a ich cesty systémom.

Potrebné zručnosti

Odborné
  • SQL na pokročilej úrovni
  • Programovanie, v odbore prevažne v jazyku Python
  • Nástroje na tvorbu a plánovanie dátových tokov
  • Cloudové dátové platformy a ich cenové správanie
  • Návrh dátových modelov pre analytické použitie
  • Verzovanie kódu a automatizované nasadzovanie
Osobnostné
  • Predvídanie toho, ako sa zdrojový systém môže zmeniť bez ohlásenia
  • Dôslednosť pri kontrole kvality, ktorá nie je vidieť
  • Spolupráca s analytikmi na tom, čo naozaj potrebujú
Nástroje
Python, SQL, nástroje na dátové toky, cloudové dátové platformy, Git

Vzdelanie a prax

  1. /0.1Vysokoškolské vzdelanie informatického alebo technického smeru je bežné.
  2. /0.2Do odboru sa prechádza z BI, z backendu alebo z analytiky.
  3. /0.3Rozhoduje preukázateľná skúsenosť s prevádzkovanými dátovými tokmi.

Nejde o typickú vstupnú pozíciu. Predchádza jej prax v analytike, v BI alebo vo vývoji, samostatnosť po dvoch až troch rokoch.

Kariérna cesta

Odkiaľ sa prichádza
BI špecialista · Backend programátor · Dátový analytik
Kam sa dá postúpiť
Dátový architekt · Vedúci dátového tímu · Data Scientist · DevOps Engineer

Časté otázky

Čo robí dátový inžinier?
Stavia a prevádzkuje dátové toky zo zdrojových systémov do úložísk: navrhuje transformácie, sleduje pravidelné prenosy, rieši ich zlyhania, kontroluje kvalitu údajov a spravuje dátové úložiská.
Aký je rozdiel medzi dátovým inžinierom a BI špecialistom?
BI špecialista sa sústreďuje na klasický dátový sklad a reportingovú vrstvu. Dátový inžinier má širší a technickejší záber vrátane veľkých objemov, priebežného spracovania a cloudových platforiem. V menších firmách je to tá istá pozícia.
Koľko zarába dátový inžinier na Slovensku?
Nástupná mzda sa pohybuje okolo 1 700 € v hrubom, po zapracovaní okolo 2 800 € a skúsený inžinier sa dostáva k 4 400 € aj vyššie.
Prečo je kontrola kvality údajov taká dôležitá?
Pretože chyby v dátových tokoch bývajú tiché. Zdrojový systém zmení formát, prenos prejde bez chybového hlásenia a do úložiska natečú nesprávne hodnoty, ktoré sa objavia až vo výkazoch alebo v modeloch.