Dátový inžinier / dátová inžinierka
Čo to znamená
Dátový inžinier stavia cesty, ktorými údaje vo firme tečú. Navrhuje a prevádzkuje dátové toky zo zdrojových systémov do úložísk, stará sa o ich spoľahlivosť a kvalitu a pripravuje údaje do podoby, v ktorej sa dajú analyzovať.
Iné pomenovania: data engineer, inžinier dátových tokov, ETL vývojár, dátová inžinierka.
Popis pozície
Analytik ani model nemajú z čoho pracovať, kým sa údaje nedostanú na jedno miesto v použiteľnej podobe. To je úloha dátového inžiniera: postaviť toky, ktoré pravidelne a spoľahlivo ťahajú údaje zo zdrojových systémov, premieňajú ich a ukladajú do úložiska.
Práca sa od klasického vývoja líši tým, že zlyhania nebývajú hlasné. Zdrojový systém zmení formát stĺpca, prenos prejde bez chyby a do úložiska natečú nesprávne hodnoty. Preto je súčasťou práce kontrola kvality, sledovanie tokov a schopnosť dohľadať, odkiaľ ktorý údaj pochádza.
Voči [BI špecialistovi](/slovnik/business-intelligence-specialista) ide o širší a technickejší záber: okrem klasického dátového skladu sem patria veľké objemy, priebežné spracovanie a cloudové platformy. V menších firmách sú obe pozície jedna a tá istá.
Náplň práce a zodpovednosti
- /0.1Návrh a vývoj dátových tokov zo zdrojových systémov do úložísk.
- /0.2Transformácia a čistenie údajov do analyticky použiteľnej podoby.
- /0.3Prevádzka a sledovanie pravidelných prenosov vrátane riešenia zlyhaní.
- /0.4Kontrola kvality údajov a nastavenie upozornení na odchýlky.
- /0.5Návrh a správa dátových úložísk vrátane cloudových.
- /0.6Optimalizácia nákladov a výkonu spracovania veľkých objemov.
- /0.7Dokumentácia pôvodu údajov a ich cesty systémom.
Potrebné zručnosti
- Odborné
- SQL na pokročilej úrovni
- Programovanie, v odbore prevažne v jazyku Python
- Nástroje na tvorbu a plánovanie dátových tokov
- Cloudové dátové platformy a ich cenové správanie
- Návrh dátových modelov pre analytické použitie
- Verzovanie kódu a automatizované nasadzovanie
- Osobnostné
- Predvídanie toho, ako sa zdrojový systém môže zmeniť bez ohlásenia
- Dôslednosť pri kontrole kvality, ktorá nie je vidieť
- Spolupráca s analytikmi na tom, čo naozaj potrebujú
- Nástroje
- Python, SQL, nástroje na dátové toky, cloudové dátové platformy, Git
Vzdelanie a prax
- /0.1Vysokoškolské vzdelanie informatického alebo technického smeru je bežné.
- /0.2Do odboru sa prechádza z BI, z backendu alebo z analytiky.
- /0.3Rozhoduje preukázateľná skúsenosť s prevádzkovanými dátovými tokmi.
Nejde o typickú vstupnú pozíciu. Predchádza jej prax v analytike, v BI alebo vo vývoji, samostatnosť po dvoch až troch rokoch.
Kariérna cesta
- Odkiaľ sa prichádza
- BI špecialista · Backend programátor · Dátový analytik
- Kam sa dá postúpiť
- Dátový architekt · Vedúci dátového tímu · Data Scientist · DevOps Engineer
Časté otázky
- Čo robí dátový inžinier?
- Stavia a prevádzkuje dátové toky zo zdrojových systémov do úložísk: navrhuje transformácie, sleduje pravidelné prenosy, rieši ich zlyhania, kontroluje kvalitu údajov a spravuje dátové úložiská.
- Aký je rozdiel medzi dátovým inžinierom a BI špecialistom?
- BI špecialista sa sústreďuje na klasický dátový sklad a reportingovú vrstvu. Dátový inžinier má širší a technickejší záber vrátane veľkých objemov, priebežného spracovania a cloudových platforiem. V menších firmách je to tá istá pozícia.
- Koľko zarába dátový inžinier na Slovensku?
- Nástupná mzda sa pohybuje okolo 1 700 € v hrubom, po zapracovaní okolo 2 800 € a skúsený inžinier sa dostáva k 4 400 € aj vyššie.
- Prečo je kontrola kvality údajov taká dôležitá?
- Pretože chyby v dátových tokoch bývajú tiché. Zdrojový systém zmení formát, prenos prejde bez chybového hlásenia a do úložiska natečú nesprávne hodnoty, ktoré sa objavia až vo výkazoch alebo v modeloch.
