Il Data Engineer si occupa di raffinare e quindi di elaborare i dati raccolti. Ha, perciò, il compito di rendere fruibili, disponibili e di qualità i dati connessi al business aziendale. Per fare questo è necessario che individui la gestione dei processi, le possibilità e i rischi e che monitori tutti i fenomeni connessi all’azienda. Per svolgere al meglio questa professione sono indispensabili competenze tecniche. Quest’ultime si devono completare con una ferrata conoscenza delle modalità di rappresentazione delle informazioni, di integrazione della logica dei dati provenienti da fonti diverse – sia esterne sia interne all’azienda – e di costruzione della realtà attraverso gli stessi.
L’obiettivo principale del Data Engineer sarà quello di scegliere soluzioni ottimali da utilizzare per lavorare sulla raccolta, l’archiviazione e l’elaborazione di enormi set di dati. Nonché di mantenerle, implementarle e monitorarle, ma sarà anche responsabile dell’integrazione delle soluzioni con l’architettura utilizzata in tutta l’azienda.
Hard skills
Il candidato ideale per il ruolo di Data Engineer deve avere:
- conoscenza di varie tecniche e framework ETL, come Flume;
- competenza nello sviluppo di software utilizzando Java, Spring, Hibernate, REST, Angular;
- buona conoscenza degli strumenti di query sui Big Data, come Hive e Impala;
- competenze di base della struttura e/o organizzazione logica della base di dati;
- esperienza con i sistemi di messaggistica, come Kafka o RabbitMQ;
- conoscenze di base sulle attività Dev-ops;
- dimestichezza in ambienti RDBMS;
- padronanza della Shell di Unix o Linux;
- conoscenza dei servizi web (programmazione API, REST);
- esperienza con database NoSQL, come HBase, Cassandra, Elastic Search;
- conoscenza di database relazionali e SQL;
- esperienza con Cloudera;
- conoscenza di Linux, GIT, strumenti di automazione (ad es. Jenkins);
- esperienza con Spark.
Soft skills
Le caratteristiche personali che la futura risorsa deve avere per questa professione sono:
- ottima conoscenza della lingua inglese;
- disponibilità a viaggiare all’estero frequentemente;
- lavorare in modo efficiente alla guida dei progetti;
- capacità di team work.
Professione Data Engineer: titoli di studio più richiesti
Per questo profilo professionale sono solitamente richieste Lauree in Informatica, Ingegneria Informatica o in campi affini.