L'era del Big Data parlem amb Joan Navarro

El Big Data s'està convertint en un tema candent, i el seu impacte en la indústria i en la societat són ja innegables. Cada dia, augmenta el nombre de dades disponibles. Dades que es tradueixen en informació valuosa i amb la qual podem impactar en qualsevol decisió de millora. 

Dr. Joan Navarro, professional expert en anàlisi i processament massiu de dades i coordinador del Màster Universitari de Dades Massives (Big Data) de La Salle-URL ens avança les tendències i qüestions més demandades del sector. 

No t'ho perdis! 

El Big Data en el món empresarial 

Els nostres dispositius, l'empremta digital i el rastre que deixem en navegar per Internet ens donen informació que, degudament emmagatzemada, analitzada i tractada, ens ajuda a millorar la presa de decisions empresarials. 

Poder estudiar i aconseguir informació rellevant sobre el negoci, és –probablement– un dels majors avanços tecnològics desenvolupats fins avui. 

Aquest gran volum de dades no es pot obviar, s'ha d'explotar.”

- Joan Navarro, coordinador del Màster Universitari en Enginyeria de Dades Massives (Big Data)

Per a tenir uns coneixements avançats i individualitzats dels nostres clients, millorar l'eficiència operativa de la nostra empresa i/o aconseguir noves oportunitats basades en l'anàlisi sistemàtica de les dades es requereixen unes infraestructures específiques i unes tecnologies concretes per a treballar amb grans volums de dades (Big Data). Els últims estudis del mercat laboral indiquen l'augment en la necessitat d'incloure perfils capacitats per al disseny i explotació de sistemes altament escalables que permetin l'anàlisi i l'extracció de grans volums de dades. 

Però com processem aquesta gran quantitat de dades per a poder aconseguir-ho? 

El cicle de vida de les dades – un procés continu de neteja i anàlisi 

El cicle de vida de les dades és el conjunt d'etapes per les quals passa l'enginyer de dades des que obté la informació fins que la processa i l'explota. 

Emmagatzemant-les, processant-les, Analitzant-les i tractant-les adequadament, podem impactar en la millora de la presa de decisions empresarials.”

- Joan Navarro, coordinador del Màster Universitari en Enginyeria de Dades Massives (Big Data)

En el procés, cada etapa s'analitza en qualitat, seguretat, privacitat i accessos entre altres, per a assegurar la naturalesa i fiabilitat de la informació i millorar la presa de decisions empresarials. 

• Adquisició de dades: Les dades poden ser generats per qualsevol dispositiu digital: telèfons intel·ligents, xarxes socials, transaccions comercials, enquestes... I/o també poden ser adquirits per fonts externes, com a bases de dades públiques o privades, proveïdors de dades o serveis de tercers. Aquesta fase requereix l'ús de tecnologies que permetin enllaçar les fonts de generació de dades amb la infraestructura d'emmagatzematge i processament. 
• Emmagatzematge de dades: Una vegada capturats, les dades s'emmagatzemen en diferents tipus d'infraestructura (per exemple, bases de dades NoSQL, data lakes allotjats en núvols públics i/o privades) per a facilitar i optimitzar el seu posterior processament. Aquest emmagatzematge ha de ser segur, escalable i accessible per als usuaris que els tractin. 
• Processament de dades: En aquesta fase, es converteixen les dades en informació útil mitjançant l'ús de tècniques altament escalables per al processament paral·lel i distribuït de dades. Com a resultat d'aquesta fase, les dades—ara informació—ja estan llestos per a ser mostrats de manera intel·ligible mitjançant quadres de comandament o informes d'alt nivell. Aquest processament pot realitzar-se en temps real, en lots o mitjançant l'exploració contínua. Això requereix crear un ecosistema tecnològic que sigui capaç de processar grans volums de dades. 
• Anàlisi de dades: En aquesta fase s'analitza de manera sistemàtica la informació valuosa de les dades usant tècniques estadístiques, mineria de dades, aprenentatge automàtic i anàlisi predictiva. Els resultats d'aquesta anàlisi permetran prendre decisions basades en fets, i per tant millorar i identificar les oportunitats o la resolució de problemes. 
• Distribució de dades: Finalment, una vegada que les anàlisis estan disponibles, aquests poden usar-se per a la seva anàlisi empresarial, i ser aprofitats en la presa de decisions. La gestió dels permisos d'accés i la privacitat de les dades són fonamentals en aquesta etapa. 

El cicle de vida de les dades és un procés continu que hem de gestionar acuradament en cadascuna de les seves etapes per a poder obtenir el màxim partit de les dades que es tinguin disponibles. 

Perspectives en l'era del Big Data - Joan Navarro 

La importància de poder conèixer i analitzar les dades que ens proporciona l'empremta digital que generem com a individus en societat creix cada vegada més. Les empreses lluiten per aconseguir la informació i adaptar-se així a les noves necessitats de mercat. 

En aquest post parlem amb Joan Navarro, expert en Big Data i coordinador del Màster Universitari en Enginyeria de Dades Massives (Big Data) de La Salle-URL, on ens avança els desafiaments i eines que faciliten l'anàlisi de dades. 

Quins són els majors desafiaments en el maneig i la gestió de grans conjunts de dades, i com s'aborden? 

El primer desafiament d'una empresa és conèixer les eines que realment necessita per a solucionar els seus reptes. Hem de conèixer les tecnologies que estan disponibles en el mercat i quines són les seves fortaleses i febleses. Moltes vegades les empreses s'enfronten a una immensa quantitat d'alternatives que pot resultar aclaparadora. Per això, és necessari que les organitzacions avaluïn les seves necessitats per a invertir en l'eina que millor s'ajusti a les seves necessitats. 

També hem de ser conscients de la quantitat de dades que podem arribar a obtenir, així podrem dissenyar les millors estratègies per a garantir la seva seguretat i privacitat, així com el seu emmagatzematge i processament. 

Dissenyar les infraestructures adequades per a treballar amb Big Data i mantenir-les en el temps—aplicant constants actualitzacions i modernitzant-les concorde a l'incessant progrés tecnològic—també és un dels grans desafiaments actualment. Moltes de les eines tecnològiques disponibles en l'actualitat encara no estan madures, i sovint, apareixen incompatibilitats a l'hora d'integrar-les amb altres sistemes. Per tant, és fonamental comptar amb personal especialitzat i en constant formació. 

Com s'estan utilitzant les eines de Big Data per a analitzar i predir tendències en diferents indústries? 

Les tecnologies i eines que utilitzem en cadascuna de les fases del cicle de dades seran diferents, depenent de l'objectiu i funcionalitat. Per exemple: 

• Infraestructures – Actualment existeixen molts proveïdors de serveis (Google Cloud, Microsoft Azure, Amazon Web Services, …) en el núvol (cloud computing) que ofereixen un ampli ventall de serveis per a emmagatzemar i processar grans volums de dades. 
• Processament de dades – Per a processar les dades traient el màxim partit a la infraestructura que els emmagatzema, existeixen diverses alternatives com Hadoop, Apatxe Spark, Disc, Hydra… 
• Business Intelligence – De nou, hem de triar l'eina que millor s'ajusti a les necessitats empresarials, i en aquest cas hi ha una forta dependència amb les tecnologies que ja estiguin desplegades en l'empresa. Existeixen diferents eines com Power BI, Oracle Business Intelligence, Tableau, Qlik... 
• Analítica – En aquesta etapa existeixen eines molt consolidades com a R, SAS, o Matlab. Per a l'anàlisi de grans volums de dades existeixen llibreries específiques (per exemple, tensorflow, pytorch) que permeten explotar les prestacions computacionals del sistema (GPUs). 

Quines són les tendències emergents en l'anàlisi de Big Data, i que perfils sol·liciten les empreses? 

La principal tendència emergent és capturar tantes dades com sigui possible. Encara que no es puguin explotar de moment; el principal serà comptar amb una tecnologia i infraestructura que ens permeti emmagatzemar-les. 

Les empreses necessiten perfils adequats que siguin capaços de donar resposta a aquesta necessitat. L'avanç tecnològic és indiscutible i hem d'estar preparats. Actualment trobem dos tipus de perfils principals en aquest àmbit: 

Perfils verticals – especialistes centrats en cadascuna de les 4 fases del cicle de vida de les dades. 

• Perfil d'arquitecte de dades, especialista disseny i gestió de la infraestructura de dades amb l'objectiu assegurar que les dades estiguin disponibles, siguin segurs, estiguin ben organitzats, siguin fàcils d'accedir i utilitzar, i s'integrin de manera efectiva amb altres aplicacions i sistemes empresarials. 
• Perfil d'analista de dades, especialista en el processament eficient i escalable de dades per a la seva organització, neteja i anàlisi. 
• Perfil de consultor en business intelligence, especialista en el disseny, implementació i gestió de solucions tecnològiques que permetin presentar informació empresarial per a prendre decisions estratègiques. 
• Perfil de data scientist: especialista en el modelatge de grans conjunts de dades complexes utilitzant tècniques avançades d'anàlisis i aprenentatge automàtic. 

Perfil horitzontal – 

• Enginyer de dades: aquest tipus de perfil és un especialista en el disseny, construcció, manteniment i optimització de sistemes de gestió i processament de dades. Per tant, té els coneixements necessaris per a resoldre problemes i aportar valor en les 4 fases del cicle de vida de les dades. 

Formació contínua en Big Data i anàlisi de dades – La Salle-URL 

El sector tecnològic en l'àmbit de les dades està en complet auge. La demanda de perfils qualificats no deixa de créixer i les empreses requereixen experts capaços d'analitzar i treure conclusions de les dades. Segons un estudi publicat per McKinsey, s'espera que el camp del Big data generi més de 2 milions de llocs de treball –als EUA– en els pròxims anys. 

Per a treballar en el sector del Big Data, es requereix una formació específica en àrees com l'estadística, la programació, l'enginyeria informàtica, la intel·ligència artificial, entre altres i les oportunitats d'ocupació es troben en diferents àrees com a banca, màrqueting, salut... 

Si estàs pensant a impulsar la teva carrera professional en un sector en ple creixement, La Salle-URL compta amb el Màster Universitari en Enginyeria de Dades Massives (Big Data), dissenyat per a estudiants que busquen iniciar la seva carrera en el camp com per a professionals que volen actualitzar les seves habilitats tecnològiques. 

Amb el màster, cobriràs les tecnologies utilitzades al llarg del cicle de vida de les dades –infraestructura, programari, extracció i explotació de dades, mineria...– obrint un nou ventall de possibilitats laborals en el sector. 

Descobreix La Salle-URL! 

MÀSTER UNIVERSITARI EN ENGINYERIA DE DADES MASSIVES (BIG DATA)

Descobreix La Salle-URL!