¿Qué es un Data Engineer?

Los ingenieros de datos se encargan principalmente de transformar los datos a un formato que se pueda analizar fácilmente. Esto lo llevan a cabo desarrollando, manteniendo y probando infraestructuras para la generación de datos. Los ingenieros de datos trabajan en estrecha colaboración con los científicos de datos y son en gran medida responsables de diseñar soluciones para los científicos de datos que les permitan hacer su trabajo.

Los ingenieros de datos tienen por lo general una licenciatura en ciencias de la computación, tecnología de la información o matemáticas aplicadas, así como algunas certificaciones de ingeniería de datos como Ingeniero de datos certificado de IBM o Profesional certificado de Google. Además, los ingenieros de datos poseen multitud de aptitudes técnicas y la capacidad de abordar los problemas de manera creativa.

¿Cuáles son las funciones de un Data Engineer?
  • Crear y mantener una arquitectura óptima de canalización de datos,
  • Reunir conjuntos de datos grandes y complejos que cumplan con los requisitos comerciales funcionales y no funcionales.
  • Identificar, diseñar e implementar mejoras en los procesos internos: automatizar procesos manuales, optimizar la entrega de datos, rediseñar la infraestructura para lograr una mayor escalabilidad, etc.
  • Crear la infraestructura necesaria para la extracción, transformación y carga óptimas de datos de una amplia variedad de fuentes de datos utilizando tecnologías de "macrodatos" de SQL y AWS.
  • Crear herramientas de análisis que utilicen la canalización de datos para proporcionar información útil sobre la adquisición de clientes, la eficiencia operativa y otras métricas clave de rendimiento empresarial.
  • Trabajar con las partes interesadas, incluidos los equipos ejecutivo, de productos, de datos y de diseño, para ayudar con problemas técnicos relacionados con los datos y respaldar sus necesidades de infraestructura de datos.
  • Mantener nuestros datos separados y seguros a través de las fronteras nacionales mediante múltiples centros de datos y regiones de AWS.
  • Crear herramientas de datos para los integrantes de los equipos de análisis y científicos de datos que les ayuden a crear y optimizar nuestro producto para convertirlo en un líder innovador de la industria.
  • Trabajar con expertos en datos y análisis para procurar lograr una mayor funcionalidad en nuestros sistemas de datos.
¿Cuáles son las competencias típicas de un Data Engineer?
  • Conocimientos práctico avanzados de SQL y experiencia de trabajo con bases de datos relacionales, creación de consultas (SQL) y familiaridad de trabajo con diversas bases de datos.
  • Experiencia en la creación y optimización de canalizaciones, arquitecturas y conjuntos de datos de "macrodatos".
  • Experiencia en la realización de análisis de la causa raíz en datos y procesos internos y externos para responder a preguntas comerciales específicas e identificar oportunidades de mejora.
  • Sólidas aptitudes analíticas relacionadas con el trabajo con conjuntos de datos no estructurados.
  • Creación de procesos que respalden la transformación de datos, las estructuras de datos, los metadatos, la dependencia y la gestión de la carga de trabajo.
  • Un historial satisfactorio de manipulación, procesamiento y extracción de valor de grandes conjuntos de datos desconectados.
  • Conocimiento práctico de la puesta en cola de mensajes, el procesamiento de transmisiones y los almacenes de datos de "macrodatos" altamente escalables.
  • Sólidas dotes organizativas y de gestión de proyectos.
  • Experiencia en el apoyo y el trabajo con equipos multifuncionales en un entorno dinámico.
  • Buscamos un candidato con más de 5 años de experiencia en un puesto de ingeniero de datos, con un título de posgrado en informática, estadística, informática, sistemas de información u otro campo cuantitativo. También debe tener experiencia en el uso de las siguientes herramientas/software:
    • Experiencia con herramientas de macrodatos: Hadoop, Spark, Kafka, etc.
    • Experiencia con bases de datos relacionales SQL y NoSQL, incluidas Postgres y Cassandra.
    • Experiencia con herramientas de gestión de flujo de trabajo y canalización de datos: Azkaban, Luigi, Airflow, etc.
    • Experiencia con los servicios en la nube de AWS: EC2, EMR, RDS, Redshift
    • Experiencia con sistemas de procesamiento de transmisión: Storm, Spark-Streaming, etc.
    • Experiencia con lenguajes de scripting orientados a objetos/funciones de objetos: Python, Java, C ++, Scala, etc.
Conciliación de la vida laboral y personal
3,5 ★
Rango salarial--
Proyección profesional
3,6 ★
Experiencia media--

Sueldos de Data Engineer

Sueldo base promedio

35.257 € /año
Igual a la media nacional
Sin incluir la remuneración en efectivo
Ver más particularidades
24 mil €
Media: 35 mil €
52 mil €
Ver más particularidades
Sueldo estimado de Glassdoor

Entrevistas de Data Engineer

Empleos de Data Engineer