24. Oktober 2020

Berater/Big Data Engineer für Spark/Hadoop (m/w/d)

Helden-Profil

Als Big Data Engineer für Spark/Hadoop befasst du dich mit der Architektur von Data Lakes, Batch und Streaming Pipelines.

Du hilfst dem Kunden dabei, die 5 V’s (Volume, Velocity, Variety, Veracity, Value) zu meistern, und den Dschungel aus Big Data Tools zu durchqueren. Du findest das richtige Tool bzw. die richtige Datenbank für den Job.

Du arbeitest interdisziplinär mit einer Vielzahl an unterschiedlichen Technologien. Java bildet eine solide Basis. Gelegentlich kommt auch Python zum Einsatz, gerade in Verbindung mit den SDKs. Linux Grundlagen und die Bash/Shell sind dir ebenfalls vertraut.

Du musst nicht alles können, aber bereit sein zu lernen und Wissen aufzusaugen, wie ein Schwamm.

Voraussetzungen

  • Linux
  • Java oder Python
  • Maven
  • Git
  • JSON
  • SQL

Zielbild / Technologie-Stack

  • Hadoop / AWS EMR / Google Dataproc / Azure HDInsight
  • HBase
  • Cassandra
  • Avro/Parquet
  • Kafka
  • Spark
  • Python
  • AWS, GCP oder Azure SDK

Jetzt bewerben