Ce site utilise des cookies. Pour en savoir plus sur notre politique d'utilisation des cookies, cliquez Politique d'utilisation des cookies

Développeur Big Data / spark-cassandra-hadoop H/F - Paris - ILYEUM

Publiée le: 4/13/2018

Résumé de l'offre

  • Type de contrat:
    CDI
  • Lieu:
    Paris
  • Expérience:
    2-5 ans
  • Publiée le:
    4/13/2018

Description de l'offre

La mission se déroulera au sein de la Direction des Systèmes d’Information / Direction de l’ingénierie logicielle / Développements Digitaux de notre client.  

Voici les principales tâches relatives à la mission :

  • Vous participerez à la conception et au chiffrage des user ou « technical stories » à implémenter,
  • Vous coderez les fonctionnalités et les tests unitaires associés dans le respect des normes, de l’ergonomie et des bonnes pratiques d’ingénierie logicielle en vigueur chez notre client. 
  • Vous participerez à l’installation, au tuning et à la bonne exploitation de la plateforme « Big Data » du projet.

Environnement: 

  • Linux CentOS sur Amazon
  • Spark 2.x & Hadoop 2.x
  • Cassandra 3.x
  • Kafka 0.10.x
  • Zeppelin et PowerBI
  • JAVA

Volumétrie de milliers de mobiliers communicants

Profil requis

Compétences requises: 

  • Conception et réalisation de jobs Spark,
  • Programmation en Scala et/ou Java,
  • Utilisation d’un cluster de Cassandra et de Hadoop,
  • Build des fichiers jars avec une IDE [IntellIJ ou Eclipse] et les déployer dans un cluster [AWS, GCP, OVH, …]
  • Expérience réussie dans la manipulation de grosses volumétries de données
  • Bonnes connaissances des commandes des systèmes Linux

Anglais technique (écrit au minimum)

 

Les plus: 

  • Installation et tuning d’un cluster Cassandra et/ou Hadoop
  • Connaissances sur Apache Kafka et les concepts de partitions, shards,
  • Notions de machine learning
  • Connaissance de PowerBI, Zeppelin, et les autres outils de « notebooks » et de « reporting »
  • Expérience en milieu Agile

Intégration continue (Jenkins)