IBM mise à fond sur Apache Spark, le software open source de traitement de grands gisements de données. L’on parle d’un investissement de centaines de millions de dollars par an, selon Bret Smith, directeur de la division des applications d’analyse chez IBM.
Spark a été développé pour pouvoir traiter plus rapidement les quantités de données générées par les applications Big Data. Selon l’Apache Foundation, qui contrôle le développement de l’application, Spark s’avère 10 fois plus rapide que la combinaison traditionnelle Hadoop – MapReduce lors du traitement des données se trouvant sur disque. Lorsque ces données sont chargées dans la mémoire, Spark est même 100 fois plus véloce. Spark accepte également une autre méthode qu’Hadoop pour l’utilisation de systèmes informatiques en grappe (cluster).
IBM mise à présent complètement sur cette technique de traitement des données. Elle va intégrer Spark à ses plates-formes Analytics et Commerce, proposer Spark sous forme de service sur sa plate-forme ‘cloud’ Bluemix et elle va aussi l’appliquer dans son Watson Health Cloud. En outre, IBM va rendre son logiciel d’apprentissage machine SystemML disponible en tant que software open source et va collaborer avec Databricks en vue d’incorporer la reconnaissance de modèles dans Spark.
De plus, 3.500 des collaborateurs d’IBM exécuteront des projets liés à Spark, alors qu’un Spark Technology Center spécial s’ouvrira à San Francisco. Ce dernier occupera au début 20 personnes pour en arriver à terme à 300, d’après les attentes. IBM s’est aussi fixé comme but de former 1 millions de spécialistes des données à Spark. (Source: Automatiseringgids)
