Parfois, les volumes de données deviennent à ce point incontrôlables que les entreprises sont incapables de tout conserver. Mais ne pas le faire coûte aussi des opportunités. Un streaming data lake d’Hydrolix leur évite ce choix cornélien.
Hydrolix est une entreprise basée à Portland, Oregon. Data News a récemment rencontré son CEO Bruce Gilpin, dans le cadre de l’IT Press Tour. Hydrolix est spécialisée dans les services liés à l’observabilité et aux streaming data lakes. « Parfois, les volumes sont tels qu’il n’est tout simplement plus possible de stocker toutes les données », explique Marty Kagan. « Résultat : les entreprises sont contraintes de se débarrasser de grandes quantités de données », poursuit-il
Streaming data lake
Hydrolix résout ce problème grâce à un streaming data lake. Un streaming data lake possède toutes les caractéristiques d’un lac de données « ordinaire » où les entreprises stockent leurs données brutes, mais est spécifiquement adapté à l’afflux de log streams ou de gros volumes de données – jusqu’à des centaines de téraoctets par jour. Il s’agit notamment des flux de données provenant des médias sociaux. « Regrouper ces flux sur Azure ? La plateforme n’est pas suffisamment extensible. »
Hydrolix a construit une solution sur Kubernetes qui permet de comprimer grandement ces énormes volumes de données (par un facteur de vingt à cinquante) et de les stocker dans le cloud, où ils restent disponibles et interrogeables. Le point de départ était l’accent mis sur l’observabilité, avec une foule d’applications de monitoring qui crachent un flux incessant de logs. « Nous travaillons notamment pour des entreprises de médias », explique Marty Kagan. « Grâce à notre solution centrée sur l’observabilité, pas un seul problème n’est resté caché ou irrésolu pour ces entreprises pendant les Jeux olympiques. »
Conserver aussi les données brutes
Bien qu’Hydrolix ait vu le jour dans le monde de l’observabilité, l’approche s’est ainsi avérée convenir au stockage d’autres grandes quantités de données. Hydrolix permet de conserver les données brutes pendant une longue période. Pour de nombreux secteurs, notamment dans les médias, il s’agit souvent d’un énorme défi. « Les entreprises travaillent avec leurs données brutes. Mais si vous ne sauvegardez pas ces données brutes, vous perdez énormément de contexte avec le temps. De plus, il n’est plus possible de revenir à ces données brutes. »
Par exemple, seul le résumé d’un événement diffusé en streaming sur les médias sociaux est alors conservé, mais pas les images brutes. Alors que c’est l’essentiel. « Prenez une campagne publicitaire sur les médias sociaux. Les entreprises vont également souhaiter conserver les données brutes, pas seulement les informations agrégées », souligne Marty Kagan. « Car il est parfois choquant de constater que de grandes marques ne captent pas les données des événements qu’elles diffusent juste parce que cela s’avère techniquement irréalisable – ou tout simplement beaucoup trop cher. »
Compliance
Hydrolix offre la possibilité de le faire et ainsi de ne manquer aucune opportunité. En même temps, cette solution permet de respecter plus aisément la législation. « La loi impose à de nombreuses organisations de conserver leurs données brutes pendant une longue période. Pensez aux entreprises actives dans les télécommunications ou la finance. » La différence de prix proposée par Hydrolix à cet égard est significative. « Pour le budget qu’elle consacre à la conservation d’un volume de données X pendant trois jours, une entreprise peut obtenir 15 mois de stockage chez nous, par exemple. »
Vous avez repéré une erreur ou disposez de plus d’infos? Signalez-le ici