La société technologique française se dote de nouvelles capacités techniques pour soutenir son activité
Paris, France – le 24 juin 2015 - Criteo(NASDAQ:CRTO), le leader mondial du marketing à la performance, inaugure ce jour un nouveau data center à Pantin, le second en France et troisième en Europe, après Paris et Amsterdam. Celui-ci hébergera un nouveau cluster Hadoop afin d’augmenter les capacités de calcul et de stockage de Criteo. Par ce nouvel investissement dans son infrastructure, Criteo confirme sa volonté d’avoir toujours un temps d’avance en matière de technologie et de capacités techniques, piliers majeurs de son activité et business model.
Un nouveau cluster et un réseau à l’état de l’art
Ce nouveau data center renforcera la capacité d’hébergement des services Criteo en Europe. Celui-ci sera dédié au hosting d’un nouveau cluster Hadoop.
A l’heure où l’activité de la société explose, ses besoins techniques grandissent tout autant. L’objectif de cette nouvelle infrastructure Hadoop est également d’anticiper les ressources futures qui seront nécessaires pour soutenir et accélérer les calculs du moteur Criteo qui effectue à ce jour plus de 15.000.000 prédictions par seconde. Ce nouveau cluster aura une puissance de calcul répartie sur plus de 10.240 coeurs et un espace de stockage de plus de 61 Pétabytes bruts. Ces nouvelles ressources pourront être utilisées en parallèle des 14.400 coeurs et 39 Pétabytes en ligne actuellement à Amsterdam. Cela représente une puissance de traitement phénoménale et encore rarement atteinte en Europe. Criteo opère en effet à ce jour l’un des plus gros clusters Hadoop privé sur le continent.
Dans le cadre de son activité, la plateforme Hadoop de Criteo rapatrie et stocke plus de 26TB de nouvelles données par jour. Et c’est plus de 9PB de données qui sont traitées quotidiennement.
L’activité de Criteo nécessite par ailleurs une excellente connectivité avec les opérateurs nationaux et internationaux ou encore les différentes régies avec lesquelles la société opère. L’enjeu est d’une part d’optimiser l’achat d’espace et l’affichage des bannières et d’autre part d’assurer l’acheminement des données collectées. Ces besoins réseau ont représenté une contrainte certaine à la mise en œuvre du projet. Garantir le débit et la disponibilité des liens entre tous les sites Criteo afin d’alimenter et de synchroniser plusieurs Petabytes de données est en effet un réel challenge.
Un projet d’envergure
Ce data center aura nécessité un an de projet, entre la décision de bâtir une nouvelle structure et sa mise en production. Les équipes Network, Hosting et HPC de Criteo ont décidé de profiter de l’opportunité qui leur était offerte pour remettre en question toutes les couches de l’infrastructure : hébergement, réseau et serveur.
C’est ainsi trois appels d’offres qui ont été menés afin de sélectionner les fournisseurs qui répondraient au mieux au cahier des charges très exigeant des ingénieurs en charge du projet. 4 hébergeurs, 5 constructeurs de serveurs et 6 équipementiers réseau ont ainsi été sollicités.
Criteo a également pris le temps de monter des plateformes de benchmark pour qualifier les équipements retenus dans un environnement simulant les conditions de production.
La phase de sélection des différents fournisseurs a duré plus de 9 mois.
La mise en œuvre de ce nouveau design de réseau de Clos, non bloquant entre tous les serveurs qui y sont reliés, a suscité beaucoup de changements dans la manière d’urbaniser une salle blanche. Le raccordement de plus de 1.000 interfaces 40Gbps et de 33km de fibres optiques a soulevé des problématiques encore jamais rencontrées par les équipes de Criteo.
L’industrialisation a donc été poussée à son paroxysme : le plan de brassage de la salle a été effectué de manière algorithmique. Cette réflexion a permis d’une part d’optimiser les longueurs de fibres optiques et la surface disponible chez l’hébergeur et de faciliter d’autre part les extensions futures.
En outre, cette vision programmatique de l’infrastructure physique facilite le travail des ingénieurs réseau puisque la configuration et la supervision des équipements deviennent alors prédictives et s’automatisent plus aisément.
Criteo bénéficiera alors de 2 mégawatts supplémentaires de puissance électrique, avec une capacité de stockage et de traitement économique : là où le data center d’Amsterdam fonctionne avec 1200 serveurs, celui de Pantin offrira une puissance supérieure avec seulement 640 serveurs. Les systèmes techniques de Criteo affichent ainsi une croissance exponentielle qui fait écho à l’explosion de leur activité business. En témoigne cette évolution d’échelle : Criteo provisionnait ses data centers par paliers de 300 Watts il y a 4 ans, par baies de 5 kilowatts il y a 3 ans, par cages de 400 à 500 kilowatts depuis deux ans et aujourd’hui par mégawatts.
Au total, le nombre de serveurs hébergés par Criteo est passé de 300 à près de 15.000 en 4 ans.
L’empreinte de l’entreprise s’étend maintenant dans plus de 7 data centers pour une puissance globale de plus de 6MW.
Les partenaires de Criteo ont également pu témoigner d’un projet d’envergure unique en Europe. Equinix, société qui héberge le data center a été obligée de casser plusieurs portes de son site et de les faire agrandir afin de pouvoir faire passer les baies sélectionnées pour le projet. La société Huber & Suhner a dû créer en un temps record de nouvelles références de câblage fibre dans son catalogue pour répondre aux critères de Criteo.
Timelapse montage du Data Center ici.
La technologie comme ADN
« Pour garantir le meilleur service à nos 7 800 annonceurs et 10 000 éditeurs dans plus de 70 pays, nous avons un besoin important en ressources techniques. Grâce à ce nouveau data center, le cluster Hadoop de Criteo devient l’un des plus grands d’Europe et permet de traiter quotidiennement plus de 9PB de données. » déclare Dan Teodosiu, Executive Vice President, Engineering chez Criteo.
Le moteur de Criteo calcule en continu et en temps réel les probabilités de chaque internaute à cliquer sur une publicité et à procéder à un achat en ligne. Ce moteur renforce constamment la qualité de ses prédictions à mesure que les données collectées lui permettent d’exposer les internautes à des publicités qui sont adaptées à leurs centres d’intérêt.
« Ce nouveau projet est une réelle opportunité pour optimiser et faire évoluer notre infrastructure tout en améliorant nos processus opérationnels. Sur le plan énergétique nous avons doublé notre densité grâce à des serveurs qui consomment 15% de moins que la génération précédente tout en offrant une capacité et une performance double. Nous sommes également très fiers d’implémenter un réseau dont l’architecture nous permet de répondre aux besoins de débit et de scalabilité sur le long terme. » explique Matthieu Blumberg, Senior Engineering Manager Infrastructure Operations, en charge du projet à Pantin. « Le moteur croisait une douzaine de variables il y a 4 ans, contre plus d’une centaine à ce jour, ce qui augmente considérablement son acuité ! »
Ainsi, ce sont plus de 1.200.000 requêtes http traitées par seconde et 740 milliards de publicités affichées en 2014.
Ceci est rendu possible grâce à l’infrastructure d’hébergement répartie sur les 3 continents et qui offre à Criteo une capacité totale de 100 Pétabytes, et dont l’inauguration de Pantin est la dernière pierre en date.
