WEKA renforce les capacités de l'IA grâce à une grille de mémoire augmentée

WEKA a dévoilé sa technologie Augmented Memory Grid™ sur NeuralMesh™, conçue pour pallier les limitations de la mémoire GPU dans les systèmes d'IA. Validée sur Oracle Cloud Infrastructure (OCI) et d'autres plateformes de pointe, cette innovation augmente la capacité de la mémoire GPU de gigaoctets à pétaoctets et divise par 20 le temps d'obtention du premier jeton. Cette technologie vise à améliorer l'efficacité des charges de travail d'inférence IA, un aspect crucial du développement de l'IA qui a longtemps été confronté à des problèmes de scalabilité.

Augmented Memory Grid utilise des voies de données à haut débit pour connecter la mémoire GPU et le stockage flash, améliorant ainsi l'accès au contexte et réduisant la redondance des calculs. Grâce à des gains de performance tels qu'une capacité de cache clé-valeur multipliée par 1 000 et des temps de traitement plus rapides, WEKA ambitionne de transformer l'économie de l'inférence. Cette innovation permet aux fournisseurs d'IA d'optimiser leurs ressources, d'accroître la densité d'utilisateurs et de mettre en place de nouveaux modèles économiques.