Le premier indice que quelque chose n'allait pas est apparu en février, alors qu'il s'adressait à un groupe de parlementaires norvégiens et de responsables du secteur technologique à Oslo. Ross, 42 ans, PDG de la startup de puces IA Groq, était au milieu d'une démonstration dont il espérait qu'elle revigorerait l'entreprise languissante : un chatbot IA capable de répondre aux questions presque instantanément, plus rapidement qu'un humain ne peut lire. Mais, pour une raison quelconque, il était un peu en retard. Cela a rendu Ross nerveux, qui faisait la promotion d'un centre de données européen alimenté par Groq qui présenterait les puces spécialisées responsables de ces réponses ultra-rapides. « Je vérifiais constamment les chiffres », se souvient-il. « Les gens ne savaient pas pourquoi il était si distrait. »
Le coupable était l’afflux de nouveaux utilisateurs. Un jour avant la réunion de Ross à Oslo, un tweet viral d'un développeur enthousiaste faisant l'éloge d'un « moteur de réponse IA ultra-rapide » a envoyé des tonnes de nouveau trafic vers la démo en ligne, faisant planter les serveurs de l'entreprise. C'était un problème, mais c'était une bonne chose à avoir.
Lorsqu'il a fondé Groq il y a huit ans, l'idée de Ross était de concevoir des puces d'IA explicitement pour ce que l'industrie appelle « l'inférence » : la partie de l'intelligence artificielle qui imite le raisonnement humain en appliquant ce qu'elle apprend à de nouvelles situations. C'est ce qui permet à votre smartphone d'identifier votre chien comme un Corgi sur une photo qu'il n'a jamais vue auparavant, ou à un générateur d'images d'imaginer le pape François dans un manteau Balenciaga. C’est assez différent des autres tâches informatiques de l’IA : commencer par entraîner les modèles massifs.
Mais jusqu'à ce qu'OpenAI lance ChatGPT fin 2022, déclenchant une frénésie mondiale en matière d'IA, la demande d'inférence ultra-rapide était limitée et l'entreprise a continué péniblement. «Groq a été sur le point de mourir à plusieurs reprises», explique Ross depuis le laboratoire de semi-conducteurs de la startup à San Jose, en Californie, se rappelant un point bas en 2019, alors que la startup était à un mois de manquer d'argent. « Nous avons lancé Groq peut-être un peu plus tôt. »
Mais maintenant, avec une demande de puissance de calcul pour construire et exécuter des modèles d'IA si intense qu'elle contribue à une pénurie mondiale d'électricité, il semble que le moment de Groq soit venu, soit en tant que faiseur de bruit potentiel, soit en tant que cible d'acquisition pour les géants traditionnels des puces.
Lundi, la société a déclaré en exclusivité Forbes qui avait levé un tour monstre de série D de 640 millions de dollars, le portant à une valorisation de 2,8 milliards de dollars, contre 1,1 milliard de dollars en 2021. Le tour, dirigé par BlackRock Private Equity Partners, inclut également Cisco Investments et le Samsung Catalyst Fund, une entreprise branche du géant de l’électronique qui se concentre sur les infrastructures et l’IA.
« Groq a failli mourir plusieurs fois. » Jonathan Ross, PDG de Groq
Le besoin de puissance de calcul est si insatiable qu'il a fait grimper la capitalisation boursière de Nvidia à 3 000 milliards de dollars avec un chiffre d'affaires de 60,9 milliards de dollars en 2023. Groq reste petit en comparaison, avec un chiffre d'affaires de seulement 3 4 millions de dollars en 2023 et une perte nette de 88,3 millions de dollars. , selon les documents financiers auxquels elle a eu accès Forbes . Mais à mesure que l'intérêt pour ses puces augmente, la société prévoit des ventes peut-être optimistes de 100 millions de dollars cette année, selon des sources, même si elles doutaient que la société puisse atteindre cet objectif. Groq a refusé de commenter ces chiffres.
Le marché des puces d'IA devrait atteindre 1,1 billion de dollars d'ici 2027, Ross voit donc une opportunité de s'emparer d'une part de la part stupéfiante de 80 % de Nvidia en se concentrant sur l'inférence. Ce marché devrait représenter environ 39 milliards de dollars cette année et devrait atteindre 60,7 milliards de dollars au cours des quatre prochaines années, selon le cabinet d'études IDC. « L'informatique est le nouveau pétrole », déclare Ross.
Des concurrents comme Groq sont optimistes car les puces de Nvidia n'ont même pas été conçues à l'origine pour l'IA. Lorsque le PDG Jensen Huang a présenté ses unités de traitement graphique (GPU) en 1999, elles étaient conçues pour exécuter des jeux vidéo gourmands en graphiques. C’était une coïncidence s’il s’agissait des puces les plus adaptées à l’entraînement de l’IA. Mais Groq et une nouvelle vague de startups de puces de nouvelle génération, dont Cerebras (valorisation de 4 milliards de dollars) et SambaNova (valorisation de 5,1 milliards de dollars), voient une opportunité. « Personne n'a choisi de partir de zéro pour créer un GPU pour ce genre de travail », déclare Andrew Feldman, PDG de Cerebras.
Il n’y a pas que les startups qui cherchent à détrôner Nvidia. Amazon et Microsoft construisent leurs propres puces IA. Mais les puces de Groq, appelées Language Processing Units (LPU), sont si rapides que l'entreprise pense avoir une chance de se battre. Dans une présentation aux investisseurs, la société les présente comme étant quatre fois plus rapides, cinq fois moins chers et trois fois plus économes en énergie que les GPU Nvidia lorsqu'ils sont utilisés à des fins d'inférence. Nvidia a refusé de commenter cette affirmation.
« Leurs vitesses d'inférence sont clairement meilleures que tout ce qui existe sur le marché », déclare Aemish Shah, co-fondateur de General Global Capital, qui a investi dans plusieurs cycles de financement de Groq.
Groq a commencé à vendre ses puces il y a deux ans et a depuis ajouté des clients tels que Argonne National Labs, un centre de recherche fédéral issu du projet Manhattan, qui a utilisé les puces Groq pour étudier la fusion nucléaire, le type d'énergie qui alimente le soleil. Aramco Digital, la branche technologique de la compagnie pétrolière saoudienne, a également signé un partenariat pour utiliser les puces Groq.
En mars, Groq a lancé GroqCloud, où les développeurs peuvent louer l'accès à ses puces sans les acheter directement. Pour attirer les développeurs, Groq a proposé un accès gratuit : au cours du premier mois, 70 000 personnes se sont inscrites. Ils sont aujourd’hui 350 000 et leur nombre continue d’augmenter. Le 30 juin, la société a activé les paiements et vient d'embaucher Stuart Pann, ancien cadre d'Intel et aujourd'hui COO de Groq, pour augmenter rapidement ses revenus et ses opérations. Pann est optimiste quant à la croissance : plus d'un quart des tickets clients de GroqCloud sont des demandes de paiement pour plus de puissance de calcul.
« La puce Groq vise vraiment la jugulaire », déclare Yann LeCun, scientifique en chef de Meta, ancien professeur d'informatique Ross à l'Université de New York qui a récemment rejoint Groq en tant que conseiller technique. À la fin du mois dernier, le PDG Mark Zuckerberg a annoncé que Groq serait l'une des sociétés fournissant des puces pour exécuter l'inférence pour le nouveau modèle Llama 3.1 de Meta, qualifiant la startup d' »innovante ».
Ross a fait ses débuts chez Google, où il a travaillé au sein de l'équipe qui a créé les semi-conducteurs de l'entreprise, les « unités de traitement tensoriel », optimisées pour l'apprentissage automatique. Il est parti en 2016 pour fonder Groq, aux côtés de son collègue ingénieur de Google, Doug Wightman, qui a été le premier PDG de l'entreprise. Cette année-là, Groq a levé un tour de table de 10 millions de dollars mené par le fonds de capital-risque Social Capital. Mais à partir de là, trouver de nouveaux investisseurs a été difficile. Le co-fondateur de Groq, Wightman, est parti quelques années plus tard et n'a pas répondu aux demandes d'entretien.
Les détracteurs sont encore nombreux. Un investisseur en capital-risque qui a rejeté le cycle de série D de la société a qualifié l'approche de Groq de « nouvelle », mais ne pensait pas que sa propriété intellectuelle était défendable à long terme. Mitesh Agrawal, responsable du cloud chez Lambda Labs, une start-up d'infrastructure d'IA de 1,5 milliard de dollars, affirme que son entreprise n'a pas l'intention de proposer Groq ou toute autre puce spécialisée dans son cloud. « Il est très difficile à l'heure actuelle de penser au-delà de Nvidia », dit-il. D'autres remettent en question la rentabilité des puces de Groq à grande échelle.
Ross sait que c'est une route difficile. « C'est comme si nous étions la recrue de l'année », dit-il. « Nous sommes encore loin de Nvidia. Tous les regards sont donc tournés vers nous. Et nous nous sommes demandé : qu’allons-nous faire ensuite ?
Reportages supplémentaires de Rashi Shrivastava, Alex Konrad et Kenrick Cai.
