De nombreuses entreprises ayant adopté cette année des agents d’intelligence artificielle pour des tâches longues et autonomes, comme l’écriture de code, ont découvert avec stupeur des factures faramineuses de plusieurs milliers de dollars. Contrairement à une simple conversation avec un chatbot, ces agents fonctionnent sans interruption pendant des heures et effectuent des appels répétés à des modèles coûteux. Cette situation a créé une demande considérable pour une nouvelle solution technologique : les routeurs de modèles (Model Routers), qui permettent de sélectionner automatiquement le modèle le plus adapté à chaque tâche, réduisant ainsi les coûts d’utilisation de jusqu’à 30 %.
La start-up qui vaut 10 milliards de dollars
La demande croissante pour les routeurs de modèles a fait de ce secteur l’un des plus prisés de la tech. La société OpenRouter, qui propose une passerelle d’accès à des centaines de modèles, serait selon plusieurs sources en discussion pour être rachetée par le géant des paiements Stripe, pour une valorisation pouvant atteindre 10 milliards de dollars — un bond spectaculaire par rapport à sa valorisation de 1,3 milliard de dollars obtenue lors d’une levée de fonds en mai dernier, menée notamment par Menlo Ventures et le fonds de croissance CapitalG d’Alphabet. D’autres start-ups du secteur, comme Not Diamond, proposent un routage automatique en fonction de la complexité de la tâche, tandis que des géants comme Salesforce, Databricks et Meta développent leurs propres solutions de routage.
Le besoin d’économies immédiates est devenu critique pour les organisations. Une étude récente montre que 62 % des entreprises ont déclaré qu’une dépense imprévue en intelligence artificielle avait eu un impact significatif sur une décision commerciale au cours de la dernière année. Pour 40 % d’entre elles, le sujet a nécessité l’intervention du conseil d’administration, un tiers des entreprises ont imposé un gel budgétaire d’urgence, et un quart ont dû retarder ou annuler complètement des projets d’intelligence artificielle prévus.
Pas seulement une question d’économies
Selon les experts du secteur, de nombreuses entreprises ont tendance à utiliser le modèle le plus puissant et le plus coûteux pour chaque tâche, même lorsqu’un modèle plus simple et moins cher pourrait l’accomplir avec la même qualité. Ce phénomène est appelé « saturation d’intelligence ». Cependant, choisir un modèle trop petit et trop lent peut également coûter cher en raison d’un temps de traitement prolongé. Les routeurs intelligents résolvent ce dilemme en anticipant le modèle optimal pour chaque étape au sein du flux de travail complexe de l’agent.
Au-delà des économies financières, les routeurs de modèles offrent aux entreprises une flexibilité essentielle. Les restrictions d’accès soudaines récemment imposées sur des modèles de premier plan ont fait craindre aux responsables techniques une dépendance excessive envers un fournisseur unique. Les routeurs permettent un basculement rapide entre différents fournisseurs ou l’utilisation de modèles open source en cas de dysfonctionnement. À l’avenir, ces routeurs devraient également gérer des aspects liés à la sécurité de l’information, à la conformité réglementaire et à l’accès aux données sensibles des organisations.
[signoff]
