Les coûts de formation des modèles d’IA ont grimpé en flèche de plus de 4 300 % depuis 2020.

Au cours des cinq dernières années, les modèles d’IA sont devenus beaucoup plus complexes et performants, adaptés pour effectuer des tâches spécifiques dans tous les secteurs et offrir une meilleure efficacité, précision et automatisation. Cependant, le coût de la formation à ces systèmes a explosé. Selon les données présentées par AltIndex.com , les coûts de formation des modèles d’IA ont grimpé en flèche de plus de 4 300 % depuis 2020.

Coût 44 fois plus élevé en seulement quatre ans

La sortie de ChatGPT-4 d’OpenAI en mars dernier a donné le coup d’envoi de l’engouement mondial pour l’IA. Google a suivi le mouvement avec son modèle d’IA avancé, Gemini, neuf mois plus tard. Bien que les deux systèmes aient apporté des améliorations, de nouvelles capacités et de meilleures applications, leur formation a été beaucoup plus coûteuse que les modèles d’IA précédents.

Le rapport sur l’indice d’intelligence artificielle publié par l’université de Stanford et le cabinet de recherche Epoch AI, qui a analysé les prix de location du cloud computing, la durée de formation du modèle, le taux d’utilisation du matériel et la valeur du matériel de formation, a montré avec précision à quel point la différence est choquante.

Les statistiques montrent que le coût de formation de Gemini, un grand modèle de langage qui peut être alimenté par du texte, des commandes vocales et des images, s’est élevé entre 30 et 191 millions de dollars, sans compter les salaires du personnel qui peuvent représenter entre 29 et 49 % du prix final. La majeure partie du coût de développement, entre 47 et 67 %, concernait le matériel, tandis que 2 à 6 % étaient consacrés à la consommation d’énergie. Comparé à Gemini, GPT-4 avait un coût de création technique bien inférieur, compris entre 41 et 78 millions de dollars, qui s’élevait tout de même à plus de 100 millions de dollars si l’on inclut les coûts de personnel.

Rétrospectivement, le coût des premiers modèles d’IA était bien inférieur. Par exemple, il ne coûtait que 930 dollars pour former Transformer, une architecture de réseau neuronal révolutionnaire introduite en 2017. BERT-Large de Google, lancé un an plus tard, coûtait 3 288 dollars. RoBERTa Large de Meta, lancé en 2019, avait un coût de formation de plus de 160 000 dollars, qui a grimpé à plus de 4,3 millions de dollars avec GPT3 d’OpenAI un an plus tard. Cependant, ce montant reste 44 fois inférieur à celui des derniers modèles de formation d’IA publiés l’année dernière.

Le coût des plus grandes courses d’entraînement pourrait dépasser un milliard de dollars d’ici 2027

Même si les coûts de formation des modèles d’IA sont 44 fois inférieurs, suivre le rythme du développement de l’IA de pointe est devenu un privilège réservé aux organisations les mieux financées. Bien que les entreprises étudient déjà des moyens de les réduire, comme le développement de modèles plus petits pour des tâches spécifiques ou l’utilisation de données synthétiques pour la formation, l’augmentation des coûts de formation des modèles d’IA reste un énorme défi pour le développement durable de l’IA.

Malheureusement, avec l’augmentation des besoins en ressources informatiques, la complexité croissante des architectures de modèles et les exigences en matière de données à grande échelle, ces besoins ne feront que croître à l’avenir. Selon le rapport sur l’indice d’intelligence artificielle, les plus grandes séries d’entraînement coûteront plus d’un milliard de dollars d’ici 2027 si la tendance se poursuit. 

L’histoire complète et les statistiques peuvent être trouvées ici : https://altindex.com/news/ai-training-skyrockets