Genie, le nouveau prodige de l’IA pour le génie logiciel
Une nouvelle révolution dans le monde du génie logiciel
Alors que l’engouement autour de Devin, le robot développeur révolutionnaire d’Anthropic, n’est pas encore retombé, une nouvelle sensation fait déjà des vagues dans l’univers du développement logiciel. Cosine, un laboratoire britannique spécialisé dans le raisonnement humain, fondé en 2022 par Alistair Pullen, vient de lancer Genie, un modèle d’IA autonome capable d’idéaliser, d’écrire, de construire et de tester du code de manière itérative jusqu’à atteindre un résultat fonctionnel. Découvrons ensemble les détails de ce modèle révolutionnaire.
Genie en quelques mots
Avant d’entrer dans les détails, voici les faits marquants qui font de Genie un modèle à part :
- Meilleur score mondial sur le benchmark SWE-Bench avec 30,08%, dépassant largement ses concurrents
- Entraîné sur un dataset unique pour imiter le workflow réel des développeurs humains
- Génère du code fonctionnel de manière significativement plus rapide que les humains
Le fonctionnement de Genie décrypté
Alistair Pullen, le PDG et co-fondateur de Cosine AI, explique l’approche innovante adoptée pour créer Genie, ce modèle d’ingénierie logicielle autonome ultracapable :
Contrairement aux modèles de langage classiques qui prédisent et régénèrent le code de manière probabiliste, nous avons formé Genie à observer et imiter le raisonnement des développeurs humains. Pour cela, nous l’avons entraîné sur un dataset unique contenant des exemples détaillés de processus de développement logiciel réels, depuis la compréhension du problème jusqu’à la livraison du code fonctionnel.
Ainsi, lorsque vous soumettez un problème à Genie, que ce soit via une invite textuelle ou un lien vers une issue GitHub, le modèle démarre un processus itératif similaire à celui d’un développeur humain :
- Compréhension du problème et recherche des fichiers pertinents dans la base de code
- Analyse de ces fichiers et planification des étapes à suivre
- Génération du code source en suivant cette planification
- Débogage et édition du code si nécessaire, en essayant différentes approches
- Réitération de l’ensemble du processus jusqu’à obtenir un code fonctionnel
Tout au long de ce processus, Genie documente chaque étape de son raisonnement, offrant un aperçu fascinant du fonctionnement d’un véritable cerveau de développeur.
Des performances de pointe
Selon le rapport technique publié par Cosine, Genie établit de nouveaux records en matière de performances pour un modèle d’ingénierie logicielle :
- Score de 30,08% sur le benchmark SWE-Bench, dépassant largement ses concurrents comme Factory Code David, AutocodeRover ou encore Devin d’Anthropic
- Score de 50,67% sur le benchmark SWE-Lite
Ces résultats impressionnants s’expliquent en partie par la composition unique du dataset d’entraînement de Genie, constitué de :
- 21% de JavaScript et 21% de Python
- 25% de développement de nouvelles fonctionnalités et 20% de résolution de bugs
Malgré ces performances déjà exceptionnelles, Cosine ambitionne d’accroître encore les capacités de Genie en élargissant son dataset et en lui conférant de nouvelles compétences. L’objectif est de le rendre maître dans davantage de langages et frameworks, afin de répondre aux besoins précis des développeurs.
Une collaboration inattendue avec OpenAI
Dans une tournure surprenante, Cosine a révélé sa collaboration avec OpenAI, jusqu’ici perçu comme un concurrent direct. C’est en effet grâce à l’accès privilégié offert par OpenAI que Cosine a pu effectuer un fine-tuning poussé de Genie sur de larges fenêtres de contexte.
Cette annonce intervient peu après la levée de fonds de 2,2 millions d’euros réalisée par Cosine auprès d’investisseurs américains tels que Uphonest, SOMA Capital, Lakestar et Focal.
Déjà une liste d’attente pour accéder à Genie
Si vous avez hâte de tester par vous-même les capacités de Genie, il faudra malheureusement patienter encore un peu. Pour l’instant, le modèle n’est pas accessible au grand public et Cosine a ouvert une liste d’attente sur son site web pour gérer les futurs accès.
Une chose est sûre, Genie promet de révolutionner une fois de plus le monde du développement logiciel en offrant une aide précieuse aux développeurs dans leurs tâches quotidiennes. Reste à voir si ce modèle tiendra toutes ses promesses lors de son lancement officiel.