Pour moi les équipes qui s'autorisent a bosser avec CoPilot doivent être intransigeante sur le fait que celui qui commit doit avoir pleine maîtrise et compréhension de son change, et que si il a généré du code alors on attend de lui qu'il l'ait relu, compris et si besoin corrigé.

Et dans ces conditions le gain de productivité devient beaucoup moins évident.

Mais il est bien sûr aussi possible (probable ?) aussi que je sois juste un développeur trop vieux et réfractaire au changement 😁

Édit pour préciser sur les TU, je pensais surtout au cas où on voudrait générer rapidement une bonne couverture de test pour une codebase legacy et mal testée.

Pour le coup là oui, je vois l'intérêt de l'IA, même si une telle codebase demande généralement un gros refacto pour être rendue testable.

Oui mais même pour les tests unitaires, il existe maintenant pas mal de techniques pour rapidement augmenter le coverage mais de façon efficace et pas artificielle (mutation testing, test amplification, hypothesis testing, etc). Ça deviendrait presque amusant de faire du testing avec ça

Sur le sujet : il y a un article récent (à peine soumis à une conf/revue) déjà disponible sur Arxiv. Je ne l'ai pas encore parcouru, mais l'un des auteurs est une "connaissance" (je l'ai rencontré une ou deux fois, et j'ai fait un article avec lui et plein d'autres, mais j'ai jamais discuté directement avec, je pense ).

arxiv.org/pdf/2206.15331…

Je reprends la "conclusion" (de l'abstract): Comparing Copilot to humans, our results show that the correct ratio of human solutions is greater than Copilot’s correct ratio, while the buggy solutions generated by Copilot require less effort to be repaired. While Copilot shows limitations as an assistant for developers especially in advanced programming tasks, as highlighted in this study and previous ones, it can generate preliminary solutions for basic programming tasks.

[Edit: étant donné qu'on est à 20 pages pour l'article, et non le classique 10+2 ou 12+2, ça veut dire qu'il a été soumis dans une bonne revue, probablement Empirical Software Engineering ou Journal of Systems and Software, donc l'article est probablement "fiable" et pas trop mal travaillé... sous réserve qu'il soit accepté ]

Assez en phase avec cette conclusion.

Guybrushit can generate preliminary solutions for basic programming tasks.

Oui, c'est clairement sa force. Mais il y avait déjà des solutions, à base de templates de code plus ou moins intelligentes par exemple. L'IA fait effectivement un peu mieux que des templates de code mais... pas tant que ça, pour l'instant.

Et surtout, ça ne pousse pas à réduire le boilerplate puisqu'il est très facile à générer, ce qui est préjudiciable pour la maintenabilité sur le long terme.

Ce sera curieux de voir l'évolution de CoPilot à 5 ans, je suppose qu'il y a encore une marge de progression énorme.

Je note l'idée et je ne manquerai pas de la réutiliser pour solliciter du budget de recherche sur le sujet