1. Introduction et problème

Un classement circule. La première ligne montre un nom d’agent et un nombre. Le laboratoire qui le publie ne livre pas la trace des pas, ne déclare pas le budget de tokens ni de temps, ne nomme pas l’oracle qui décide de la réussite et ne décompose pas pourquoi la deuxième place a échoué. La capture voyage sur les réseaux et dans les diapositives. Une vidéo, coupée à l’instant où l’interface semble « résoudre X », accompagne l’annonce. Ce n’est pas une évaluation d’un agent fondé sur un modèle de langage : c’est une affiche. Le problème de cet article n’est pas que des benchmarks existent —ils existent, et plusieurs construisent des environnements de preuve—, mais que le marché des « agents d’IA » a naturalisé le remplacement du métier de l’eval par l’exhibition d’un nombre, d’un clip ou d’une démo chanceuse (Ma et al., 2024 ; Guo et al., 2024 ; Aleithan, 2025 ; Wang et al., 2024 ; Xi, Chen et al., 2025).

La thèse est restrictive. Une démo cherry-picked, une capture de leaderboard, un score unique d’un run ou une vidéo de « l’agent a résolu X » sans harnais d’évaluation fixe ne constituent pas une évaluation d’agent. L’eval fiable distingue la capacité de démo de la preuve de travail et exige un critère vérifiable hors du modèle. Elle relie, sans le dupliquer, l’argument du 16 septembre 2026 sur le harnais (harness) d’agents : le harnais convertit la capacité générative en travail ; l’eval mesure si ce travail est fiable face à un oracle, un budget et une taxonomie des échecs qui ne coïncident pas avec le completion lui-même. Ce n’est pas la même chose. Un système peut avoir un harnais d’exécution et manquer d’eval ; il peut exhiber un classement et manquer des deux. Yang et al. (2024) montrent, comme constat empirique d’interface, que l’interface agent–ordinateur change ce que l’on peut faire et donc ce que l’on peut mesurer. Ma et al. (2024) décomposent l’échec multi-tour au lieu de le compacter en un score. Guo et al. (2024) traitent la stabilité du benchmarking de tools comme un problème de conception. Aleithan (2025) rappelle qu’un score SWE-Bench sans audit des données n’est pas un verdict. Cela autorise à demander ce qui a été mesuré : un clip, une ligne de tableau —ou un protocole.

Le problème s’aggrave par six confusions que le discours de produit écrase dans le mot eval. Première : l’eval n’est pas le harnais —le harnais produit du travail ; l’eval adjuge la fiabilité avec une preuve externe (Yang et al., 2024 ; Xie et al., 2024 ; Liu et al., 2026)—. Deuxième : l’eval n’est pas la perplexité ; les environnements déplacent la métrique vers la tâche (Deng et al., 2023 ; Trivedi et al., 2024 ; Lee et al., 2025 ; Zhuang et al., 2023). Troisième : l’eval n’est pas un leaderboard sans protocole (Ma et al., 2024 ; Guo et al., 2024 ; Xi, Ding et al., 2025). Quatrième : l’eval n’est pas le RAG, le fine-tune ni l’étiquette agent (Patil et al., 2024 ; Schick et al., 2023 ; Wang et al., 2024). Cinquième : Toolformer, HuggingGPT et Reflexion sont des pièces, non un harnais d’évaluation (Schick et al., 2023 ; Shen et al., 2023 ; Shinn et al., 2023). Sixième : Mind2Web, VisualWebArena, AppWorld, OSWorld, AgentBoard, AgentGym, StableToolBench ou SEC-bench sont des jardins de preuve comme protocole et des affiches comme trophée (Deng et al., 2023 ; Koh et al., 2024 ; Trivedi et al., 2024 ; Xie et al., 2024 ; Ma et al., 2024 ; Xi, Ding et al., 2025 ; Guo et al., 2024 ; Lee et al., 2025). Inférence : l’eval se réalise par le métier de la mesure, non par l’échelle du modèle ni par la viralité du clip.

Il y a, en outre, une économie de coordination. Les artefacts tiennent dans une annonce ; le protocole avec oracle, budget, taxonomie et trace, non. Wang et al. (2024), Xi, Chen et al. (2025) et Liu et al. (2026) décrivent l’essor des agents —profil, mémoire, planification, action— sans autoriser à le lire comme s’il y avait déjà un critère vérifiable. Park et al. (2023) et Li et al. (2023) articulent mémoire, plan et communication : cadres de système, non classement unique. Qian et al. (2024) organisent des rôles pour le développement logiciel : métier organisationnel, non démo de chat. Les contributions sont trois : séparer artefacts et métier ; tracer des frontières face au harnais, au RAG, au fine-tune, au marketing d’agent, au leaderboard sans protocole et à la perplexité ; et offrir quatre épreuves de conception, non une norme industrielle. On n’invente ni N, ni d, ni r, ni AUC, ni pourcentages de leaderboard, ni DOI.

2. État de l’art : pratique située vs artefact

Il convient de séparer quatre strates que le marché des « evals d’agents » mélange d’ordinaire. La première est le construit d’agent LLM comme système qui perçoit un environnement, décide et agit avec des outils, non comme un completion plus long ni comme un slogan (Wang et al., 2024 ; Xi, Chen et al., 2025 ; Park et al., 2023). La deuxième est le métier de l’eval dans un environnement réel ou contrôlable : tâches typées, oracle externe au modèle, budgets, taxonomie des échecs, journalisation des traces, reproductibilité et interfaces qui laissent une trace mesurable (Yang et al., 2024 ; Ma et al., 2024 ; Trivedi et al., 2024 ; Xie et al., 2024 ; Guo et al., 2024 ; Xi, Ding et al., 2025). La troisième est la preuve d’artefacts de capacité —tool-use auto-supervisé, orchestration de modèles, réflexion verbale, invocation massive d’API, communication multi-agent— sans les équivaloir à un harnais d’évaluation (Schick et al., 2023 ; Shen et al., 2023 ; Shinn et al., 2023 ; Patil et al., 2024 ; Li et al., 2023 ; Qian et al., 2024). La quatrième est l’audit de l’instrument de mesure lui-même : qualité des données de la banque de tâches, stabilité du classement de tools, décomposition analytique de l’épisode multi-tour (Aleithan, 2025 ; Guo et al., 2024 ; Ma et al., 2024). Inférence : un leaderboard n’observe ni le dépôt, ni la page web, ni l’état des apps ; un protocole avec oracle et trace, oui.

Dans le construit, Wang et al. (2024) organisent profil, mémoire, planification et action (survey de cadre). Xi, Chen et al. (2025) examinent essor et limites (survey 2025). Liu et al. (2026) ferment la carte en génie logiciel : l’agent se joue comme système (survey TOSEM). Park et al. (2023) composent mémoire, réflexion et planification comme architecture de simulacre, non comme leaderboard. Li et al. (2023) explorent des agents communicatifs comme société de modèles, non comme classement unique. Dans les composantes de capacité, Schick et al. (2023) montrent un tool-use typé —capacité de tool ≠ eval avec oracle—. Shen et al. (2023) orchestrent modèles et tools : le planning n’est pas un critère vérifiable. Shinn et al. (2023) apportent la réflexion verbale : le même canal n’est pas un oracle. Patil et al. (2024) documentent l’hallucination d’API quand la preuve de récupération manque (constat empirique). Qian et al. (2024) décrivent ChatDev : métier organisationnel, non démo de chat. Inférence : le construit autorise à demander architecture et eval ; « pièce = eval » est illégitime.

Dans les environnements de preuve —ici, le jardin opérationnel où l’on mesure l’agent, non une classe d’éducation initiale—, Deng et al. (2023) et Koh et al. (2024) typent des tâches web, les secondes avec preuve visuelle. Trivedi et al. (2024) construisent AppWorld, avec un état d’apps externe au LLM. Xie et al. (2024) situent OSWorld sur un ordinateur réel. Lee et al. (2025) portent le principe vers des tâches de sécurité (SEC-bench). Zhuang et al. (2023) apportent ToolQA : l’oracle ne vit pas dans le prompt. Statut : benchmarks ou jeux de données empiriques d’environnement. Dans l’instrument, Ma et al. (2024) —AgentBoard— décomposent l’épisode multi-tour ; Xi, Ding et al. (2025) —AgentGym— taxonomisent les environnements ; Guo et al. (2024) —StableToolBench— traitent la stabilité du classement de tools ; Yang et al. (2024) montrent que l’ACI rend la mesure possible ; Aleithan (2025) audite la qualité des données de SWE-Bench. Inférence restrictive : l’état de l’art distingue composante, environnement, tableau, stabilité et audit ; le marché les écrase en un nombre. Ces travaux ne sont pas des trophées de diapositive ; ce sont des protocoles qui laissent une trace.

3. Méthode de revue

Une revue narrative critique centrée sur les benchmarks d’agents, le tool-use et les surveys de cadre (2021–2026) a été menée, non une méta-analyse primaire. Le propos n’était pas d’estimer une taille d’effet homogène ni de combiner des taux de leaderboard —taux que cet article n’invente pas—, mais d’articuler un argument de catégorie : ce qui compte comme évaluation d’un agent fondé sur un LLM et ce qui reste au plafond d’artefact d’exhibition. Critères d’inclusion : (a) 2021–2026 ; (b) agents LLM, tool-use, interfaces agent–ordinateur, environnements de preuve (web, bureau, apps, sécurité, QA avec tools), tableaux analytiques, stabilité du benchmarking, qualité des données des banques de tâches, ou surveys d’agents ; (c) actes ou revue avec DOI Crossref vérifié le 18 septembre 2026 (créneau 09:02 America/Mexico_City) ; (d) pertinence pour le contraste métier de l’eval / artefact de démo. On a exclu les axes d’éducation initiale de cette série, les catalogues de produit sans article et tout chiffre absent des sources vérifiées. On a utilisé les vingt-et-une sources de fuentes.md. SWE-bench, WebArena ou AgentBench, lorsqu’ils sont nommés, sont un contexte historique, sans taux ni DOI inventés.

La recherche et la vérification ont été exécutées le 18 septembre 2026 contre les enregistrements Crossref du kit. Chaque source a été lue selon l’objet qu’elle mesure ou propose réellement. On a distingué constat empirique, cadre et inférence de conception. Lorsqu’un artefact —démo cherry-picked, capture de leaderboard, score unique d’un run, vidéo sans trace, chatbot étiqueté agent, classement sans budgets ni taxonomie— manque d’essai vérifié qui l’équivaille à une eval avec oracle externe, on le discute comme plafond de catégorie, non comme constat quantitatif. La méthode n’applique pas de PRISMA propre. On n’a inventé ni N, ni d, ni r, ni AUC, ni pourcentages de résolution, ni DOI. Les quatre épreuves de la section 7 sont des hypothèses de catégorie de cet article, ancrées dans le corpus, non une norme ISO ni un leaderboard de substitution. Le rapport à l’article du harnais du 16 septembre est traité comme une distinction d’objet : produire du travail n’est pas mesurer la fiabilité. L’unité d’analyse est l’épisode de mesure, non une classe. La vignette du leaderboard sans trace est un cas limite d’exhibition, non l’ethnographie d’un laboratoire nommé ; c’est pourquoi le titre 4 s’intitule axe, non cas.

4. Axe 1. Les artefacts ne constituent pas un soutien

Le soutien que cet axe nie n’est pas celui d’un adulte dans un jardin d’enfants : c’est le soutien épistémique qu’un laboratoire revendique lorsqu’il déclare qu’il « a déjà évalué l’agent ». Le premier artefact est la démo cherry-picked : un épisode chanceux est découpé comme s’il était la distribution de performance. Schick et al. (2023) montrent un tool-use typé ; Shen et al. (2023) montrent une orchestration ; aucun n’autorise à traiter un clip comme une eval. La démo peut être un exemple de capacité ; ce n’est pas un protocole. Le deuxième est la vidéo de « l’agent a résolu X » : elle comprime le temps, cache les relances et les appels hallucinés, et cache le critère avec lequel quelqu’un hors champ a décidé que « c’était résolu ». Patil et al. (2024) documentent l’hallucination d’API quand la preuve de récupération manque : le mode d’échec est celui que la vidéo ne montre pas. Inférence restrictive : « on a vu qu’il l’a fait » n’est pas un oracle ; c’est un témoignage monté.

Le troisième artefact est la capture de leaderboard. Ma et al. (2024) construisent AgentBoard parce qu’un nombre agrégé ne dit pas où l’épisode multi-tour s’est rompu. Guo et al. (2024) traitent l’instabilité du classement de tools comme objet de conception. Xi, Ding et al. (2025) évaluent à travers des environnements divers : un classement d’un seul environnement n’est pas le métier. La capture hérite de l’autorité visuelle d’un tableau et d’aucune des obligations du protocole. Le quatrième est le score unique d’un run —chance d’échantillonnage, de température ou d’un issue mal filtré—. Aleithan (2025) insiste sur la qualité des données de SWE-Bench : sans audit, le score ne distingue pas la capacité du bruit de l’instrument. On n’invente ici aucun pourcentage ; on nie que le pourcentage suffise.

Le cinquième artefact est le chatbot étiqueté agent sans oracle. Wang et al. (2024), Xi, Chen et al. (2025) et Liu et al. (2026) décrivent l’architecture et le champ du génie logiciel ; aucun n’équivaut l’étiquette à une eval. Shinn et al. (2023) apportent la réflexion verbale : un agent qui se déclare réussi dans le même canal n’est pas sorti du contexte. Park et al. (2023) et Li et al. (2023) montrent que mémoire et communication peuvent être architecture ; sans oracle elles restent un simulacre de succès. Le sixième est le classement sans budgets ni taxonomie. Xie et al. (2024) et Trivedi et al. (2024) construisent des environnements à état observable ; Deng et al. (2023) et Koh et al. (2024) construisent des tâches web avec preuve d’action. Un classement qui ne déclare ni pas, ni tokens, ni temps, ni ne classe l’échec, est une liste, non une eval. Inférence : la démo parle pour la distribution ; la vidéo pour l’oracle ; la capture pour le protocole ; le score pour la taxonomie ; l’étiquette pour l’architecture ; le classement pour le métier.

Le plafond ne nie pas que Toolformer, HuggingGPT, Reflexion, Gorilla ou CAMEL soient des contributions réelles (Schick et al., 2023 ; Shen et al., 2023 ; Shinn et al., 2023 ; Patil et al., 2024 ; Li et al., 2023). Il nie que leur existence autorise le geste « il y a déjà une eval ». Un modèle plus grand peut produire des traces plus cohérentes ; Wang et al. (2024) et Xi, Chen et al. (2025) n’autorisent pas à lire cette cohérence comme une mesure. Qian et al. (2024) organisent des rôles : multiplier les personnages dans un prompt n’installe pas un oracle. Liu et al. (2026) traitent l’agent logiciel comme un système ; Yang et al. (2024) rappellent que l’interface fait partie de ce qui est mesuré. L’erreur non détectée se compose : un tool halluciné produit un état faux ; l’étape suivante raisonne sur cet état ; la sortie paraît achevée et elle est fausse. Sans oracle externe, personne ne coupe la chaîne. Inférence de conception : le laboratoire qui ne montre que des artefacts n’a pas évalué ; il a annoncé.

5. Axe 2. Le métier relationnel dans le jardin

Le « jardin » de cet axe n’est pas une classe d’éducation initiale ni un cercle d’assemblée : c’est l’environnement opérationnel de mesure —dépôt, navigateur, bureau, apps, tools, sécurité— dans lequel le métier de l’eval se reconnaît comme pratique relationnelle entre modèle, interface, oracle, budget et trace. Le plancher est un épisode avec tâches typées, critère externe, budget, taxonomie, journal et, en principe, reproductibilité (Yang et al., 2024 ; Ma et al., 2024 ; Trivedi et al., 2024 ; Xie et al., 2024 ; Guo et al., 2024 ; Zhuang et al., 2023). Il y a eval lorsque ce métier est protégé, non lorsqu’une démo est exhibée. L’objet mesuré est le couplage entre modèle, harnais d’exécution et instrument. Le harnais produit le travail ; l’eval le juge. Relation, non identité.

Le premier geste est celui des tâches typées et de l’oracle externe au LLM. Zhuang et al. (2023) —ToolQA— formulent des questions qui exigent un tool et un critère hors du modèle. Trivedi et al. (2024) —AppWorld— construisent un monde d’apps à état observable ; l’oracle n’est pas le texte de l’agent. Deng et al. (2023) —Mind2Web— et Koh et al. (2024) —VisualWebArena— ancrent la réussite dans la page et dans l’action, y compris visuelle. Lee et al. (2025) —SEC-bench— portent le principe vers la sécurité logicielle : la vérification n’est pas un « on dirait un correctif ». Inférence : l’oracle est la pièce que la vidéo et le chatbot-juge ne remplacent pas.

Le deuxième geste est celui des budgets de pas, de tokens et de temps, et de la journalisation des traces. Xie et al. (2024) —OSWorld— situent l’agent sur un ordinateur réel : sans budget, l’épisode n’est pas comparable ; sans trace, il n’est pas auditable. Yang et al. (2024) —SWE-agent— montrent que l’ACI fait partie du système et de ce qu’une eval honnête doit déclarer (constat empirique d’interface). Guo et al. (2024) exigent la stabilité de la banque de tools. Le journal est la mémoire externe que Reflexion ne remplace pas (Shinn et al., 2023). Un run sans trace est une anecdote ; un run avec trace et sans budget est une anecdote coûteuse.

Le troisième geste est la taxonomie des échecs. Ma et al. (2024) —AgentBoard— demandent dans quelle sous-compétence l’épisode multi-tour s’est rompu. Xi, Ding et al. (2025) —AgentGym— taxonomisent les environnements. Aleithan (2025) ajoute que l’échec peut être dans la donnée, non dans l’agent. Inférence restrictive : compacter un épisode multi-tour ou de sécurité en un seul nombre, c’est l’anti-métier. Le quatrième geste est la reproductibilité et l’interface qui laisse une trace. Park et al. (2023), Qian et al. (2024) et Li et al. (2023) rappellent que mémoire, rôles et communication sont architecture : il faut les déclarer dans le protocole, non les cacher derrière le nom du LLM. Reproduire n’est pas répéter la capture : c’est pouvoir reconstruire tâches, oracle, budget, taxonomie, trace et interface.

Le métier se vérifie lorsque la boucle de mesure laisse une trace —journaux, états d’apps, actions web, oracles, arrêts—, non lorsque le modèle raconte ce qu’il « aurait fait » ni lorsqu’un humain monte une vidéo. Le jardin de l’eval est relationnel parce que le critère ne vit pas dans le modèle : il vit entre le modèle et un monde qui peut le contredire. Le classement qui cache cette contradiction n’est pas un jardin : c’est une vitrine.

6. Contraste. Frontières de catégorie

La première frontière est eval versus harnais. L’article du 16 septembre a argumenté que l’échelle, le prompt ou une démo de tools sans boucle observation–action–vérification ne constituent pas un harnais ; ce texte s’en sert comme rive, non comme thèse. Le harnais produit une exécution contrôlée ; l’eval produit un jugement avec preuve externe (Yang et al., 2024 ; Liu et al., 2026 ; Xie et al., 2024). On peut avoir une ACI sans oracle de tâche, ou une banque de tâches sans isolation. Les confondre permet de dire « nous avons une eval » lorsqu’il n’y a qu’un runtime, ou « nous avons un harnais » lorsqu’il n’y a qu’un classement. La deuxième frontière est eval versus RAG : récupérer des passages n’observe pas un bureau ni ne vérifie un correctif. Patil et al. (2024) montrent que l’appel d’outil exige une preuve de récupération ; cela ne convertit pas le RAG en eval. La troisième est eval versus fine-tune : Schick et al. (2023) enseignent des tools dans le modèle ; le checkpoint n’est pas un protocole de mesure.

La quatrième frontière est eval versus perplexité : Deng et al. (2023), Koh et al. (2024), Trivedi et al. (2024), Xie et al. (2024), Lee et al. (2025) et Zhuang et al. (2023) déplacent l’objet vers la tâche. Prédire le token suivant n’est pas résoudre une tâche web visuelle ni un enjeu de sécurité. La cinquième est eval versus marketing d’agent : Wang et al. (2024), Xi, Chen et al. (2025), Liu et al. (2026), Park et al. (2023), Li et al. (2023) et Qian et al. (2024) décrivent potentiel, architecture et rôles, non une étiquette de chatbot. La sixième est eval versus leaderboard sans protocole : Ma et al. (2024) décomposent ; Guo et al. (2024) demandent la stabilité ; Aleithan (2025) demande la qualité des données ; Xi, Ding et al. (2025) demandent la diversité d’environnements. Une ligne de tableau sans oracle, budget, taxonomie et trace ne distingue pas modèle, prompt, harnais et chance. Mémoire, plan, communication, orchestration et réflexion verbale sont des composantes : sans oracle elles peuvent mémoriser l’erreur ou théâtraliser le consensus (Park et al., 2023 ; Li et al., 2023 ; Qian et al., 2024 ; Shen et al., 2023 ; Shinn et al., 2023). Les environnements du corpus sont des jardins de preuve comme protocole et des trophées comme annonce. La catégorie « eval » est conjonctive : il manque une pièce et le système retombe dans l’artefact, même si la diapositive dit SOTA.

Une frontière supplémentaire protège cet article de coloniser celui du harnais et la série d’éducation initiale. Mesurer le travail n’est pas le produire. Le jardin de cet axe est l’environnement de mesure, non une classe. SWE-bench, WebArena et AgentBench sont traités comme contexte historique, sans taux fabriqués ; les objets avec DOI du corpus se lisent comme environnements ou comme critiques de l’instrument, non comme médailles. Nommer la banque n’est pas avoir évalué. Utiliser la banque avec un protocole, oui.

7. Quatre épreuves de soutien (pas un artefact)

Le cadre qui suit est une inférence de conception de cet article, ancrée dans les axes et dans les sources vérifiées. Ce n’est ni une norme ISO ni un leaderboard. Il distingue quatre épreuves. Si une plateforme, un article ou un produit ne les passe pas, il ne peut pas déclarer que la démo, la capture, le score unique, la vidéo, le chatbot étiqueté agent ou le classement sans protocole constituent une évaluation d’agent.

7.1. Épreuve des tâches typées et de l’oracle externe au LLM, non de la démo ni de la vidéo ni du modèle qui s’autoévalue. Zhuang et al. (2023) exigent tools et critère hors du contexte ; Trivedi et al. (2024) exposent l’état des apps ; Deng et al. (2023) et Koh et al. (2024) ancrent l’action web, y compris visuelle ; Lee et al. (2025) ancrent la sécurité ; Xie et al. (2024) ancrent l’ordinateur réel. Si la « preuve » est que le modèle a écrit « terminé » ou qu’un humain a coupé une vidéo, il y a théâtre d’eval, non eval.

7.2. Épreuve des budgets fixes et de la journalisation de traces reproductibles, non du run unique ni du classement opaque. Yang et al. (2024) situent l’ACI comme trace ; Xie et al. (2024) exigent un épisode borné ; Guo et al. (2024) exigent la stabilité ; Shinn et al. (2023) se relisent en négatif : la réflexion verbale ne remplace pas le journal. Il y a eval lorsqu’un autre laboratoire peut reconstruire pas, tokens, temps, interface et trace.

7.3. Épreuve de la taxonomie des échecs et de la décomposition analytique, non du score unique. Ma et al. (2024) décomposent l’épisode multi-tour ; Xi, Ding et al. (2025) taxonomisent les environnements ; Aleithan (2025) décompose l’instrument ; Patil et al. (2024) nomment l’hallucination d’API, qu’un nombre agrégé cache. Un laboratoire qui ne rapporte qu’un pourcentage n’a pas évalué le comment.

7.4. Épreuve de la distinction de catégorie et du jugement de conception d’eval, non du catalogue de produit ni du trophée d’environnement. Eval ≠ harnais ≠ RAG ≠ fine-tune ≠ marketing d’agent ≠ leaderboard sans protocole ≠ perplexité ≠ démo ≠ vidéo. Wang et al. (2024), Xi, Chen et al. (2025) et Liu et al. (2026) empêchent de réduire le champ à un slogan. Park et al. (2023), Li et al. (2023), Qian et al. (2024), Schick et al. (2023) et Shen et al. (2023) sont architecture ou capacité, non licence d’omettre le protocole. Le travail d’évaluer se réalise en concevant le couplage tâches–oracle–budget–taxonomie–trace et en déclarant quelle pièce manque.

Le cadre admet tool-use, réflexion, orchestration, API, rôles et mémoire comme pièces (Schick et al., 2023 ; Shinn et al., 2023 ; Shen et al., 2023 ; Patil et al., 2024 ; Qian et al., 2024 ; Park et al., 2023). Il refuse de déclarer une eval par l’une d’elles seule. Les quatre épreuves se lisent ensemble : en passer une et échouer les autres est, encore, un artefact.

8. Discussion

Trois tensions organisent la discussion. La première est entre exhiber les artefacts et exercer le métier de l’eval. Schick et al. (2023), Shen et al. (2023), Shinn et al. (2023), Patil et al. (2024) et Li et al. (2023) soutiennent des composantes réelles —tools, orchestration, réflexion, API, communication— que le marché gonfle jusqu’à les faire passer pour une mesure. Ma et al. (2024), Guo et al. (2024), Yang et al. (2024) et Aleithan (2025) soutiennent le contraste : tableau analytique, stabilité, interface, audit des données. Inférence : la pièce est vraie dans son domaine ; « pièce = eval d’agent » est une inférence de catégorie illégitime. La capture du classement est le geste qui résume le mieux cette illégitimité : elle hérite de la forme de la science et d’aucune de ses obligations de protocole.

La deuxième est entre produire du travail et le mesurer. Le harnais du 16 septembre et l’eval de ce texte se nécessitent et ne se substituent pas. Yang et al. (2024) montrent que l’ACI change le travail possible ; Xie et al. (2024) et Trivedi et al. (2024) montrent des environnements à état observable ; Liu et al. (2026) rappellent qu’en génie logiciel l’agent se joue dans le système. Omettre le harnais et exhiber un classement est un biais ; omettre l’eval et exhiber un runtime est le biais symétrique. Xi, Chen et al. (2025) et Wang et al. (2024) décrivent l’essor d’agents plus capables : cet essor ne signe, à lui seul, ni harnais ni eval. Le gain empirique rapporté ne se lit pas honnêtement s’il est attribué à un clip ou à un score unique et que le protocole est caché.

La troisième est entre le mode d’échec et l’instrument. Patil et al. (2024) nomment l’hallucination d’API ; Koh et al. (2024) et Deng et al. (2023) distinguent erreur de perception et de plan ; Lee et al. (2025) situent la sécurité comme un domaine où « on dirait que c’est résolu » ne suffit pas ; Aleithan (2025) situe l’erreur dans la donnée. Ma et al. (2024) et Xi, Ding et al. (2025) empêchent de compacter cette hétérogénéité ; Guo et al. (2024) rappellent que le classement lui-même peut être instable. Sans oracle, taxonomie et audit, l’erreur ne se voit pas ou s’attribue au mauvais endroit. Park et al. (2023) et Qian et al. (2024) illustrent que mémoire et rôles peuvent répéter la même erreur avec plus d’éloquence.

Les quatre épreuves lisent ces tensions. Un appelant, un rôle ou une invocation peuvent vivre à l’intérieur d’un système évalué ; ce n’est pas inverser la séquence : d’abord l’annonce d’un « agent évalué », ensuite l’espoir que le modèle se vérifie tout seul (Xi, Chen et al., 2025 ; Wang et al., 2024 ; Schick et al., 2023 ; Patil et al., 2024 ; Qian et al., 2024). S’il y a tâches typées, oracle, budget, trace, taxonomie et jugement de conception, il y a eval ; s’il n’y a qu’une démo, une capture, un score d’un run ou une vidéo, il y a des artefacts. Zhuang et al. (2023) et Xie et al. (2024) rappellent que le critère vit dehors : dans le tool et sur le bureau, non dans l’applaudissement du modèle lui-même.

9. Limites

Cette revue est narrative. Elle n’applique pas de PRISMA propre ni n’estime d’effets combinés. On n’invente ni pourcentages de leaderboard, ni N, d, r ou AUC. Les sources de tool-use, de réflexion, d’orchestration et d’API se lisent selon l’objet qu’elles proposent, non comme essais d’« eval de production » (Schick et al., 2023 ; Shinn et al., 2023 ; Shen et al., 2023 ; Patil et al., 2024 ; Li et al., 2023). Yang et al. (2024) ancrent l’interface, sans généraliser à tout domaine. Les environnements et jeux de données (Deng et al., 2023 ; Koh et al., 2024 ; Trivedi et al., 2024 ; Xie et al., 2024 ; Lee et al., 2025 ; Zhuang et al., 2023) ont un transfert de scénario marqué. AgentBoard, AgentGym et StableToolBench sont tableau, multi-environnement et stabilité, non un essai du plafond d’artefacts (Ma et al., 2024 ; Xi, Ding et al., 2025 ; Guo et al., 2024). Park et al. (2023) et Qian et al. (2024) sont architecture et rôles ; Wang et al. (2024), Xi, Chen et al. (2025) et Liu et al. (2026) sont des surveys ; Aleithan (2025) est la qualité des données d’une banque spécifique.

On n’a pas localisé d’essais qui équivalent démo, capture, score d’un run ou vidéo sans trace à une eval avec oracle, budget, taxonomie et reproductibilité ; on les discute comme plafond de catégorie. On n’évalue pas de produits commerciaux. Les inférences de la section 7 sont des hypothèses de conception, non la preuve d’un runtime particulier. Le « jardin » du titre 5 nomme l’environnement de mesure ; il ne transfère pas de constats d’éducation initiale. SWE-bench, WebArena et AgentBench apparaissent comme contexte historique, sans taux ni DOI inventés. Ce texte ne redémontre pas que le harnais n’est pas le modèle : il démontre que l’eval n’est ni le harnais ni l’affiche.

10. Conclusions

Une démo cherry-picked, une capture de leaderboard, un score unique d’un run ou une vidéo de « l’agent a résolu X » sans harnais d’évaluation fixe ne constituent pas une évaluation d’agent. Ne la constituent pas non plus un chatbot étiqueté agent, un RAG, un fine-tune, un classement sans protocole ni la perplexité. Schick et al. (2023), Shinn et al. (2023), Shen et al. (2023), Patil et al. (2024) et Li et al. (2023) confirment des composantes sans équivalence à une eval. Wang et al. (2024), Xi, Chen et al. (2025) et Liu et al. (2026) fixent la carte. Quand il y a eval, il y a métier : tâches et oracle externe (Zhuang et al., 2023 ; Trivedi et al., 2024 ; Deng et al., 2023 ; Koh et al., 2024 ; Lee et al., 2025) ; budgets, traces et interface (Xie et al., 2024 ; Yang et al., 2024 ; Guo et al., 2024) ; taxonomie, non score unique (Ma et al., 2024 ; Xi, Ding et al., 2025 ; Aleithan, 2025) ; architecture et rôles déclarés (Park et al., 2023 ; Qian et al., 2024). L’eval se distingue du harnais, du LLM seul, de la démo et du slogan.

Là où les sources ne mesurent pas un runtime de production, cet article ne l’affirme pas. Là où elles mesurent tools, environnements, tableaux, stabilité, qualité des données ou surveys, il ne les traduit pas en « l’agent est déjà évalué » via un clip ou une capture. Distinguer la capacité de démo de la preuve de travail, c’est exercer tâches typées, oracles externes, budgets, taxonomie des échecs, journalisation des traces et reproductibilité, avec un critère qui peut contredire le modèle. Le reste est démo cherry-picked, capture, score d’un run et vidéo sans trace. Ce n’est pas une évaluation, et cela ne doit pas se présenter comme ce que ce n’est pas. Le harnais produit du travail ; l’eval dit si ce travail est fiable. Les confondre est le geste que ce texte refuse de signer.

Laboratorio Editorial de NEXTECH.IA / Ingeniero Mitre.

Références

  1. Aleithan, R. (2025). Revisiting SWE-Bench: On the importance of data quality for LLM-based code models. En 2025 IEEE/ACM 47th International Conference on Software Engineering: Companion Proceedings (ICSE-Companion). https://doi.org/10.1109/icse-companion66252.2025.00075
  2. Deng, X., Gu, Y., Zheng, B., Chen, S., Stevens, S., Wang, B., Sun, H. y Su, Y. (2023). Mind2Web: Towards a generalist agent for the web. En Advances in Neural Information Processing Systems 36. https://doi.org/10.52202/075280-1220
  3. Guo, Z., Cheng, S., Wang, H., Liang, S., Qin, Y., Li, P., Liu, Z., Sun, M. y Liu, Y. (2024). StableToolBench: Towards stable large-scale benchmarking on tool learning of large language models. En Findings of the Association for Computational Linguistics ACL 2024 (pp. 11143-11156). https://doi.org/10.18653/v1/2024.findings-acl.664
  4. Koh, J. Y., Lo, R., Jang, L., Duvvur, V., Lim, M., Huang, P. Y., Neubig, G., Zhou, S., Salakhutdinov, R. y Fried, D. (2024). VisualWebArena: Evaluating multimodal agents on realistic visual web tasks. En Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 881-905). https://doi.org/10.18653/v1/2024.acl-long.50
  5. Lee, H., Zhang, Z., Lu, H. y Zhang, L. (2025). SEC-bench: Automated benchmarking of LLM agents on real-world software security tasks. En Advances in Neural Information Processing Systems 38. https://doi.org/10.52202/085713-3878
  6. Li, G., Hammoud, H., Itani, H., Khizbullin, D. y Ghanem, B. (2023). CAMEL: Communicative agents for “mind” exploration of large language model society. En Advances in Neural Information Processing Systems 36. https://doi.org/10.52202/075280-2264
  7. Liu, J., Wang, K., Chen, Y., Peng, X., Chen, Z., Zhang, L. y Lou, Y. (2026). Large language model-based agents for software engineering: A survey. ACM Transactions on Software Engineering and Methodology. https://doi.org/10.1145/3796507
  8. Ma, C., Zhang, J., Zhu, Z., Yang, C., Yang, Y., Jin, Y., Lan, Z., Kong, L. y He, J. (2024). AgentBoard: An analytical evaluation board of multi-turn LLM agents. En Advances in Neural Information Processing Systems 37. https://doi.org/10.52202/079017-2365
  9. Park, J. S., O’Brien, J., Cai, C. J., Morris, M. R., Liang, P. y Bernstein, M. S. (2023). Generative agents: Interactive simulacra of human behavior. En Proceedings of the 36th Annual ACM Symposium on User Interface Software and Technology (pp. 1-22). https://doi.org/10.1145/3586183.3606763
  10. Patil, S., Zhang, T., Wang, X. y Gonzalez, J. (2024). Gorilla: Large language model connected with massive APIs. En Advances in Neural Information Processing Systems 37. https://doi.org/10.52202/079017-4020
  11. Qian, C., Liu, W., Liu, H., Chen, N., Dang, Y., Li, J., Yang, C., Chen, W., Su, Y., Cong, X., Xu, J., Li, D., Liu, Z. y Sun, M. (2024). ChatDev: Communicative agents for software development. En Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 15174-15186). https://doi.org/10.18653/v1/2024.acl-long.810
  12. Schick, T., Dwivedi-Yu, J., Dessi, R., Raileanu, R., Lomeli, M., Hambro, E., Zettlemoyer, L., Cancedda, N. y Scialom, T. (2023). Toolformer: Language models can teach themselves to use tools. En Advances in Neural Information Processing Systems 36. https://doi.org/10.52202/075280-2997
  13. Shen, Y., Song, K., Tan, X., Li, D., Lu, W. y Zhuang, Y. (2023). HuggingGPT: Solving AI tasks with ChatGPT and its friends in Hugging Face. En Advances in Neural Information Processing Systems 36. https://doi.org/10.52202/075280-1657
  14. Shinn, N., Cassano, F., Gopinath, A., Narasimhan, K. y Yao, S. (2023). Reflexion: Language agents with verbal reinforcement learning. En Advances in Neural Information Processing Systems 36. https://doi.org/10.52202/075280-0377
  15. Trivedi, H., Khot, T., Hartmann, M., Manku, R., Dong, V., Li, E., Gupta, S., Sabharwal, A. y Balasubramanian, N. (2024). AppWorld: A controllable world of apps and people for benchmarking interactive coding agents. En Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 16022-16076). https://doi.org/10.18653/v1/2024.acl-long.850
  16. Wang, L., Ma, C., Feng, X., Zhang, Z., Yang, H., Zhang, J., Chen, Z., Tang, J., Chen, X., Lin, Y., Zhao, W. X., Wei, Z. y Wen, J. (2024). A survey on large language model based autonomous agents. Frontiers of Computer Science, 18(6). https://doi.org/10.1007/s11704-024-40231-1
  17. Xi, Z., Chen, W., Guo, X., He, W., Ding, Y., Hong, B., Zhang, M., Wang, J., Jin, S., Zhou, E., Zheng, R., Fan, X., Wang, X., Xiong, L., Zhou, Y., Wang, W., Jiang, C., Zou, Y., Liu, X., Yin, Z., Dou, S., Weng, R., Qin, W., Zheng, Y., Qiu, X., Huang, X., Zhang, Q. y Gui, T. (2025). The rise and potential of large language model based agents: A survey. Science China Information Sciences, 68(2). https://doi.org/10.1007/s11432-024-4222-0
  18. Xi, Z., Ding, Y., Chen, W., Hong, B., Guo, H., Wang, J., Guo, X., Yang, D., Liao, C., He, W., Gao, S., Chen, L., Zheng, R., Zou, Y., Gui, T., Zhang, Q., Qiu, X., Huang, X., Wu, Z. y Jiang, Y. G. (2025). AgentGym: Evaluating and training large language model-based agents across diverse environments. En Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 27914-27961). https://doi.org/10.18653/v1/2025.acl-long.1355
  19. Xie, T., Zhang, D., Chen, J., Li, X., Zhao, S., Cao, R., Hua, T., Cheng, Z., Shin, D., Lei, F., Liu, Y., Xu, Y., Zhou, S., Savarese, S., Xiong, C., Zhong, V. y Yu, T. (2024). OSWorld: Benchmarking multimodal agents for open-ended tasks in real computer environments. En Advances in Neural Information Processing Systems 37. https://doi.org/10.52202/079017-1650
  20. Yang, J., Jimenez, C., Wettig, A., Lieret, K., Yao, S., Narasimhan, K. y Press, O. (2024). SWE-agent: Agent-computer interfaces enable automated software engineering. En Advances in Neural Information Processing Systems 37. https://doi.org/10.52202/079017-1601
  21. Zhuang, Y., Yu, Y., Wang, K., Sun, H. y Zhang, C. (2023). ToolQA: A dataset for LLM question answering with external tools. En Advances in Neural Information Processing Systems 36. https://doi.org/10.52202/075280-2180