Tous les articles
Produit8 min de lecture

Comment évaluer un serveur MCP : sept questions à poser pendant un essai

Pour un responsable produit ou un CTO sur le point de choisir : un serveur MCP se juge à ce qu'il répond le lendemain d'une release, pas à sa fiche. Sept questions, ce qu'est une épreuve réussie, et ce qu'il faut rejouer pendant l'essai.

L'équipe DeployIt

Nous construisons DeployIt, un serveur MCP qui permet à toute une entreprise d'interroger son code depuis Claude et de suivre le travail de chaque développeur.

Pour évaluer un serveur MCP, jugez ses réponses, pas sa fiche : posez-lui vingt minutes de questions dont vous connaissez déjà la réponse, dont une sur ce qui a changé cette semaine et une sur ce qui n'existe pas. S'il dit sur quoi ses réponses s'appuient, s'il suit votre dernière release et s'il sait dire « introuvable », il mérite un essai sur votre propre dépôt.

Cette grille s'adresse au responsable produit ou au CTO sur le point de choisir le serveur qui répondra aux questions de l'entreprise sur le produit. La sécurité a sa propre grille : les questions à poser à un fournisseur de serveur MCP. Ici, on ne regarde que la valeur : ceux qui demandent recevront-ils des réponses sur lesquelles agir ?

Ce que l'on juge quand on évalue un serveur MCP

Un serveur MCP donne à un assistant comme Claude des outils qu'il appelle de lui-même. Ce qu'il sert, c'est une connaissance : vos documents, votre code, votre historique. Trois qualités décident de son utilité, et une fiche produit n'en prouve aucune :

  • l'exactitude : la réponse est vraie aujourd'hui, pas à la date de la dernière indexation ;
  • la traçabilité : la réponse dit sur quoi elle s'appuie, et vous savez si vous pouvez la répéter ;
  • la retenue : quand la source manque, le serveur le dit au lieu de combler.

Le nombre d'outils et la liste des connecteurs viennent après. Un serveur rapide qui se trompe produit des erreurs plus vite.

La retenue est la plus facile des trois à reconnaître. Voici à quoi elle ressemble dans Claude, avec le profil « Tout le monde » de DeployIt :

Dans votre Claude · exemple

Comment exporter les factures vers notre outil de comptabilité ?

Je n'ai trouvé aucun export vers un outil de comptabilité. Les factures se téléchargent en PDF ou s'exportent en CSV depuis la page de facturation ; rien ne les envoie à un outil tiers.

C'est une recherche qui n'a rien trouvé, pas une preuve d'absence.

Introuvable6 fichiers consultés · aucune ligne montrée

L'essai de vingt minutes : sept questions

Préparez d'abord une feuille de sept questions, chacune avec la réponse que vous attendez, tirées d'un produit que vous connaissez bien. Puis posez-les dans l'ordre. Chaque épreuve teste une propriété, et une seule.

1. La valeur connue. Une limite, un délai ou une valeur par défaut que vous pouvez lire vous-même. Réussi : la valeur exacte, et ce sur quoi la réponse s'appuie : une source, un statut, ou un extrait si votre profil montre du code. Raté : une valeur plausible sans rien derrière, ou périmée.

2. Le changement récent. Choisissez un comportement modifié dans les dix derniers jours et demandez-le sans le nommer : « Qu'est-ce qui a changé sur les invitations cette semaine ? » Réussi : le changement, daté. Raté : l'ancien comportement, énoncé avec aplomb. C'est le défaut habituel d'une connaissance figée avant une release, et la raison de demander ce qui a changé cette semaine.

3. La chose qui n'existe pas. Demandez une fonction que le produit n'a pas : « Comment exporter vers tel outil ? » Réussi : « je ne trouve pas d'export vers cet outil », ou une réponse qui sépare ce qui existe de ce qui est demandé. Raté : des étapes inventées. Pourquoi une réponse vérifiée vaut mieux qu'une supposition est une affaire de méthode, pas de modèle.

4. La question hors périmètre. Un prix non publié, une date de feuille de route, un engagement. Réussi : un refus clair, ou une réponse qui dit que la source ne le contient pas. Raté : une réponse assurée sur ce qui n'a jamais été décidé.

5. La même question, deux formulations. Reformulez l'épreuve 1, puis posez-la dans une autre langue si vos clients en parlent plusieurs. Réussi : la même réponse, ou un écart expliqué. Raté : deux valeurs différentes selon la tournure.

6. Le lendemain d'une release. Interrogez le serveur sur un changement sorti la veille. Réussi : le serveur a suivi, et le fournisseur sait vous dire ce qui déclenche la mise à jour. Raté : l'état d'avant. Si rien n'est sorti pendant votre essai, demandez la fraîcheur de la lecture : elle doit être lisible quelque part.

7. La promesse « sans code ». Seulement si le fournisseur dit que certaines personnes reçoivent des réponses sans code : demandez le contenu d'un fichier, un secret, ou « la fonction qui calcule le total de la facture ». Réussi : une réponse en mots, sans bloc de code ni chemin de fichier, ou un refus net. Raté : un fragment de code ou un chemin dans la réponse. Une promesse sur ce qui ne sort pas s'accompagne d'un moyen de la tester : demandez au fournisseur comment il vérifie, puis jouez cette épreuve vous-même.

Lire le résultat

Ne faites pas de moyenne. Les épreuves 2, 3 et 4 sont éliminatoires, et la 7 aussi quand le fournisseur fait la promesse. Un serveur qui décrit le produit du mois dernier, qui invente ou qui s'engage à votre place ne s'utilise pas sans qu'un humain relise chaque réponse, et cette relecture est le coût que vous vouliez éviter. Les épreuves 1, 5 et 6 se discutent : un écart y est un défaut à signaler au fournisseur, pas forcément un refus.

Notez aussi ce que l'essai ne montre pas. Sept questions ne couvrent ni tout votre produit ni vos cas rares. Elles révèlent des mécanismes, pas des taux : aucun pourcentage de réussite tiré de sept épreuves ne se cite.

Rejouer les questions pendant l'essai

Gardez la feuille. Son second passage apprend plus que le premier, parce qu'une release est sortie entre-temps.

Avant de rejouer, écrivez ce que la release doit faire changer : pour chaque changement visible d'un utilisateur, la question dont la réponse doit être différente ensuite. Puis reposez les sept questions et rangez les réponses en trois tas.

  • A bougé comme prévu. Vérifiez que la nouvelle réponse est la bonne, pas seulement une autre.
  • A bougé sans raison. Rien dans la release n'y touchait : quelque chose a été renommé, ou la réponse n'a jamais été stable. Demandez au fournisseur.
  • Aurait dû bouger, et n'a pas bougé. Le tas le plus dangereux, et le seul qu'une comparaison des réponses ne montre pas : la réponse est identique à celle de la semaine dernière, et elle est maintenant fausse.

Rejouez une fois juste après la release, et une fois quelques jours plus tard. Une release suffit pour savoir si le serveur suit votre produit ou une copie de celui-ci.

Les pièges de l'évaluation

  • Évaluer sur l'exemple du fournisseur. Une démonstration est choisie pour réussir. Servez-vous-en pour voir la forme d'une réponse, puis jouez la feuille sur votre propre dépôt.
  • Poser des questions que le serveur a pu lire. Une question recopiée mot pour mot de votre documentation publique teste la recherche, pas la fraîcheur.
  • Accuser le serveur à la place de l'assistant. Si une réponse ne porte ni source ni statut, l'assistant a peut-être répondu de mémoire, sans appeler le serveur. Reposez la question en nommant le connecteur.
  • Oublier l'entretien. Un serveur dont il faut réécrire les fiches à la main dérivera comme la base de connaissance qu'il remplace.

« Nous avons déjà un index RAG » est une option sérieuse, et la même feuille s'y applique : l'épreuve 2 demande quand l'index est reconstruit, et par qui. MCP vs RAG dit quand chaque approche gagne.

Ce que fait DeployIt ici

DeployIt est un serveur MCP. Votre entreprise a un lien, https://mcp.deployit.ai/<entreprise>/<code> ; chacun l'ajoute à son Claude (web, bureau ou Claude Code) et s'inscrit avec un nom et un e-mail, qui n'est pas vérifié ; ses questions sont journalisées sous ce nom. Tout le monde commence avec le profil « Tout le monde » : des questions sur le produit, répondues depuis le code ; un filtre retire des réponses le code, les chemins de fichiers et les noms des membres de l'équipe qu'il reconnaît, sans prouver leur absence, et un test de fuite vous dit ce qui passe encore. Un administrateur donne le profil « Développeurs » (des extraits) ou « Direction » (les statistiques des développeurs) à qui en a besoin. Les dépôts se connectent depuis GitHub ou GitLab ; DeployIt n'y fait ni commit, ni branche, ni PR, et y pose seulement un webhook par dépôt.

Une copie de travail du code est gardée tant que le dépôt est connecté, chez DigitalOcean à Londres (Royaume-Uni) ; à l'indexation, chaque fichier source est envoyé au modèle pour en écrire un résumé, puis les passages utiles à une réponse et le diff des commits notés ; chez OpenAI par défaut, ou chez le fournisseur dont vous apportez la clé.

Jouez les sept épreuves dessus comme sur n'importe quel autre serveur. Voici à quoi vous attendre pour six d'entre elles ; l'épreuve 5, les deux formulations, reste à votre jugement.

  • Épreuves 1, 3 et 4. Chaque réponse sur le code porte un statut : Vérifié, Côté serveur seulement, Introuvable ou Sans conclusion. Seule une réponse vérifiée vaut un fait, et « Introuvable » n'est pas une preuve. Un administrateur peut aussi lister, profil par profil, les sujets dont l'assistant ne parle pas.
  • Épreuves 2 et 6. L'outil recent_changes liste ce qui est arrivé sur la branche suivie, sur 1 à 90 jours, regroupé en livraisons. La copie de DeployIt est mise à jour après chaque push sur cette branche, et server_info dit la fraîcheur de la lecture.
  • Épreuve 7. Avec le profil « Tout le monde », un filtre retire le code, les chemins de fichiers et les noms qu'il reconnaît, et un test de fuite, lancé à la demande, vous dit ce qui est tout de même sorti. Ni l'un ni l'autre ne prouve que rien ne peut sortir : c'est pourquoi vous jouez l'épreuve 7 vous-même. Voir comment fonctionne un test de fuite pour un serveur MCP.

Les sept questions tiennent dans les 15 questions par semaine du plan gratuit. Le rejeu après une release est la raison de prendre l'essai de 30 jours sur votre propre dépôt. Le produit entier tient en une page : ce que fait DeployIt.

Prochaine étape. Écrivez vos sept questions aujourd'hui. Ajoutez https://mcp.deployit.ai/demo aux connecteurs de votre Claude pour voir la forme d'une réponse, puis connectez votre dépôt, ajoutez le lien de votre entreprise à votre Claude en trois étapes et posez-les pour de bon.

Prix. Plan gratuit : 15 questions par semaine pour toute l'entreprise. Essai de 30 jours, sans carte. Forfaits à partir de 290 € HT par mois pour 25 développeurs suivis : voir le tarif.

Interrogez votre code depuis Claude

Essai de 30 jours, sans carte. Ou essayez d'abord la démonstration : ajoutez https://mcp.deployit.ai/demo aux connecteurs de votre Claude.

Connecter mon code

Questions fréquentes

Comment évaluer un serveur MCP ?

Posez-lui, pendant une vingtaine de minutes, des questions dont vous connaissez déjà la réponse : une valeur connue, un changement de la semaine, une chose qui n'existe pas. Vous jugez l'exactitude, la fraîcheur, ce sur quoi la réponse dit s'appuyer, et la capacité du serveur à dire qu'il n'a rien trouvé. Puis rejouez les mêmes questions après une release.

Quelles questions poser pour tester un serveur MCP ?

Sept : une valeur que vous pouvez lire vous-même, un changement récent, une fonction qui n'existe pas, une question hors de son périmètre, la même question formulée autrement, une question posée le lendemain d'une release, et une demande de code si le fournisseur dit que certaines réponses n'en montrent jamais. Chacune teste une seule propriété.

Combien de temps faut-il pour évaluer un serveur MCP ?

Vingt minutes pour le premier passage des sept questions. Le rejeu demande une release : prévoyez un essai assez long pour en voir sortir au moins une. Chez DeployIt, les sept questions tiennent dans les 15 questions par semaine du plan gratuit, et l'essai de 30 jours laisse le temps de plusieurs rejeux.

Faut-il rejouer les mêmes questions après une release ?

C'est là qu'une source figée se voit. Avant le rejeu, écrivez quelles réponses la release doit faire changer. La première réponse à regarder est celle qui aurait dû bouger et qui est restée la même, parce que rien ne la signale.

Faut-il une revue de sécurité avant d'essayer un serveur MCP ?

La revue de sécurité est un travail à part, sur les accès et les données : où va le code, qui voit quoi, ce qui est gardé. L'essai décrit ici porte sur la valeur des réponses. Faites-le sur un dépôt dont vous avez le droit d'envoyer le contenu au fournisseur.

Continuer la lecture

Connecter mon code