Quelle vérification de sécurité un cahier des charges exige-t-il : CHECK, ITHC et PTaaS

CHECK, ITHC, PTaaS, CREST et Cyber Essentials ne sont pas cinq niveaux d’un même travail, mais cinq objets distincts. Comment comprendre lequel le cahier des charges exige réellement, et s’il vous concerne du tout.

Vous ouvrez le cahier des charges, vous trouvez dans les spécifications techniques la partie sécurité, et vous y lisez cinq noms : CHECK, ITHC, PTaaS, CREST et Cyber Essentials Plus. À côté d’eux se tiennent les mots « audit de sécurité » et « test d’intrusion », et le tout est rédigé comme s’il s’agissait des niveaux d’un même travail — du moins cher au plus cher.

Ce ne sont pas des niveaux, mais cinq objets distincts, qui répondent à cinq questions : qui a le droit de tester, ce que l’on fait à un réseau nommé, comment on facture le test, si le fournisseur lui-même a mis de l’ordre dans son infrastructure, et si le système est conforme à une norme. Une offre qui en mélange deux ou bien promet ce qu’elle n’a pas le droit de promettre, ou bien paie pour ce qui n’était pas demandé.

Cet article ne vend pas CHECK, et autant le dire d’emblée : nous ne sommes pas membres de CHECK, et ce texte ne l’affirme pas. Il explique ce que le cahier des charges exige réellement, pour que vous puissiez voir s’il vous concerne — et seulement si l’exigence se révèle un contrôle ordinaire de la sécurité d’un site web, il renvoie vers notre audit de sécurité de site web.

Le prix ici ne diffère pas de quelques pour cent, mais de plusieurs fois, parce qu’une offre qui répond à Cyber Essentials et une offre qui répond à un test d’intrusion complet sur un système à plusieurs rôles sont deux budgets distincts, et l’acheteur qui les met dans un même tableau compare l’incomparable. De même, le candidat qui lit l’exigence un cran au-dessus de ce qui est écrit perd le marché avec une offre parfaitement correcte, seulement inutilement chère.

Cinq noms qui ne sont pas cinq niveaux d’un même travail

• CHECK — un dispositif d’entreprises du Centre national de cybersécurité britannique (NCSC). Il fixe qui a le droit de tester les systèmes du secteur public et des infrastructures critiques, et sous quelle forme le rapport est établi.
• ITHC — un contrôle nommé, d’un périmètre nommé, qu’exige le raccordement au réseau des services publics britannique. C’est une mission, pas un dispositif.
• CREST — une association professionnelle internationale, avec un statut de membre et des examens. Ce n’est pas un synonyme de CHECK, et c’est cette confusion qui, dans les offres, revient le plus souvent.
• PTaaS — penetration testing as a service, c’est-à-dire un modèle de livraison et de facturation : plateforme, abonnement, constats plus fréquents. Il ne dit rien sur qui teste, ni selon quelle norme.
• Cyber Essentials et Cyber Essentials Plus — une certification sur les cinq contrôles de base du fournisseur lui-même, non sur le système qu’il livre.

Les cinq sont des instruments britanniques ou internationaux, et aucun n’existe dans le droit français : c’est la première chose à retenir en lisant un cahier des charges français où l’un d’eux a été inscrit.

CHECK est un dispositif d’entreprises, pas une méthode de test

CHECK est un dispositif géré par le NCSC, auquel est admise une entreprise, non une méthode que n’importe quel prestataire pourrait appliquer. Les indications du NCSC à l’attention des acheteurs prévoient que le travail est mené par un membre, que l’équipe est dirigée par un CHECK Team Leader et qu’y travaillent des CHECK Team Member, que ces personnes ont une habilitation de sécurité du personnel britannique, et que le rapport est établi dans le format du dispositif, une copie allant au NCSC en deçà d’un certain niveau de classification. CHECK n’est donc pas quelque chose que l’on pourrait « exécuter » par un test assez bon, parce que l’entreprise est dans CHECK ou n’y est pas, et aucun descriptif de méthode dans l’offre ne remplace ce fait. CHECK n’est pas non plus une loi : le NCSC le rédige comme des indications, et, pour le réseau des services publics, c’est l’un des chemins reconnus, non l’exigence d’un article.

Plus important encore que le contenu du dispositif est le public auquel CHECK est destiné, et le NCSC l’écrit sans détour : il est conçu pour l’administration centrale, le secteur public et les infrastructures critiques. Pour les systèmes de l’administration centrale qui traitent des données d’un certain marquage et au-delà, le NCSC recommande de confier l’évaluation à un membre ; pour les autres organismes du secteur public, il le recommande fortement ; mais pour une organisation qui n’est ni le secteur public ni une infrastructure critique, le NCSC lui-même renvoie aux indications ordinaires de commande, et non à CHECK. Pour une entreprise privée qui prépare une offre à un acheteur commercial, CHECK n’est pas un objectif. C’est l’ordre intérieur du secteur public d’un autre pays, et le mentionner dans une offre commerciale indique plutôt que le nom a été recopié, et non que le travail sera de meilleure qualité.

L’ITHC est une mission pour un réseau nommé

ITHC — IT Health Check — est ce dont une administration britannique a besoin pour se raccorder au réseau des services publics, ou y rester. Les lignes directrices d’accompagnement du Cabinet Office de 2022, auxquelles la procédure de raccordement se réfère encore, décrivent le périmètre minimal : un contrôle depuis l’extérieur et depuis l’intérieur, la partie interne avec un scan et une analyse manuelle sur tout l’environnement ; dans les grands environnements, un échantillon est admis, et il n’est alors pas inférieur au dixième. La procédure d’attestation exige que le rapport déposé n’ait pas plus d’un an et n’ait pas déjà servi à une demande précédente. Le français n’a pas de terme établi pour cela, et calquer la métaphore médicale anglaise n’explique rien ; plus précis de garder ITHC et d’expliquer une fois qu’il s’agit du contrôle de sécurité d’un raccordement à un réseau nommé.

Le périmètre est décrit bien plus en détail que ce qui en arrive souvent dans une offre, parce que la partie externe contrôle les services joignables depuis Internet (messagerie, Web, pare-feu), l’accès distant et les raccordements de tiers. Dans la partie interne, à côté du scan, est exigée une analyse manuelle, ainsi que la configuration des postes et des serveurs, l’état des correctifs, les réseaux sans fil et la passerelle de raccordement. Dans les grands environnements, l’échantillon est autorisé, et c’est là qu’apparaît ce dixième, souvent absent des offres. Le résultat a aussi des exigences : le nombre, le type et la gravité des constats dans un résumé lisible, avec si possible un score de base CVSS. Ces chiffres sont une exigence ITHC du Cabinet Office pour un réseau nommé — ce n’est ni une règle CHECK, ni une règle française, et il n’est pas correct de les transposer dans un marché français comme un étalon général de qualité.

Trois noms que l’on confond le plus souvent avec CHECK

Les trois autres noms apparaissent dans les cahiers des charges à côté de CHECK comme s’ils en étaient des variantes, et chacun répond à une autre question : qui a examiné la personne, comment le travail est livré et payé, si le fournisseur lui-même a mis de l’ordre dans son infrastructure. Ce sont ces trois-là qui produisent la plus grande part des offres mal préparées.

CREST n’est pas CHECK

C’est l’erreur la plus répandue et la distinction la plus utile que cet article puisse poser, parce qu’elle change le contenu de l’offre : CREST est une association, avec un statut de membre et des examens, tandis que CHECK est un dispositif du NCSC, avec sa propre admission et ses propres rôles. CREST le décrit elle-même comme un chemin distinct — son certificat peut être l’un des moyens par lesquels une personne prouve sa compétence, mais il n’en résulte pas que l’entreprise est membre de CHECK. La conséquence, pour comparer des offres, est simple : si le cahier des charges exige CHECK, un certificat CREST ne satisfait pas l’exigence, et inversement — si le cahier des charges exige CREST, l’admission à CHECK est plus que ce qui était demandé, et l’on a probablement payé trop cher.

PTaaS est un modèle de facturation, pas un dispositif

PTaaS décrit comment la prestation est livrée et payée : une plateforme avec un tableau de bord, un abonnement, des constats en continu, et un nouveau contrôle après les correctifs. Les descriptions du métier le formulent comme un modèle de livraison, sans exigence de qualification ni autorité qui l’entérinerait. À la question « un PTaaS satisfait-il une exigence CHECK ou ITHC », la réponse n’est donc ni « oui » ni « non » — ce sont deux objets distincts. Un modèle de facturation ne peut pas satisfaire une exigence sur qui a le droit de tester et selon quelle méthode, si bien que, si les deux figurent dans le cahier des charges, il faut les lire séparément : l’un dit la compétence, l’autre comment le travail s’organise dans le temps.

Cyber Essentials contrôle le fournisseur, pas le livrable

Cyber Essentials est une certification sur cinq contrôles de base dans l’infrastructure du fournisseur lui-même, et la version Plus y ajoute un contrôle avec des outils courants. Le certificat se renouvelle une fois par an, et la note de politique d’achat PPN 014 l’attache à la sécurité de la chaîne d’approvisionnement. Il en résulte une frontière que les offres franchissent souvent : Cyber Essentials Plus n’est pas le test d’intrusion demandé sur le système à livrer. C’est une attestation sur les ordinateurs et les comptes du fournisseur, si bien qu’une entreprise peut être certifiée Cyber Essentials Plus et livrer un système qui n’a jamais été testé.

Trois affirmations auxquelles il ne faut pas croire

Autour de ces noms s’est formée une couche d’affirmations recopiées d’une description de service à l’autre, et les trois plus répandues sont fausses ou périmées, si bien qu’il vaut de les lire à côté de ce que la source dit réellement.

« CHECK est exigé par la loi britannique. » Aucune loi ne nomme CHECK, et le NCSC, dans ses indications, emploie « should » et « strongly recommend », et le guide des services numériques de l’État admet un niveau équivalent. Le seul endroit où l’exigence est stricte, ce sont les conditions de raccordement d’un réseau nommé, et là encore le dispositif est l’un de plusieurs chemins reconnus.

« Pour devenir membre de CHECK, l’entreprise doit d’abord être accréditée CREST. » C’était vrai d’un ancien chemin d’admission, et cela se répète encore chez des prestataires, mais le standard actuel exige autre chose au niveau de l’entreprise. Cela reste partiellement vrai pour les personnes, parce qu’un examen CREST peut être l’une des preuves de compétence sous le titre professionnel correspondant. C’est cette différence entre l’entreprise et la personne que les pages commerciales taisent.

« Sans CHECK, on n’a pas le droit de tester les systèmes de l’État britannique. » La frontière juridique n’est pas tracée par le dispositif, mais par l’autorisation : l’accès frauduleux à un système de traitement automatisé de données est un délit, que le testeur soit membre ou non — en France, l’article 323-1 du code pénal. CHECK est une politique de l’acheteur sur à qui confier le travail, non un substitut de l’autorisation, et ces deux questions valent d’être tenues à part. La conséquence pratique est qu’une autorisation écrite est toujours nécessaire, y compris lorsqu’aucun dispositif et aucun texte ne l’exigent nommément.

Ce qu’exige réellement un cahier des charges français

En France, il vaut d’abord de savoir d’où une telle exigence naît, parce que la réponse n’est pas là où on la cherche : le code de la commande publique fixe la procédure, la liberté d’accès, l’égalité de traitement, la transparence et le contenu des spécifications techniques, mais il ne nomme ni le test d’intrusion, ni CHECK, ni ITHC, ni PTaaS. L’arrêté du 30 mars 2021 portant le CCAG des marchés publics de TIC prévoit, à l’article 24, qu’un acheteur peut faire effectuer un audit de sécurité, sans prescrire un type nommé de contrôle. L’exigence de sécurité est donc dans le cahier des charges parce que l’acheteur l’y a écrite — souvent parce qu’il a une obligation qui vient d’ailleurs. La bonne question n’est pas « ce qu’exige le code de la commande publique », mais « quelle obligation pèse sur l’acheteur, et si ce marché me la transmet ».

En France, cette obligation naît de la loi n° 2018-133 du 26 février 2018 conjointement avec l’arrêté du 14 septembre 2018 fixant les règles de sécurité des opérateurs de services essentiels. C’est cet arrêté qui, pour les systèmes d’information essentiels, nomme l’audit de sécurité exigé pour l’homologation : avant de s’appuyer sur le système, puis un réexamen au moins tous les trois ans. L’arrêté ne nomme pas le test d’intrusion, ni CHECK, ni ITHC, ni PTaaS. Le détail du travail et de ses limites est écrit à part dans l’article sur ce qu’est un test d’intrusion.

En France, on qualifie le prestataire pour une activité, pas CHECK

C’est la différence qui explique la plus grande part des malentendus autour de CHECK, et elle est écrite dans le référentiel lui-même : l’ANSSI qualifie un prestataire d’audit de la sécurité des systèmes d’information (PASSI) pour des activités nommées, et le référentiel porte sur l’organisme, son personnel et le déroulement des audits. Le prestataire peut être qualifié pour une, plusieurs ou les cinq activités — architecture, configuration, code source, tests d’intrusion, audit organisationnel et physique. L’entreprise est qualifiée ou ne l’est pas, et aucune description de méthode dans l’offre ne remplace la décision de qualification.

L’exigence se partage ensuite selon qui est l’acheteur. Pour un acheteur commercial qui n’est pas un opérateur de services essentiels désigné, PASSI n’est pas un monopole légal : elle n’apparaît que si l’acheteur l’a écrite. Si le système est un système d’information essentiel d’un opérateur désigné, l’arrêté de 2018 exige un audit de sécurité pour l’homologation, et les acheteurs publics demandent alors un PASSI pour l’activité nommée. Pour les systèmes d’information d’importance vitale, il faut en plus un prestataire dont la décision de qualification couvre ces systèmes ; certains PASSI n’y sont pas admis. La France n’a pas de CHECK auquel on pourrait adhérer, et une admission à CHECK ne rend pas l’entreprise qualifiée PASSI. Pour une offre sur un cahier des charges français, c’est la qualification que le document a nommée qu’il faut prouver, non un statut britannique.

Ce qu’il faut faire figurer dans l’offre

De ce que, en France, on qualifie le prestataire pour une activité, et non CHECK, il résulte aussi ce qu’il faut prouver dans l’offre, et une présentation générale de l’entreprise n’y aide pas ; ce qui aide, c’est la décision de qualification pour l’activité nommée, ou le constat que le cahier des charges n’en exige pas, avec les personnes qui feront le travail. Si plusieurs activités figurent dans le document, il vaut de dire laquelle est offerte par qui, parce que l’acheteur doit pouvoir le vérifier sans lire entre les lignes.

Il vaut aussi de ne pas prendre une liste d’exemples pour une exigence fermée, parce que les certificats de personnes parfois cités dans un cahier des charges français — CEH, OSCP — sont souvent recopiés d’un modèle étranger, et ne sont pas le chemin français : ce chemin, quand il est exigé, est la qualification PASSI pour l’activité. Une offre qui l’explique en un paragraphe facilite l’évaluation plus qu’une liasse de copies sans explication.

Un audit de conformité n’est pas un test d’intrusion, non plus en France

Dans le référentiel PASSI, à côté du test d’intrusion, se tient l’évaluation du niveau de conformité, et ce sont deux travaux distincts, à deux étalons distincts. Le test d’intrusion cherche jusqu’où un attaquant va ; l’audit de conformité vérifie si le système et les processus satisfont une exigence, et son résultat est un jugement de conformité, non une liste de faiblesses techniques.

Cela se voit le plus clairement dans les activités, rédigées séparément : le test d’intrusion identifie et, le cas échéant, exploite des vulnérabilités ; l’audit organisationnel et physique évalue la conformité de la gouvernance, des politiques et des procédures. Si le cahier des charges exige un jeu d’activités et décrit le contenu de l’autre travail, c’est une contradiction, qu’il vaut de remarquer avant l’offre, parce qu’elle signifie souvent que l’acheteur n’a pas encore tranché ce qu’il achète.

D’autres pays ont leurs propres instruments

La France a PASSI, pas CHECK, mais plusieurs pays européens ont leur propre réponse à la même question, et, si vous lisez un cahier des charges dans une autre langue, y trouver CHECK serait aussi suspect que dans un cahier français. En Lettonie, la norme qualifie une personne, non une entreprise : un salarié interne qui n’a pas travaillé sur le système, ou un spécialiste externe muni d’un certificat de test d’intrusion, ou d’une expérience équivalente — il n’y a pas de liste d’entreprises auxquelles adhérer. Un cahier des charges letton qui nomme CHECK y a donc, le plus souvent, recopié un instrument britannique.

En Espagne, le schéma national de sécurité exige un audit de sécurité au moins une fois tous les deux ans pour les systèmes d’une catégorie supérieure, et les indications méthodologiques y distinguent l’audit technique, dans lequel l’équipe travaille réellement sur le système, de l’audit de conformité, qui s’appuie sur des entretiens et des preuves. L’audit de conformité peut demander à produire un rapport antérieur de test d’intrusion, mais il n’en devient pas un. Dans les deux cas, la conclusion est la même qu’en France : le nom appartient à un pays nommé, et transposé sur un autre marché il ne signifie plus rien.

Si le cahier des charges porte tout de même « CHECK »

Si, dans un cahier des charges français, apparaissent CHECK, ITHC ou Cyber Essentials, il y a deux explications crédibles, et il vaut de les distinguer avant d’écrire l’offre. La première est que l’acheteur est vraiment un acheteur britannique, ou qu’il travaille sur un système britannique, et dans ce cas l’exigence est vraie, elle porte sur un membre, et pour la plupart des prestataires français elle n’est simplement pas tenable. La seconde — et, en pratique, la plus fréquente — est que la spécification a été reprise d’un modèle anglophone, et que son auteur n’a pas vu qu’il recopiait l’instrument d’un autre pays.

On les distingue au reste du document : si, à côté, se trouvent des renvois à la loi n° 2018-133, à l’arrêté du 14 septembre 2018 ou à une qualification PASSI, alors il s’agit d’une obligation française et CHECK y est arrivé par erreur. Cela vaut d’être posé comme une question écrite à l’acheteur pendant la consultation, non d’être deviné dans l’offre, parce que la réponse change le prix et le fait de savoir si vous pouvez candidater du tout.

Ce que signifie le mot « équivalent »

Dans beaucoup de cahiers des charges, à côté du nom du dispositif, se tient la réserve « ou équivalent », et c’est le paragraphe le plus important de toute la partie sécurité, parce que c’est lui qui décide si vous pouvez candidater. Le problème est que le mot « équivalent » y est rarement défini, et qu’il signifie donc des choses différentes selon qui le lit.

En pratique, la charge de la preuve passe au candidat : vous devez montrer en quoi ce qui est proposé est équivalent. La réponse n’est pas le nom d’un certificat, mais une comparaison trait par trait — qui teste et avec quelle qualification, si les vulnérabilités trouvées sont exploitées, quel est le périmètre, quelle est la forme du rapport et s’il y a un nouveau contrôle après les correctifs. Si ces traits coïncident, l’équivalence est descriptible ; s’il en diffère un seul d’essentiel, plus honnête de le dire que d’espérer que personne ne comparera. L’absence de la réserve « ou équivalent » est un signal tout aussi clair dans l’autre sens, parce qu’un cahier des charges qui exige un dispositif étranger nommé, sans alternative, resserre le cercle des candidats à quelques entreprises, et c’est une question à poser à l’acheteur avant d’admettre que candidater est impossible.

Combien de temps un rapport reste-t-il valable

Les délais apparaissent dans les cahiers des charges sous trois formes, qui viennent de lieux tout à fait distincts et ne sont donc pas interchangeables : pour un raccordement au réseau britannique, le rapport ne doit pas avoir plus d’un an et ne peut pas être réutilisé dans la demande d’attestation suivante. En France, l’arrêté de 2018 attache le délai au cycle de vie du système d’information essentiel, en exigeant un audit à l’homologation puis un rythme de trois ans, tandis que, dans un contrat commercial, le délai est simplement celui que les parties ont écrit, et l’on peut en convenir.

Dans les trois cas, le délai de calendrier ne suffit pas, parce qu’un rapport de test d’intrusion décrit un système nommé à une date nommée, si bien qu’après un changement essentiel — une nouvelle intégration, un nouveau schéma de rôles, une refonte des flux de paiement — le rapport vieillit plus vite que le temps. C’est pourquoi les délais réglementaires, comme les standards du métier, nomment souvent le changement à côté de l’intervalle.

En pratique, cela signifie deux choses qu’il vaut d’écrire séparément dans l’offre. Premièrement, dire clairement à quelle version ou quelle livraison du système le rapport se rattache, parce que c’est cela qui, plus tard, tranche le différend sur le fait de savoir si un constat est nouveau. Deuxièmement, convenir à part d’un nouveau contrôle après les correctifs, parce qu’un constat qui a été corrigé, et un constat dont quelqu’un croit qu’il a été corrigé, diffèrent.

Comment lire l’exigence avant de préparer l’offre

En pratique, quatre questions suffisent, posées dans un ordre fixé, parce que chacune n’a de sens que lorsque la précédente a sa réponse. La première est quel système est contrôlé — le livrable, ou celui du fournisseur, et cette question sépare Cyber Essentials de tout le reste. La deuxième est si l’exigence nomme le statut du prestataire ou la qualification d’une personne : un statut CHECK pointe vers un dispositif étranger, qu’une entreprise française ne peut en général pas tenir ; un statut PASSI, vers une qualification pour une activité, qu’elle peut tenir si elle l’a ; une qualification de personne, vers un modèle recopié. La troisième est si les vulnérabilités trouvées doivent être exploitées : si oui, il s’agit d’un test d’intrusion ; s’il suffit d’une liste de constats, c’est un scan, qui coûte une autre somme. La quatrième est à quelle norme l’acheteur se réfère, et, s’il ne s’en réfère à aucune, l’exigence est son propre choix, ce qui signifie que l’on peut parler du périmètre.

Ce que cela donne en pratique se voit le mieux sur une formulation typique, telle qu’elle tend à figurer dans un cahier des charges : « Le soumissionnaire devra fournir un audit de sécurité du système conforme à CHECK ou à une méthodologie équivalente. » La première question répond tout de suite — le système contrôlé est le livrable, donc Cyber Essentials tombe. La deuxième montre que c’est le statut du prestataire qui est nommé, et que c’est un dispositif étranger. La troisième reste sans réponse, parce que le mot « audit » ne dit pas si les vulnérabilités seront exploitées. La quatrième est décisive : s’il n’y a plus loin de renvoi à aucune norme, l’exigence est le choix de l’acheteur, la réserve « ou équivalente » est une porte ouverte, et la question à poser n’est plus qu’une — les vulnérabilités trouvées doivent-elles être exploitées. Si le cahier des charges n’y répond pas, il vaut de les demander par écrit, et ce n’est pas une formalité : un cahier des charges qui nomme un dispositif sans dire le périmètre produit des offres incomparables, et c’est la perte de l’acheteur, non du candidat.

Quand il s’agit d’un simple contrôle de sécurité de site web

Dans une part des cas, surtout dans les marchés plus modestes, derrière tous ces noms se tient un besoin plus simple : l’acheteur veut savoir si son site web ou son application est sûr avant la mise en service. Il n’y a là ni système d’information essentiel, ni réseau des services publics, ni exigence de chaîne d’approvisionnement — seulement le souhait de ne pas mettre en production quelque chose qui se fait pirater dès le premier mois.

Cette frontière vaut d’être reconnue honnêtement aussi du côté du prestataire, pas seulement de l’acheteur. Si le cahier des charges exige réellement l’admission à un dispositif étranger, la bonne réponse est de ne pas candidater, ou de candidater en groupement avec celui qui y est admis — non de décrire sa méthode pour paraître voisin. La commission le remarque, et le prix de réputation est plus élevé qu’un marché perdu.

C’est dans ce cas qu’a sa place notre audit de sécurité de site web, où il y a aussi de la place pour un contrôle manuel avec autorisation écrite. Ce n’est pas CHECK, ce n’est pas un ITHC, et il n’est pas délivré pour tel ; c’est le travail qui répond à la question qui a été posée. Si vous avez le cahier des charges sur la table et que vous ne voyez pas dans laquelle de ces catégories il tombe, envoyez-nous la partie sécurité des spécifications, et nous dirons quel instrument y est nommé — y compris lorsque la réponse est que ce n’est pas un travail pour nous.