Le pape, l’IA et l’avocat : quatre inquiétudes, quatre réponses du droit (Video)

Un texte moral, des préoccupations devenues juridiques

Magnifica Humanitas se présente comme un plaidoyer pour un contrôle éthique de l’IA, refusant d’opposer la machine à l’homme pour mieux subordonner la première au second. Le texte le formule sans ambiguïté : la technologie « peut soigner, relier, éduquer, protéger la Maison commune ; mais elle peut aussi diviser, rejeter, engendrer de nouvelles injustices » (introduction, § 9). Elle n’est, ajoute-t-il, « pas neutre, car elle prend le visage de ceux qui la conçoivent, la financent, la régulent et l’utilisent ».

L’intérêt, pour le praticien du droit du numérique, ne tient pas à la dimension spirituelle de l’encyclique. Il tient à ceci : les quatre dérives que le texte identifie recoupent presque terme à terme les hypothèses que le législateur européen a entrepris de réguler. Là où le moraliste alerte, le juriste dispose déjà d’instruments. Encore faut-il en mesurer la portée exacte, et leurs angles morts.

Signalons d’emblée une limite méthodologique que nous assumons : un texte doctrinal de l’Église catholique ne crée aucune obligation et ne saurait être invoqué devant un juge. Il fonctionne ici comme une grille de lecture des risques sociaux de l’IA — rien de plus, mais rien de moins.

Surveillance et déqualification : le terrain du droit du travail et du RGPD

La première dérive décrite est celle d’une IA qui contraint le travailleur à s’aligner sur le rythme de la machine, le soumet à une surveillance automatisée constante et le cantonne à des tâches répétitives. Cette description épouse exactement le périmètre de deux corps de règles.

Du côté du droit des données, le règlement (UE) 2016/679 (RGPD) encadre tout traitement de données personnelles des salariés. La surveillance algorithmique suppose une base légale (article 6), un principe de minimisation (article 5, 1, c), une information loyale des personnes concernées (articles 12 à 14) et, dès lors qu’elle est susceptible d’engendrer un risque élevé, une analyse d’impact relative à la protection des données (article 35). La CNIL a, de longue date, rappelé que la surveillance permanente et disproportionnée des salariés est contraire à ces exigences ; sa doctrine sur les dispositifs de contrôle de l’activité demeure le cadre de référence.

Du côté du droit du travail, l’article L. 1121-1 du Code du travail pose qu’aucune restriction aux droits des personnes et aux libertés individuelles ne peut être apportée qui ne serait justifiée par la nature de la tâche à accomplir ni proportionnée au but recherché. L’article L. 1222-4 prohibe par ailleurs la collecte d’informations sur un salarié par un dispositif qui ne lui aurait pas été préalablement porté à la connaissance. L’information et la consultation du comité social et économique, au titre de l’article L. 2312-38, complètent ce dispositif lorsqu’une technologie nouvelle de contrôle est introduite.

En l’espèce — c’est-à-dire pour toute entreprise qui déploie un outil d’IA de pilotage de la productivité —, la conjonction de ces textes impose une démarche préalable et documentée. Le risque n’est pas théorique : un dispositif de surveillance déployé sans base légale claire, sans information des intéressés ni consultation des représentants du personnel, est susceptible d’être qualifié de manquement, pouvant donner lieu à sanction de la CNIL comme à contentieux prud’homal. La preuve recueillie par un procédé illicite encourt en outre l’irrecevabilité, même si la jurisprudence récente de la Cour de cassation en a assoupli les conditions.

La « gestion algorithmique déshumanisante » : la décision automatisée sous l’article 22 du RGPD

L’encyclique s’inquiète de voir l’IA décider du recrutement, de l’évaluation ou de l’octroi d’un crédit, réduisant la personne à un « profil » évalué par des systèmes opaques. C’est, en droit, l’hypothèse centrale de l’article 22 du RGPD.

Ce texte confère à toute personne le droit de ne pas faire l’objet d’une décision fondée exclusivement sur un traitement automatisé produisant des effets juridiques la concernant ou l’affectant de manière significative. Les exceptions sont limitées (nécessité contractuelle, autorisation légale, consentement explicite) et s’accompagnent, lorsqu’elles jouent, de garanties : droit d’obtenir une intervention humaine, d’exprimer son point de vue et de contester la décision. La Cour de justice de l’Union européenne, dans son arrêt SCHUFA du 7 décembre 2023 (aff. C-634/21), a retenu une lecture extensive de la notion de décision automatisée, englobant l’établissement d’un score lorsqu’il détermine en pratique l’issue d’une démarche.

L’AI Act — règlement (UE) 2024/1689 du 13 juin 2024 — vient renforcer ce socle. Il classe parmi les systèmes à haut risque (annexe III) les outils d’IA utilisés en matière de recrutement, de gestion des travailleurs ou d’accès aux services essentiels, dont le crédit. Ces systèmes sont soumis à des obligations de transparence (article 13), de contrôle humain (article 14), de gestion des risques et de documentation technique, dont l’applicabilité s’échelonne jusqu’en 2026 et 2027 selon les catégories.

Il résulte de ce qui précède que l’intuition du texte pontifical — refuser que l’algorithme exclue « sous couvert d’objectivité » sans que personne n’en assume la responsabilité — trouve une traduction juridique directe : le droit européen impose précisément que demeure, derrière la machine, une responsabilité humaine identifiable et un recours effectif. La question pratique se déplace alors de l’opportunité vers la preuve : l’entreprise devra démontrer la réalité du contrôle humain, et non se contenter de l’affirmer.

L’« exploitation invisible » : une chaîne de valeur qui n’échappe pas au droit

Le texte dénonce enfin le travail sous-payé d’annotation des données et de modération des contenus, ainsi que les conditions d’extraction des terres rares. Ces réalités, situées le plus souvent hors de l’Union, semblent à première vue échapper au droit européen. Elles n’y échappent qu’en partie.

La directive (UE) 2024/1760 du 13 juin 2024 sur le devoir de vigilance des entreprises en matière de durabilité (CS3D) impose, aux entreprises qu’elle vise, d’identifier et de prévenir les atteintes aux droits humains et à l’environnement dans leur chaîne d’activités, y compris auprès de leurs partenaires. En droit interne, la loi n° 2017-399 du 27 mars 2017 relative au devoir de vigilance des sociétés mères et entreprises donneuses d’ordre impose déjà, aux sociétés atteignant certains seuils, l’établissement et la mise en œuvre d’un plan de vigilance. Pour les acteurs de l’IA concernés, la chaîne d’approvisionnement en données et en composants entre dans le champ de ces obligations.

Nous attirons l’attention sur un point qui dépasse la question posée : à mesure que l’AI Act et les obligations de durabilité se déploient, la traçabilité des jeux de données d’entraînement — leur provenance, les conditions de leur constitution, le respect du droit d’auteur et des données personnelles — devient un actif de conformité à part entière, et un facteur de valorisation autant qu’un facteur de risque.

Recommandations — ce qu’une direction doit retenir

Au-delà de la portée symbolique du texte, cinq points méritent d’être retenus par tout décideur dont l’organisation conçoit, achète ou déploie des systèmes d’IA :

1. Cartographier les usages d’IA avant tout déploiement. Recensez les systèmes touchant aux salariés ou aux clients, et qualifiez ceux qui relèvent du « haut risque » au sens de l’AI Act (recrutement, évaluation, crédit, gestion des travailleurs).
2. Documenter la base légale et l’analyse d’impact. Pour tout traitement de surveillance ou de décision automatisée, formalisez la base légale RGPD, menez l’analyse d’impact (article 35) lorsque le risque est élevé, et conservez la trace de cette démarche.
3. Garantir — et prouver — l’intervention humaine. Lorsqu’une décision affecte significativement une personne, prévoyez un contrôle humain effectif, un droit de contestation et une information claire (articles 22 RGPD et 14 AI Act).
4. Associer les représentants du personnel. Informez et consultez le comité social et économique préalablement à l’introduction de toute nouvelle technologie de contrôle de l’activité (article L. 2312-38 du Code du travail).
5. Étendre la vigilance à la chaîne de la donnée. Intégrez la provenance des données d’entraînement et les conditions de la chaîne d’approvisionnement dans votre dispositif de conformité et, le cas échéant, votre plan de vigilance.

Une réserve s’impose. Plusieurs obligations de l’AI Act font l’objet d’un calendrier d’entrée en application échelonné, et certaines modalités restent suspendues à l’adoption d’actes d’exécution et de normes harmonisées. L’analyse devra donc être affinée au regard du système concerné et de la date effective d’application des dispositions visées.

L’encyclique rappelle que la technologie « n’est pas neutre, car elle prend le visage de ceux qui la conçoivent, la financent, la régulent et l’utilisent ». Le droit du numérique ne dit pas autre chose lorsqu’il fait reposer, derrière chaque système, une responsabilité humaine que nul algorithme ne saurait dissoudre. L’algorithme propose ; l’avocat — et le décideur — disposent.