| Cristina Frattone | |
| Postdoctoral research fellow, University Roma Tre | |
|
Les administrations publiques des États européens recourent de manière croissante à des systèmes de décision automatisée. Le contrôle humain est largement reconnu comme une garantie essentielle, permettant de s’assurer que les bénéfices de l’automatisation ne compromettent ni l’équité ni la justice des décisions individuelles. Après de brèves remarques sur l’interaction entre l’humain et la machine, l’article expose le cadre normatif applicable au contrôle humain. Il mène ensuite une analyse comparative incluant les jugements des juridictions nationales sur les décisions automatisées dans des domaines tels que les prestations sociales ou la fiscalité, ainsi que l’arrêt « Schufa » de la Cour de justice relatif au credit scoring. Bien que ce dernier concerne le secteur privé, cet arrêt clarifie la portée de l’article 22 du Règlement général sur la protection des données, applicable également au secteur public. S’appuyant sur cette jurisprudence, l’article tire des conclusions quant au rôle jusqu’ici attribué au contrôle humain. Il met par ailleurs en évidence certains aspects d’ordre sociotechnique qui demeurent à ce jour insuffisamment pris en compte par les juridictions. |
Public administrations in European states are increasingly relying on automated decision-making (ADM) systems. Human oversight is widely recognized as a fundamental safeguard to ensure that the benefits provided by automation do not come at the expense of fairness and justice. Following brief preliminary remarks on human-computer interaction, this article outlines the normative framework for human oversight. It then conducts a comparative analysis of relevant case law, including decisions by domestic courts on ADM systems in areas such as social benefits and taxation, as well as the ECJ’s ruling in the “Schufa” case on credit scoring. Although the latter case concerns the use of ADM in the private sector, it sheds much-needed light on the scope of Article 22 of the General Data Protection Regulation, which also applies to the public sector. Drawing from this body of case law, the article assesses the role fulfilled by human oversight in ADM systems thus far. It also highlights certain socio-technical aspects of human-machine interaction that remain insufficiently addressed by the courts to date. |
|
Over the past few years, the augmentation of decision-making activity through Artificial Intelligence (AI) technology has been at the forefront of computer science research. It promises enhanced speed, efficiency, and quality of the decision-making process. Indeed, AI systems process data faster and in greater amounts than people. Furthermore, they detect correlations that may be untraceable by a human brain. |
|
| AI-driven decision-making has thus largely been deployed in both the private and public sectors. Focusing on the automation of decisions by the government, public administration research has described this trend as a move from “street-level bureaucracies” to “screen-level” and “system-level bureaucracies”, where pivotal assessments are increasingly delegated to machines.
According to Public Sector Tech Watch, Member States of the European Union (EU) have implemented emerging technologies in public administration in at least 505 cases. The number rises to 1152 including pilot projects, and 203 projects are under development. |
L’avis du Comité scientifique
L’article de Cristina Frattone, examine le rôle du contrôle humain dans les systèmes de décision automatisée (SDA) utilisés par les administrations publiques européennes. L’étude débute par une réflexion sur les formes d’interaction homme-machine, avant d’analyser le cadre normatif européen, en particulier le Règlement général sur la protection des données (RGPD) et le règlement sur l’intelligence artificielle (AI Act), soulignant leurs exigences respectives en matière d’intervention humaine dans les processus automatisés. Sur le plan jurisprudentiel, l’article conduit une analyse comparée de décisions rendues en Italie, aux Pays-Bas et en France, mettant en exergue les convergences et divergences d’interprétation des juridictions nationales quant à la portée et à l’effectivité du contrôle humain. Une attention particulière est accordée à l’arrêt Schufa de la Cour de justice de l’Union européenne (CJUE, 7 décembre 2023), qui constitue la première interprétation substantielle de l’article 22 du RGPD par la CJUE dans le contexte du credit scoring. L’étude conclut que, malgré sa centralité théorique, la notion de contrôle humain demeure juridiquement floue et parfois instrumentalisée, risquant ainsi de diluer les responsabilités institutionnelles. L’auteure appelle à une meilleure définition normative du concept, ainsi qu’à une réflexion éthique et démocratique sur les conditions de légitimité de l’usage des SDA par les autorités publiques. Giulia ARAVANTINOU LEONIDI Professore associato en Droit public comparé – Université Roma Tre, Dipartimento di Giurisprudenza |
|
Some areas of public administration are being automated thanks to machine learning, an AI technique based on inferential and probabilistic reasoning. A computer observes some data to build a model, i.e. a set of rules, and uses the model to solve future problems. Machine learning, especially deep learning, has paved the way for increasingly complex and powerful AI systems like artificial neural networks. Nevertheless, many public services are based on hard-coded computers, like expert systems, or a combination of simple and advanced technologies. AI systems perform two main tasks in the public sector: classification and prediction. Through classification, AI systems determine an individual’s status as eligible for rights (such as welfare benefits and services) or obligations (such as tax debts). Through prediction, systems profile individuals based on specific characteristics or behavioral patterns to estimate a risk (of, for instance, tax and welfare fraud, recidivism, or in the context of child protection services). |
|