Recruter le bon candidat, accorder un crédit, identifier les bénéficiaires d’aides sociales...l’utilisation des algorithmes est désormais acquise dans bon nombre de domaines de notre vie courante et constitue, comme le qualifie le Conseil d’État en 2017 un « tournant inédit ».  On retrouve aujourd’hui les algorithmes dans des domaines aussi essentiels pour les individus que l’accès aux prestations sociales[1], la police et la justice[2], le fonctionnement des organisations telles que les hôpitaux, l’accès aux service publics^[3] ou encore les procédures d’embauches[4].

L’essor de ces technologies constitue d’incontestables évolutions : les algorithmes permettent de trier, classer ou d’ordonner des informations, de plus en plus nombreuses, en se débarrassant a priori des préjugés propres aux affects des humains, garantissant l’égalité de traitement.

En réalité, il n’y a ni magie technologique ni neutralité mathématique : les algorithmes sont conçus par des humains et à partir de données reflétant des pratiques humaines. Ainsi des biais peuvent être intégrés dans l’élaboration des systèmes et engendrer des discriminations.

Par exemple, une étude en 2018 a mis en lumière les difficultés de certains systèmes de reconnaissance faciale pour identifier les femmes, les personnes non blanches et les femmes de couleur. Le manque de représentativité des données mobilisées a été mis en cause : le stock de données sur lesquelles les modèles s’appuyaient était marqué par une très forte prédominance des visages masculins et blancs^[5].

Dans plusieurs guides et rapports, (Guide - Recruter avec des outils numériques sans discriminer, Défenseur des droits 2015 ; « Comment permettre à l’Homme de garder la main », CNIL 2017 ; Rapport Lutte contre la fraude aux prestations sociales : à quel prix pour les droits des usagers ?, Défenseur des droits 2017, Décisions Parcoursup (2018-323 du 21 décembre 2018 et 2019-21 du 18 janvier 2019), la CNIL et le Défenseur des droits ont, chacun dans leur domaine de compétences, déjà fait part de leurs préoccupations quant à l’impact de certains systèmes algorithmiques sur les droits fondamentaux^[6].

Dans la crise sanitaire inédite que le monde traverse et alors que le sujet des algorithmes discriminatoires est longtemps resté un angle mort du débat public, le Défenseur des droits et la CNIL réunissent experts, chercheurs, juristes et développeurs afin d’explorer un sujet qui appelle nécessairement des contributions techniques et innovantes de plusieurs secteurs.

A l’issue de ces travaux, une première série de recommandations sera publiée afin d’encourager une prise de conscience collective de ces phénomènes discriminatoires et la responsabilisation de tous les opérateurs utilisant ces technologies pour veiller à ce que s’applique le droit de chacun d’être traité à égalité avec les autres.