Actions

Nos Publications

Débat

IA & Reconnaissance faciale

  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

[Réglementation européenne]
Alors que le Contrôleur Européen de la Protection des Données (CEPD) a émis son désaccord quant à certains aspects présents dans la nouvelle législation européenne… Les membres et experts de l’Institut EuropIA se sont exprimés sur le sujet ! Et vous, quelle est votre position sur l’IA et la reconnaissance faciale ?
https://www.actuia.com/actualite/reglementation-europeenne-sur-lia-le-cepd-exprime-sa-reserve-sur-la-reconnaissance-faciale/

“Je pense qu’il y a un véritable risque sociétal dans l’usage massif et non contrôlé de la reconnaissance faciale, un déploiement malheureusement favorisé par les risques d’attentats et les risques  sanitaires de ces derniers temps. Dans ce contexte je pense que l’Europe doit légiférer sur le sujet différemment des USAs et de la Chine que ce soit pour des usages sécuritaires ou commerciaux. 

J’exprime également une certaine réserve sur les capacités actuelles des IAs à reconnaitre précisément les visages humains et en particulier les émotions comme cela est exprimé dans les articles récents suivants 

Artificial Intelligence Is Misreading Human Emotion – The Atlantic

L’intelligence artificielle est-elle prête à comprendre les émotions humaines ? (theconversation.com)

Laurent Londeix, Délégué régional Provence Côte d’Azur chez Orange et membre Institut EuropIA

” J’irai plus loin que Laurent : les algorithmes d’intelligence artificielle ne fonctionnent pas ! En tout cas pas comme les équipes marketing nous le vendent, et malheureusement bon nombre d’équipes de recherche puisque nous sommes payés sur projet, vous n’obtiendrez jamais de financement en confessant que vous travaillez sur des algorithmes loin de fonctionner comme tout le monde le fantasme.

Ce n’est pas pour rien que les villes américaines de San Francisco, Boston, La Nouvelle Orléans, Portland, Seattle, etc. ont toutes posé un moratoire sur l’usage de la reconnaissance de visage.
Les entreprises qui vendent cette technologie vendent du “”rêve”” (même en Chine cela ne fonctionne pas !!) :  https://www.scmp.com/abacus/tech/article/3029424/man-mistaken-his-co-workers-illustrates-flaws-facial-recognition
On peut aussi écouter les résultats des très bons travaux d’une récente PhD du MIT, Joy Buolamwini : https://www.media.mit.edu/projects/gender-shades/overview/

Cette chercheuse a mis en évidence un très gros problème (connu depuis longtemps) des modèles d’apprentissage statistique qui sont très sensibles aux biais dans les données, et c’est un problème sans fin : Elle a identifié un problème d’ethnie et de genre, mais des biais plus faibles peuvent quand même perdurer (l’âge, le poids, etc). De nombreux travaux exhibent ces problèmes, et de nombreux autres essayent d’y remédier. Nous collaborons avec des collègues de l’Université de Laval pour essayer de résoudre ces problèmes (plutôt avec des objectifs vers le médical).

Peut-on vraiment prendre des décisions légales/juridiques sur la base de telles technologies ? Comment serez-vous sûr.e.s que vous ne faites pas partie d’une catégorie sous-représentée (ou sur-représentée) et donc sur laquelle l’algorithme produira une prédiction potentiellement erronée… que ce soit pour votre identification par votre visage, votre demande de prêt à la banque, le prochain diagnostique lors de votre prochaine visite à l’hôpital ?  

Ce problème est d’ailleurs un problème actuel très fort en recherche médicale : que vaut un modèle construit à partir des patientes et patients de Nice, sur des patientes et patients de Brest ? On sait très bien aujourd’hui que le transfert n’est médicalement pas garanti ! Et pourtant de nombreuses start-up (et de collègues) vendent du rêve sur l’avenir de l’IA en santé…
J’ai fait partie du Comité d’experts pour la CNEDIMTS (Commission nationale d’évaluation des dispositifs médicaux et des technologies de santé) dédiée à l’IA, qui ont défini une grille d’évaluation stricte et complète pour ne pas laisser certifier des dispositifs médicaux intégrant de l’IA qui ne garantissent pas une robustesse, une fiabilité, et une maitrise sans faille.

On est actuellement sur le sujet de l’IA dans la même situation que si des laboratoires pharmaceutiques sortaient des médicaments sans aucun test au préalable. Laissons travailler les chercheuses et chercheurs en IA pour qu’elles et ils aient le temps de produire des modèles robustes, fiables, et maitrisés.

Il faut arrêter de parler de l’éthique de l’IA qui n’a aucun sens scientifique, mais de l’USAGE éthique des algorithmes (d’IA ou autre). Un usage éthique des algorithmes d’IA ne devrait pas permettre les utilisations actuelles de la reconnaissance de visage.

Après, si c’est pour reconnaître les animaux du parc du Mercantour comme on le fait en ce moment (en utilisant exactement les mêmes algorithmes), un usage moins critique peut se satisfaire d’algorithmes pas parfaitement robustes et fiables

La référence la plus emblématique est certainement Dr Gebru Timnit. Son histoire est également emblématique puisqu’elle est l’ex-responsable de l’équipe Fairness and Ethics in AI chez Google, et qu’elle a été licenciée l’année dernière justement parce que ses prises de positions et ses exposés scientifiques (!!) faisaient du tort au business de Google. Elle a également pris des positions franches sur les coûts énergétiques de la construction des récents modèles qui font le succès actuel de l’IA. Ça non plus ça n’a pas plu à Google.

C’est elle qui a travaillé avec Joy Buolamwini sur le travail Gender Shades.

Son licenciement a fait tellement de vagues au sein de Google et dans la communauté du Machine Learning, que plusieurs chercheuses et chercheurs de renom ont démissionné de Google.

Son talk le plus récent avec toutes les références essentielles peut-être vu :
– ici dans la version la plus complète dans une des conférences scientifiques majeures du domaine : https://www.youtube.com/watch?v=0sBE5OyD7fk
– ou ici dans une version un peu raccourcie mais un peu moins austère (on la voit dans une vignette en haut de la vidéo tout le long) et avec un débat à la fin :https://www.youtube.com/watch?v=T2oZvzgriII 

C’est vraiment un talk très accessible sans les parties mathématiques.”

Frédéric Precioso, Responsable Intelligence Artificielle à l’ANR et Professeur à l’UCA

“Pour continuer la discussion, je m’associe complètement à ce qui a été dit par Frédéric et Laurent mais avec quelques nuances, que j’explicite ci-dessous . . .

Si je souscris totalement à l’argument avancé par Frédéric sur les dysfonctionnements actuels de l’IA , je ne pense pas qu’il soit sur le long terme suffisant , car sans être un optimiste beat sur le progrès technologique , je suis convaincu que sur le moyen terme ces »bugs «  seront corrigés .  

Devrons-nous à ce moment accepter la reconnaissance faciale ? 

Bien évidemment non car cette technologie sape les fondements même des sociétés démocratiques dont 2 piliers sont  la préservation des libertés individuelles et l’Etat de Droit .

Ceci étant, nos Sociétés sont face à des périls nombreux – terrorisme , pandémie , catastrophes écologiques, qui nourrissent le besoin de sécurité chez  nos concitoyens 

Et je crains que la reconnaissance faciale soit un outil de nos gouvernements pour satisfaire ce besoin de sécurité qu’il sera de plus en plus difficile d’occulter .

D’où ma position. 

Interdiction de l’utilisation de la reconnaissance faciale dans la foule, sauf autorisation expresse d’un juge basé sur des faits suffisamment documentés et justifiés.

Utilisation de la RF pour entrer dans certains bâtiments sous réserve de l’accord de la Cnil (ou d’un organisme de même type indépendant du pouvoir politique ) 

Destruction des données recueillies après une certaine période (6 mois)  sauf  là encore accord explicite d’un juge . 

Pour conclure, me revient en mémoire une phrase de Gramsci :

« Le vieux monde se meurt, le nouveau monde tarde à apparaître et dans ce clair-obscur surgissent les monstres »

Ce monstre c’est entre-autre ce que permettra la technologie tel que le décrivait Orwell.

Ce n’est pas le monde dans lequel je veux vivre et que je veux laisser à mes enfants.”

Christian Tordo, Administrateur Institut EuropiA

“Pour qu’il y ait débat, il faut des avis divergents ce que je ne manquerai pas de vous proposer. Il est tellement plus facile d’être contre la reconnaissance faciale que d’en chercher la pertinence.

Je pense qu’il faut être plus mesuré sur le thème de la reconnaissance faciale à la fois dans un sens comme dans l’autre. C’est une discipline que j’ai utilisé dans le domaine criminalistique et judiciaire (sous le contrôle d’un magistrat) et cela m’a permis de contribuer à l’identification de délinquants comme de criminels. Considérer l’IA comme la RF innefficace est exagérée. L’important  est le cadre applicatif des utilisations. En environnement controlé cela fonctionne plutôt très bien.  Cela ne veut pas dire que cela fonctionne parfaitement en milieu ouvert loin s’en faut.

Néanmoins poursuivre les travaux en RF est important, non pas pour surveiller, je ne connais personne qui souhaite vivre en “1984” mais pour protéger et ce n’est pas simplement du verbiage.  

Gardons en tête aussi que le sujet n’est pas que la RF automatique est faillible, c’est le cas et le sera toujours mais il faut aussi se demander si cette RF n’est pas bien meilleure que l’humain. J’ai eu l’occasion d’entendre de nombreux témoignage sur des affaires judiciaires et puis vous assurer que le témoignage humain est largement faillible pour autant il a toujours sa place dans l’enquête. j’ai eu l’occasion d’entendre des aveux qui étaient également faux. Il faut donc garder la mesure et savoir pondérer la valeur probante de l’apport de la reconnaissance faciale comme celle de l’humain et comme tout élément de preuve.

L’intérêt des systèmes d’IA c’est aussi qu’ils sont mesurables par rapport aux résultats fournis contrairement là aussi à une classification humaine. 

Concernant les algorithmes racistes, c’est là encore une mauvaise interprétation car c’est la méthode mathématique sous-jacente qui est discriminante et non l’algo. J’irai même plus loin c’est la finalité des méthodes de classification de discriminer et de maximiser l’inter classe en minimisant l’intra classe. Alors exploitant l’IA pour mettre en évidence les biais dans les données qui relèvent bien souvent de l’humain. Mais c’est tellement plus simple d’accuser l’algorithme et en plus cela permet d’accéder à des financements pour des projets européens.

Pour ce qui est de la régulation, elle est essentielle mais elle ne doit pas être idéologique mais bien éthique dans l’intérêt du bien commun en préservant les libertés individuelles et en protégeant les données à caractère personnel. Ce n’est pas simple, c’est la raison pour laquelle la connaissance est un enjeu fondamental tant au niveau des applications que de la science.  L’IA est une discipline en évolution et pose un véritable problème mathématique qui est l’appréhension des structures invariantes des éléments dans des espaces de grande dimension. C’est ce qui rend l’IA si passionnante et la raison pour laquelle il faut continuer la recherche dans ce domaine.

Et pour être honnête je ne souhaite pas vivre dans une société sans biais, une société de clones sans personnalité. Évidemment que nous sommes emprunts de biais c’est notre identité. Difficile alors d’exiger une IA sans biais et même impossible en réalité.

Enfin, le gouvernement français n’envisage pas la RF pour satisfaire au besoin inéluctable de sécurité, il ne faut pas imaginer le gouvernement (qui émane d’un parcours démocratique) comme une entité de surveillance et de dictature. D’ailleurs, les dictatures n’ont pas besoin de RF pour commettre des massacres ou des déportations.

Mais, il est aussi évident que l’IA comme toute discipline scientifique aura ses usages malveillants qui ne respecteront pas de toute façon les régulations mises en place.”

Colonel Patrick Perrot, Expert IA & Enjeux de sécurité Institut EuropIA.

“Remercions Marco Landi qui nous donne ici l’occasion d’échanger et de susciter le débat : c’est ce dont nous avons éminemment besoin ! J’ajouterai donc quelques lignes, rapidement, à la suite des échanges de Frédéric et Patrick.

Je commencerai par donner rapidement mon point de vue sur la proposition de texte de la commission européenne : le défi était tel qu’il ne pouvait susciter que des mécontentements, entre ceux pour qui le texte est en-deçà des enjeux et les autres pour lequel le texte va au-delà de ce qui était attendu. Pour ma part, je trouve que la portée symbolique est importante : l’Europe se saisit du sujet et, comme elle avait pu déjà le faire pour les données personnelles, elle apparaît comme le leader en matière de régulation des systèmes d’IA (leader en tant que premier d’un point de vue chronologique et non pas nécessairement en tant que leader d’un point de vue qualitatif… Mais c’est un autre sujet).

Le message est d’abord politique et montre que le sujet ne peut plus faire l’économie du débat démocratique. C’est donc aux régulateurs et aux législateurs d’agir à présent. C’est un point important car, jusqu’à présent, nous avons vu une multitude d’initiatives issues du secteur privé qui ont préempté l’espace des possibles dans l’ombre du débat démocratique (en mettant sur le marché des systèmes pour lesquels nous n’avons pas encore eu le temps de penser l’encadrement dans la perspective des dangers potentiels).

Cette reprise en main par le pouvoir politique appelle aussi à une mobilisation des experts, des sachant, de la doctrine, ce que modestement nous essayons tous de faire à notre échelle : nous connaissons tous les travers du lobbyisme et de la bureaucratie bruxelloise. Cette dernière est à peu près autant biaisée que les algorithmes qui nous préoccupent. Pour avoir travaillé un temps avec la députée Brenier, au sujet d’un cadre législatif relatif au dispositif de reconnaissance faciale, je mesure aussi combien le débat est compliqué dans un contexte où tous les grands services publics sont devenus largement impécunieux. Je rejoins le point de vue de Patrick : les expertises judiciaires sont parfois scandaleuses, de même qu’un certain nombre de procédures visant à établir la véracité des faits. Une justice qui n’a plus les moyens humains et financiers de travailler correctement (et ce constat est aussi valable pour les forces de police ou de gendarmerie et je n’oserais ajouter l’université) a la tentation de recourir à des dispositifs technologiques qui sont là aussi pour pallier le manque de ressources humaines. Pour garder « A Human In The Loop », pour reprendre l’expression des spécialistes du traitement des données, encore faut-il que la délégation à des systèmes algorithmiques se fasse sous le contrôle d’humains qualifiés. 

Par ailleurs, les points de vue évoqués rejoignent l’idée selon laquelle il nous appartient de veiller à ne pas basculer dans une société de la quantification et de l’optimisation par des processus automatiques ; au-delà des biais et des discriminations qui sont, évidemment, un sujet de préoccupation en soi, la gouvernance algorithmique soulève d’autres inquiétudes, tout aussi profondes, sur la manière dont s’expriment et sont contrôlées les interactions sociales. Nous discutons, ni plus ni moins, de ce qui fait notre essence en tant qu’êtres humains : notre rapport au collectif et au vivre ensemble. À cet égard, les remarques de Fréderic sont extrêmement précieuses et doivent être gardées en mémoire.

Pour finir, il me semble qu’il y a un point positif : la régulation passe enfin par des dispositifs juridiques c’est-à-dire des dispositifs qui fixent des lignes claires entre ce qui est autorisé, ce qui est soumis à autorisation, et ce qui est interdit. L’éthique est encore autre chose : si elle doit demeurer omniprésente dans toute décision politique, indépendamment de l’intelligence artificielle, elle ne saurait remplacer l’affirmation de principes juridiques suffisamment forts et contraignants pour :

– cadrer l’action des pouvoirs économiques privés, 

– mettre en place des procédures transparentes d’audit algorithmique (sans poser un principe de transparence algorithmique qui ne veut rien dire), – – travailler sur l’idée d’une intelligence artificielle soutenable ou durable, ce qui implique de questionner sa conformité aux règles juridiques (compliance), environnementales et son acceptabilité sociale.

Ces sujets feront partie de mon plan de travail à partir de septembre prochain et je compte notamment inviter le professeur belge Hughes Bersini que certains connaissent peut-être et qui pilote un grand laboratoire d’IA à Bruxelles. Nous reparlerons de l’acceptabilité sociale des dispositifs d’IA  et si le sujet vous intéresse, je vous tiendrai informés des séminaires et conférences que nous ferons. 

Je suis aussi convaincue que le dialogue et l’expression des idées contraires est fondamental pour nous faire avancer collectivement.”

Marina Teller, Expert IA & Ethique Institut EuropIA

“Même si la régulation est européenne (pour le moment), la reconnaissance faciale est une question mondiale.

Je vais me permettre alors de rejoindre le débat. En plus, il a été annoncé en début de semaine, que Casablanca la capitale économique du Maroc sera dotée de caméras à reconnaissance faciale. Un appel à projet auquel ont répondu entre autres les chinois Huwawei et Hikvision.

Légiférer trop tôt ou trop tard ? S’il faut choisir je suis pour le trop tôt ! 

« La technologie n’a pas que du bon ». Notamment quand on pense que des bugs d’un logiciel comme Horizon ont ruiné la vie d’au moins 39 personnes en les amenant à être condamnés pour vol, fraude et fausse comptabilité.

(https://www-developpez-com.cdn.ampproject.org/c/s/www.developpez.com/actu/314604/Un-mauvais-logiciel-a-envoye-des-innocents-en-prison-les-donnees-erronees-du-logiciel-Horizon-ont-ete-utilisees-pour-prouver-que-des-employes-avaient-vole-de-l-argent-mais-ils-ne-l-ont-pas-fait/?amp).

Les contraintes nous évitent les dérives et si elles ralentissent le rythme des innovations, ce n’est pas trop grave sur l’échelle de l’existence de l’humanité. Vaut mieux des applications et des systèmes qui aient du sens que de se retrouver avec des usages sans conscience.

En même temps, il est important de ne pas évacuer trop vite l’éthique des algorithmes. Elle est essentielle. Le législateur fait en principe, la somme des éthiques  pour établir une norme contraignante.  Le débat/éducation est nécessaire pour que la loi soit sous-tendue par des valeurs largement partagées. Aristote disait déjà que « L’éthique est une jurisprudence».  

Paraphrasons : les choix (éthiques) 
d’aujourd’hui sont les normes de demain. Ce cheminement est  essentiel et ne peut être contracté ; ainsi le passage au contrôle contraignant correspondra largement au choix fait par le collectif.

En outre, le mode contraignant ou la régulation ne devrait aucunement nous faire oublier qu’une autorégulation éthique est toujours nécessaire.

En 2019 OpenIA, une société de recherche a décidé de ne pas publier un système d’IA qu’elle avait créé
(https://openai.com/blog/better-language-models/) de crainte des usages malveillants potentiels. L’auto-contrôle éthique est primordial donc : La régulation ne couvrira sans doute jamais tous les usages.

« Nowhere to hide : What machines can tell from your face » (https://www.economist.com/leaders/2017/09/09/what-machines-can-tell-from-your-face). 

En effet que peuvent dire les « faces » des humains sans que tout cela ne dérive ?

 La reconnaissance faciale

–       a  permis que des algorithmes prédisent les prédispositions criminelles. 

–       a permis que des études prédisent l’orientation sexuelle, 

–     a introduit le dispositif de la distribution des « mauvais points » à l’échelle d’un pays (au-delà de la dimension culturelle et des valeurs collectives qui pourraient « justifier » la pratique), 

–       etc. 

Mais il n’y a pas que le score social chinois, il y a également le score des aéroports des USA ; SPOT en l’occurrence, qui vous octroie un score en fonction de vos expressions faciales. D’emblée des personnes  ayant des phobies de la foule  par exemple, pourraient se retrouver désavantagées, discriminées. 

Admettons que l’IA n’est probablement qu’à son balbutiement, certains usages comme la reconnaissance faciale ont déjà démontré la nécessité de son encadrement qu’il soit possible par le droit ou par l’éthique. 

Le regard humain demeure crucial pour remettre en question et douter… regard d’hommes sensibles/rompus aux problématiques morales.

Ainsi, en même temps que de courir derrière “l’homme augmenté”, il serait intelligent d’œuvrer pour des hommes humainement.”

Saïda Belouali, Expert IA & Pluriculturalisme en Ethique

“Merci pour les éléments très pertinents que chacun partage. Pour ma part, de façon assez brève je souhaite vous adresser deux sources qui ont alimenté ma réflexion. 

La première est bien sûr le communiqué de presse de la Commission Européenne (l’info à la source!) qui souligne avant tout la volonté de se saisir de cet enjeux et de l’IA, dans un une logique « éthique » comme l’évoque Thierry Breton : https://digital-strategy.ec.europa.eu/en/news/europe-fit-digital-age-commission-proposes-new-rules-and-actions-excellence-and-trust-artificial?fbclid=IwAR1ZZmUhxoylVbsljZByoR3Lg-pq5m3U2U6tGq8ggrhSj-NpIG3l2Dr7Jh0

Les enjeux de ce plan vont donc bien au-delà de la simple reconnaissance faciale : https://ec.europa.eu/france/news/20210421/nouvelles_regles_europeennes_intelligence_artificielle_fr

Pour ma part ma position à ce sujet est simple, on ne peut pas selon moi à la fois dire que l’Europe est en retard sur les autres continents à propos de l’IA, et ne pas se réjouir lorsqu’elle se saisit de manière ambitieuse d’un tel projet ! D’ailleurs, le communiqué met en avant la nécessité d’une « réglementation stricte » pour faire face aux risques de cette technologie. Je pense donc qu’en l’état la Commission cible exactement les bons enjeux avec cette proposition de plan d’action en faveur de l’excellence et de la confiance dans l’IA. Et même, s’il faut laisser le temps au processus législatif européen et aux différents débats, je crois qu’il faut déjà se féliciter de cette prise de position : nous sommes pour une fois pionniers au niveau mondial ! Si nous sommes en retard sur l’IA nous pouvons donc devenir les premiers en Europe sur cette IA Ethique comme le défend l’Institut !

Enfin, concernant les jeunes, dont j’essaie aussi de représenter humblement l’opinion dans ce débat, ils placent avant tout la confiance dans la technologie, même la reconnaissance faciale qui est en lien avec leurs attentes avant les risques mais à une condition : qu’elle se développe en étant de plus en plus encadrée, centrée sur l’humain, durable et inclusive (donc parfaitement ce à quoi la Commission aspire) : https://theconversation.com/reglementation-europeenne-de-lia-un-projet-en-phase-avec-les-attentes-des-jeunes-159719?utm_term=Autofeed&utm_medium=Social&utm_source=Facebook&fbclid=IwAR1qKkwbaZcaTT6H9QX3JhmuJSYP1DgUABZqfbZcuptkthIBJUK_IpaNpDk#Echobox=1619806816

Je pense donc que nous avons tout intérêt, en l’état, à soutenir un projet qui n’est qu’à ses débuts et pourquoi pas essayer de s’insérer dans des discussions avec Thierry Breton pour d’une part :

– Intervenir en tant que groupe d’experts dans les consultations qui seront menées par la commission pour évaluer le projet ;

– Convaincre d’autres euro-députés au Parlement de soutenir la mesure sous la forme d’un lobbying positif porté par l’Institut, avec des rencontres et des propositions phares qui leur seraient adressées par l’Institut ou co-signées avec Thierry Breton pourquoi pas soyons ambitieux ! 

Il ne faut pas sous-estimer les retombées qu’un tel projet peut avoir sur la notoriété de notre Institut et cela ferait sens avec le World AI Cannes Festival 2022. Je suis prêt à m’y engager en ce sens.”

Brahim Belasri-Nogueira, Administrateur Institut EuropIA et Président de Skema Conseil

“Je voudrais partager avec vous les fiches de deux artistes que j’avais préparé l’année passée  pour l’exposition  à la MIA  à l’occasion de la visite de l’ambassadrice du Canada  à Sophia Antipolis.  Tout était prêt et j’espère que cela puisse se faire cette année si la situation sanitaire nous le permet.

Justine Emard, jeune artiste française traite de l’IA et Emotion  et Douglas Coupland un artiste canadien très engagé  qui traite de la reconnaissance faciale et du pouvoir qui ont les grandes compagnies  d’IA.

Je partage aussi ce lien   d’un documentaire de la BBC basé sur les premières avancées de l’IA dans les années 50 et la nouvelle série que va  entre transmise.”  

 https://thoughtmaybe.com/all-watched-over-by-machines-of-loving-grace/

Diana Vicinelli Landi, Expert IA & ART

En quelques clics

Derniers articles

[#DÉBAT] Règlementation Européenne : IA & RECONNAISSANCE FACIALE
L'INTELLIGENCE ARTIFICIELLE EN QUESTIONS
TECHNOLOGIE, ART ET FINANCE

Twitter feed

Votre avis nous intéresse

  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •