Drets fonamentals i intel·ligència artificial emocional en iBorderCtrl: reptes de l’automatització en l’àmbit migratori

Andrea Romano

Resum


La innovació digital en el camp dels controls fronterers, la migració i l’asil ha esdevingut progressivament un tema crucial en els estudis migratoris, degut a l’augment exponencial d’instruments tecnològics aplicats en aquests àmbits. El text se centra en una nova faceta d’aquest fenomen representat pel creixent interès, advertit dins i fora de la UE, en l’aplicació de sistemes d’intel·ligència artificial (IA), com noves eines experimentades i utilitzades per donar suport als procediments decisionals en els assumptes migratoris. En particular, el text centra l’atenció sobre el projecte iBorderCtrl, a través del qual s’ha experimentat un tipus particular d’IA, denominada intel·ligència artificial emocional, que suposa l’ingrés de problemàtiques inèdites en el terreny de la protecció dels drets fonamentals dels subjectes interessats i en concret dels estrangers. A aquests efectes, després de repassar la ràpida difusió de la IA en l’àmbit migratori i perfilar el concepte d’IA emocional, com a subsistema mereixedor d’una anàlisi específica, s’examinarà el projecte iBorderCtrl com un cas d’estudi, insistint en la sentència del Tribunal General de la Unió Europea, del 15 de desembre de 2021 (T-158/19) i contextualitzant-ho a la llum de la Proposta de Reglament de la Comissió Europea en matèria d’IA, valorant les repercussions que suposa la IA emocional en l’àmbit dels drets fonamentals.

Paraules clau


inteligencia artificial; reconocimiento de emociones; datos biométricos; fronteras, migración y protección internacional; derechos fundamentales

Cites


Agencia de los Derechos Fundamentales de la Unión Europea. (2019, 27 de noviembre). Facial recognition technology: fundamental rights considerations in the context of law enforcement.

Ahmad, Nafees. (2021). Refugees and Algorithmic Humanitarianism: Applying Artificial Intelligence to RSD Procedures and Immigration Decisions and Making Global Human Rights Obligations Relevant to AI Governance. International Journal on Minority and Group, 28(3), 367-435.

Barrett, Lisa Feldmann, Adolphs, Ralph, Marsella, Stacy, Martinez, Aleix M., y Pollak, Seth D. (2019). Emotional Expressions Reconsidered: Challenges to Inferring Emotions from Human Facial Movements. Psychological Science in the Public Interest, 20(1), 1-68.

Bard, Jennifer. (2021). Developing a legal framework for regulating emotion AI. Journal of Science and Technology Law, 27, 271-311.

Beduschi, Ana, y McAuliffe, Marie. (2021). Artificial Intelligence, migration and mobility. Implications for policy and practice. En Marie McAuliffe y Anna Triandafyllidou (eds.), World Migration Report 2022 (pp. 281-299). International Organization for Migration.

Biselli, Anna, y Beckmann, Lea. (2020). Invading Refugees’ Phones: Digital Forms of Migration Control. Gesellschaft für Freiheitsrechte.

Blasi Casagran, Cristina. (2021). Fundamental Rights Implications of Interconnecting Migration and Policing Databases in the EU. Human Rights Law Review, 21(2), 433-457.

Boix Palop, Andrés. (2020). Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la Administración para la adopción de decisiones. Revista de Derecho Público: Teoría y Método, 1, 223-270.

Boix Palop, Andrés. (2022). Transparencia en la utilización de inteligencia artificial por parte de la Administración. El Cronista del Estado Social y Democrático de Derecho, 100, 90-105.

Bolhuis, Marteen P., y Van Wijk, Joris. (2021). Seeking Asylum in the Digital Era: Social-Media and Mobile-Device Vetting in Asylum Procedures in Five European countries. Journal of Refugee Studies, 34(2), 1595-1617. https://doi.org/10.1093/jrs/feaa029

Brown Lydia X. Z., Shetty, Ridhi, Scherer, Matthew U., y Crawford, Andrew. (2022, mayo). Ableism and Disability Discrimination in New Surveillance Technologies. Center for Democracy & Technology. Center for Democracy & Technology.

Brouwer, Evelien. (2021). Schengen and the Administration of Exclusion: Legal Remedies Caught in between Entry Bans, Risk Assessment and Artificial Intelligence. European Journal of Migration and Law, 23(4), 485-507. https://doi.org/10.1163/15718166-12340115

Bygrave, Lee A. (2020). Article 22. Automated individual decision-making, including profiling. En Cristopher Kuner, Lee A. Bygrave, Cristopher Docksey y Laura Drechsler (eds.), The EU General Data Protection Regulation (GDPR): A Commentary (pp. 522-542). Oxford University Press.

Carrera, Sergio, Santos Vara, Juan, y Strik, Tineke. (2019). Constitutionalising the External Dimensions of EU Migration Policies in Times of Crisis. Edward Elgar Publishing.

Cotino Hueso, Lorenzo. (2019). Ética en el diseño para el desarrollo de una inteligencia artificial, robótica y big data confiables y su utilidad desde el derecho. Revista Catalana de Dret Públic, 58, 29-48. https://doi.org/10.2436/rcdp.i58.2019.3303

Cotino Hueso, Lorenzo. (2020). “SyRI, ¿a quién sanciono?” Garantías frente al uso de inteligencia artificial y decisiones automatizadas en el sector público y la sentencia holandesa de febrero de 2020. La Ley privacidad, 4.

Crawford, Kate. (2021). Atlas of AI: Power, Politics and the Planetary Costs of Artificial Intelligence. Yale University Press.

Curtin, Deirdre, y Leino-Sandberg, Päivi. (2016). Openness, transparency and the right of access to documents. Report for the Petitions Committee, European Parliament.

Dumbrava, Costica. (2021, 7 de julio). Artificial intelligence at EU borders. Overview of applications and key issues. European Parliamentary Research Service.

Elkins, Aaron, Golob, Elyse, Nunamaker, Jay, Burgoon, Judee, y Derrick, Douglas. (2014, octubre). Appraising the AVATAR for Automated Border Control. Results of a European Union Field Test of the AVATAR System for Interviewing and Passport Control. European Parliament.

European Digital Rights. (2021a, 30 de noviembre). An EU Artificial Intelligence Act for Fundamental Rights. A Civil Society Statement.

European Digital Rights. (2021b, noviembre). Uses of AI in migration and border control: A fundamental rights approach to the Artificial Intelligence Act.

European Data Protection Board, y European Data Protection Supervisor. (2021, 18 de junio). Joint Opinion 5/2021 on the proposal for a Regulation of the European Parliament and of the Council laying down harmonized rules on artificial intelligence (Artificial Intelligence Act).

European Migration Network. (2022, 10 de febrero). The use of digitalization and artificial intelligence in migration management.

Frankenberg, Günther. (2000). Datenschutz und Staatsangehörigkeit. En Dieter Simon y Manfred Weiss (eds.), Zur Autonomie des Individuums. Liber Amicorum Spiros Simitis. Nomos.

Forster, Madeleine. (2022). Refugee protection in the artificial intelligence era. A test case for rights. Chatham House.

Gremsl, Thomas, y Hödl, Elisabeth. (2022). Emotional AI: legal and ethical challenges. Information Polity, 27(2), 163-174.

Grupo de expertos de alto nivel sobre inteligencia artificial. (2019). Ethics guidelines for trustworthy AI.

Grupo de trabajo sobre protección de datos del artículo 29. (2018). Directrices sobre decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679.

Guo, Anhong, Kamar, Ece, Vaughan, Jennifer Wortman, Wallach, Hanna, y Morris, Meredith Ringel. (2019). Towards Fairness in AI for People with Disabilities: A Research Roadmap. ACM SIGACCESS Accessibility and Computing, 125, 1-9. https://doi.org/10.48550/arXiv.1907.02227

Harwell Drew, y Miroff, Nick. (2018, 17 de mayo). ICE just abandoned its dream of ‘extreme vetting’ software that could predict whether a foreign visitor would become a terrorist. The Washington Post.

Hu, Margaret. (2022). Biometrics and an AI Bill of Rights. Duquesne Law Review, 60, 283-301.

Huster, Stefan, y Karsten, Rudolph. (2008). Vom Rechtsstaat zum Präventionsstaat?. En Simon Huster y Rudolph Karsten (Eds.), Vom Rechtsstaat zum Präventionsstaat (pp. 1-24). Suhrkamp.

Izquierdo-Carrasco, Manuel. (2021). La utilización policial del reconocimiento facial automático en despliegues ocasionales en la via pública y los derechos fundamentales. En Daniel Terrón Santos y

José Luis Domínguez Álvarez (dirs.), Paula María Tomé Domínguez (coord.), Inteligencia artificial y defensa: nuevos horizontes (pp. 63-77). Aranzadi Thomson Reuters.

Jasmontaite-Zaniewicz Lina, y Zomignani Barboza, Júlia. (2021). Disproportionate surveillance: technologyassisted and automated decisions in asylum applications in the EU? International Journal of Refugee Law, 33, 89-110.

Kilpatrick, Jane, y Jones, Chris. (2022, mayo). A clear and present danger. Missing safeguards on migration and asylum in the EU’s AI Act. Statewatch.

Krügel, Tina, Schütze, RA Benjamin, y Stoklas, Jonathan. (2018, 8-13 de julio). Legal, ethical and social impact on the use of computational intelligence based systems for land border crossings [Ponencia]. 2018 International Joint Conference on Neural Networks (IJCNN), Río de Janeiro, Brasil. https://doi.org/10.1109/IJCNN.2018.8489349

Krys, Kuba, Vauclair, Melanie C., Capaldi, Colin A., Miu-Chi Lun, Vivian, Bond, Michael Harris, Domínguez-Espinosa, Alejandra, Torres, Claudio, Lipp, Ottmar V., Manickam, L. Sam S., Xing, Cai, Antalíková, Radka, Pavlopoulos, Vassilis, Teyssier, Julien, Hur, Taekyun, Hansen, Karolina, Szarota, Piotr, Ahmed, Ramadan A., Burtceva, Eleonora, Chkhaidze, Ana [...] Arriola Yu, Angela. (2016). Be careful where you smile: Culture Shapes Judgments of Intelligence and Honesty of Smiling Individuals. Journal of Nonverbal Behavior, 40, 101-116.

Lazarov, Ivan. (2022). Article 42 – Right of Access to Documents. En Steve Peers, Tamara Hervey, Jeff Kenner y Angela Ward (Eds.), The EU Charter of Fundamental Rights. A Commentary (pp. 1153-1172). Bloomsbury Publishing.

Leese, Matthias, Noori, Simon, y Scheel, Stephan. (2022). Data Matters: The Politics and Practices of Digital Border and Migration Management. Geopolitics, 27(1), 5-25. https://doi.org/10.1080/14650045.2021.1940538

McDonald, Henry. (2020, 4 de agosto). Home Office to scrap ‘racist algorithm’ for UK visa applicants. The Guardian.

Mcstay, Andrew, y Urquhart, Lachlan. (2022). In cars (are we really safest of all?): interior sensing and emotional opacity. International Review of Law, Computers & Technology, 36(3), 470-493. https://doi.org/10.1080/13600869.2021.2009181

Milios, Georgios. (2022). El derecho a la no discriminación por motivo de discapacidad: la compleja coexistencia de la normativa y jurisprudencia nacional y supranacional. Derechos y Libertades, 47, 241-271. https://doi.org/10.20318/dyl.2022.6882

Molnar, Petra. y Gill, Lex. (2018, 26 de septiembre). Bots at the Gate. A Human Rights Analysis of Automated Decision Making in Canada’s Immigration and Refugee System. Citizen Lab.

Molnar, Petra. (2021). Robots and refugees: the human rights impacts of artificial intelligence and automated decision-making in migration. En Marie McAuliffe (ed.), Research Handbook on International Migration and Digital Technology (pp. 134-151). Edward Elgar Publishing.

Nalbandian, Lucia. (2022). Increasing the accountability of automated decision-making systems: An assessment of the automated decision-making system introduced in Canada’s temporary resident visa immigration stream. Journal of Responsible Technology, 10, https://doi.org/10.1016/j.jrt.2021.100023

O’Shea, James, Crockett, Keeley, Khan, Wasiq, Kindynis, Philippos, Antoniades, Athos, y Boultadakis, Georgios. (2018, 8-13 de julio). Intelligent Deception Detection through Machine Based Interviewing [Ponencia]. 2018 International Joint Conference on Neural Networks (IJCNN), Río de Janeiro, Brasil. https://doi.org/10.1109/IJCNN.2018.8489392

Patel, Faiza, Levinson-Waldman, Rachel, DenUyl, Sophia, y Koreh, Raya. (2019). Social Media Monitoring. How the Department of Homeland Security Uses Digital Data in the Name of National Security. Brennan Center for Justice.

Ponce Solé, Juli. (2019). Inteligencia artificial, Derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico. Revista General de Derecho Administrativo, 50.

Sánchez Barrilao, Juan Francisco. (2016). El Derecho constitucional en la era de Ultrón: la informática y la inteligencia artificial como objeto constitucional. Estudios de Deusto, 64(2), 225-258.

Sánchez-Monedero Javier, y Dencik, Lina. (2022). The politics of deceptive borders: ‘biomarkers of deceit’ and the case of iBorderCtrl. Information, Communication & Society, 25(3), 413-430. https://doi.org/10.1080/1369118X.2020.1792530

Simón Castellano, Pere, y Dorado Ferrer, Xavi. (2022). Límites y garantías constitucionales frente a la identificación biométrica. IDP. Revista de Internet, Derecho y Política, 35, 1-13.

Somers, Meredith. (2019, 8 de marzo). Emotion AI, explained. MIT Sloan Management School.

Soriano, Arnanz, Alba. (2021). La propuesta de Reglamento de Inteligencia Artificial de la Unión Europea y los sistemas de alto riesgo. Revista General de Derecho de los Sectores Regulados, 8.

Statewatch. (2021, 28 de septiembre). European Commission: Artificial Intelligence Act aims “to decrease administrative burden on home affairs authorities in order not to hamper innovation”.

Tangermann, Julian. (2017). Documenting and Establishing Identity in the Migration Process. Challenges and Practices in the German Context. Focussed study by the German Contact Point for the European Migration Network (EMN). Federal Office for Migration and Refugees.

Van Den Meerssche, Dimitri. (2022). Virtual Borders: International Law and the Elusive Inequalities of Algorithmic Association. European Journal of International Law, 33(1), 171-204.

Vavoula, Niovi. (2021). Artificial Intelligence (AI) at Schengen borders: automated processing, algorithmic profiling and facial recognition in the era of techno-solutionism. European Journal of Migration and Law, 23(4), 457-484.

Vavoula, Niovi (2022, 4 de marzo). Unpacking the EU proposal for an AI Act: implications for AI systems used in the context of migration, asylum and border control management. Turkish Policy Quarterly.

Vemou, Konstantina, y Horvath, Anna. (2021). TechDispatch #1/2021 - Facial Emotion Recognition. European Data Protection Supervisor.

Viguri Cordero, Jorge Agustín. (2021). Seguridad y protección de datos en el sistema europeo común de asilo. Tirant lo Blanch.




DOI: http://dx.doi.org/10.58992/rcdp.i66.2023.3928



 Reconeixement - NoComercial - SenseObraDerivada (by-nc-nd): No es permet un ús comercial de l'obra original ni la generació d'obres derivades.