Los especialistas en pruebas Applause han presentado una solución de inteligencia artificial que promete ayudar a abordar el sesgo algorítmico al tiempo que proporciona la escala de datos necesarios para una capacitación sólida.

Aplausos ha creado una vasta comunidad global de evaluadores para su solución de prueba de aplicaciones en la que confían marcas como Google, Uber, PayPal y más. La compañía está aprovechando este activo relativamente único para ayudar a superar algunos de los mayores obstáculos que enfrenta el desarrollo de IA.

AI News habló con Kristin Simonini, vicepresidenta de productos de Applause, sobre la nueva solución de la compañía y lo que significa para la industria antes de su discurso de apertura en AI Expo North America a finales de este mes.

"Nuestros clientes han estado necesitando soporte adicional de nuestra parte en el área de recolección de datos para respaldar sus desarrollos de IA, entrenar su sistema y luego probar la funcionalidad", explica Simonini. "Esa última parte está más en línea con lo que tradicionalmente esperan de nosotros".

Aplausos ha trabajado predominantemente con empresas en el espacio de voz, pero también su creciente expansión en cosas como recopilar y etiquetar imágenes y ejecutar documentos a través de OCR.

Esta amplia experiencia existente en áreas donde la IA se aplica con mayor frecuencia hoy en día coloca a la compañía y a sus evaluadores en una buena posición para ofrecer comentarios realmente útiles sobre dónde se pueden realizar mejoras.

Específicamente, la nueva solución de Applause opera en cinco tipos únicos de compromisos de IA:

  • Voz: pronunciaciones de origen para entrenar dispositivos habilitados para voz y probar esos dispositivos para asegurarse de que entiendan y respondan con precisión.
  • OCR (reconocimiento de caracteres optimizado): proporcione documentos y el texto correspondiente para entrenar algoritmos para reconocer el texto, y compare los documentos impresos y el texto reconocido para mayor precisión.
  • Reconocimiento de imágenes: entregue fotos tomadas de objetos y ubicaciones predefinidos, y asegúrese de que los objetos se reconozcan e identifiquen correctamente.
  • Biometría: obtenga entradas biométricas como caras y huellas dactilares, y pruebe si esas entradas dan como resultado una experiencia fácil de usar y que realmente funcione
  • Chatbots: brinde preguntas de ejemplo y diferentes intenciones para que los chatbots respondan e interactúe con los chatbots para asegurarse de que entiendan y respondan con precisión de una manera similar a la humana.

“Tenemos esta comunidad global lista que está en condiciones de reunir cualquier información que una organización pueda estar buscando, hacerlo a escala y hacerlo con esa amplitud y profundidad, en términos de ubicaciones, géneros, razas, dispositivos y todo tipos de condiciones, que permiten obtener un conjunto muy diverso de datos para entrenar un sistema de inteligencia artificial ".

Algunos ejemplos que ofrece Simonini de los tipos de datos de capacitación que los evaluadores globales de Applause pueden proporcionar incluyen declaraciones de voz, documentos específicos e imágenes que cumplen con criterios establecidos como "esquinas de la calle" o "gatos". La falta de tales conjuntos de datos de nicho con la diversidad necesaria es uno de los mayores obstáculos que enfrenta hoy y uno que Applause espera ayudar a superar.

Una responsabilidad significativa

Todos los involucrados en el desarrollo de tecnologías emergentes tienen una responsabilidad significativa. La IA es particularmente sensible porque todos saben que tendrá un gran impacto en la mayoría de las sociedades del mundo, pero nadie puede De Verdad predecir cómo.

¿Cuántos trabajos reemplazará la IA? ¿Se usará para robots asesinos? ¿Tomará decisiones sobre si lanzar un misil? ¿En qué medida se utilizará el reconocimiento facial en toda la sociedad? Estas son preguntas importantes que nadie puede dar una respuesta garantizada, pero ciertamente está en la mente de un público que ha crecido en torno a cosas como 1984 y Terminator.

Una de las principales preocupaciones sobre la IA es el sesgo. El fantástico trabajo de la Liga de Justicia Algorítmica ha descubierto grandes disparidades entre la efectividad de los algoritmos de reconocimiento facial que dependen de la raza y el género de cada individuo. Por ejemplo, el algoritmo de reconocimiento facial de IBM tenía una precisión del 99.7 por ciento cuando se usaba en hombres de piel más clara en comparación con solo el 65.3 por ciento en mujeres de piel más oscura.

Simonini destaca otro estudio que leyó recientemente donde la precisión de la voz para los hombres blancos era superior al 90 por ciento. Sin embargo, para las mujeres afroamericanas, era más como el 30 por ciento.

Abordar tales disparidades no solo es necesario para evitar cosas como automatizar inadvertidamente el perfil racial o dar a algunas partes de la sociedad una ventaja sobre otras, sino también para permitir que la IA alcance su máximo potencial.

Si bien existen muchas preocupaciones, la IA tiene una gran cantidad de poder para siempre, siempre que se desarrolle de manera responsable. La IA puede generar eficiencias para reducir nuestro impacto ambiental, liberar más tiempo para pasar con nuestros seres queridos y mejorar radicalmente la vida de las personas con discapacidad.

El hecho de que las empresas no se hagan responsables de sus desarrollos conducirá a una regulación excesiva, y la regulación excesiva conducirá a una innovación reducida. Le preguntamos a Simonini si cree que las pruebas robustas reducirán la probabilidad de sobrerregulación.

"Creo que ciertamente ha mejorado la situación. Creo que siempre habrá situaciones en las que la gente intentará regular, pero si realmente puede demostrar que se ha realizado un esfuerzo para alcanzar un alto nivel de precisión y profundidad, entonces creo que sería menos probable ".

Las pruebas en humanos siguen siendo esenciales

Aplausos no es la única compañía que trabaja para reducir el sesgo en los algoritmos. IBM, por ejemplo, tiene una herramienta llamada Fairness 360, que es esencialmente una IA utilizada para escanear otros algoritmos en busca de signos de sesgo. Le preguntamos a Simonini por qué Applause cree que las pruebas en humanos aún son necesarias.

"Los humanos son impredecibles en cómo van a reaccionar ante algo y de qué manera lo van a hacer, cómo eligen interactuar con estos dispositivos y aplicaciones", comenta Simonini. "Todavía no hemos visto el advenimiento de poder hacerlo efectivamente sin el elemento humano".

Un desafío a menudo destacado con el reconocimiento de voz es la gran variedad de idiomas que se hablan y sus dialectos regionales. Muchos sistemas de reconocimiento de voz estadounidenses incluso luchan con mi acento del suroeste de Inglaterra.

Simonini agrega otra consideración sobre las palabras de argot y la necesidad de servicios de voz para mantenerse al día con los vocabularios cambiantes.

"A los adolescentes de hoy les gusta, cuando algo está caliente o frío, decir que es" fuego " [“lit” I believe is another one, just to prove I’m still down with the kids]", Explica Simonini. "Pudimos llevar estos dispositivos a los hogares y realmente tratar de comprender algunos de esos matices".

Simonini luego explica el desafío de comprender el contexto de estos matices. En su ejemplo de "fuego", hay una clara necesidad de entender cuándo hay un fuego literal y cuando alguien simplemente dice que algo está bien.

“¿Cómo distingues entre ser una verdadera emergencia? Mi volumen, mi tono y todo lo demás sobre cómo he usado ese mismo comando de voz será diferente ".

El crecimiento de las aplicaciones y servicios de IA

Aplausos estableció su negocio en pruebas de aplicaciones tradicionales. Dado el crecimiento esperado en las aplicaciones y servicios de IA, le preguntamos a Simonini si Applause cree que su solución de prueba de IA será tan grande, o tal vez incluso más grande, que su negocio actual de prueba de aplicaciones.

“Hablamos de eso; ya sabes, ¿qué tan rápido va a crecer esto? ", dice Simonini. "No quiero seguir hablando de la voz, pero si observan estadísticamente el crecimiento del mercado de la voz en relación con el crecimiento y la adopción de los dispositivos móviles; está sucediendo a un ritmo mucho más rápido ".

"Creo que va a ser una parte creciente de nuestro negocio, pero no creo que necesariamente vaya a reemplazar nada dado que esos canales [such as mobile and desktop apps] seguirán vivos y complementarios entre sí ".

Simonini hablará en AI Expo North America el 13 de noviembre en una nota clave titulada Por qué el elemento humano sigue siendo esencial en la IA aplicada. Le preguntamos qué pueden esperar los asistentes de su charla.

“El ángulo sobre el que elegimos hablar es en realidad esta intersección de lo humano y la IA y por qué nosotros, dado que es el negocio en el que estamos y lo que vemos día tras día, no creemos que se convierte en el reemplazo de cómo puede funcionar y complementarse entre sí ".

"Realmente es un poco de donde aterrizamos cuando salimos para averiguar si se puede reemplazar un ejército de personas con un ejército de robots y obtener los mismos resultados". Y básicamente eso no, todavía hay necesidades muy centradas en los humanos desde una perspectiva de prueba ".

¿Interesado en escuchar a líderes de la industria discutir temas como este? Asista a la 5G Expo, IoT Tech Expo, Blockchain Expo, AI & Big Data Expo y Cyber ​​Security & Cloud Expo World Series con eventos próximos en Silicon Valley, Londres y Amsterdam.






Dejar respuesta

Please enter your comment!
Please enter your name here