Fotos_insta | Stock | Getty Images Indique la referencia de George Orwell. Dependiendo de dónde trabaje, existe una gran posibilidad de que la inteligencia artificial esté analizando sus mensajes en Slack, Microsoft Teams, Zoom y otras aplicaciones populares. Grandes empleadores estadounidenses como Walmart, Delta Air Lines, T-Mobile , Chevron y Starbucks, así como marcas europeas como Nestlé y AstraZeneca, han recurrido a una startup de siete años, Aware, para monitorear las conversaciones entre sus bases, según la compañía. Jeff Schumann, cofundador y director ejecutivo de la startup con sede en Columbus, Ohio, dice que la IA ayuda a las empresas a «comprender el riesgo en sus comunicaciones», obteniendo una lectura del sentimiento de los empleados en tiempo real, en lugar de depender de una encuesta anual o dos veces al año. Según Schumann, con los datos del producto analítico de Aware, los clientes pueden ver cómo los empleados de un determinado grupo de edad o en una geografía particular están respondiendo a una nueva política corporativa o campaña de marketing. Las docenas de modelos de inteligencia artificial de Aware, creados para leer texto y procesar imágenes, también pueden identificar intimidación, acoso, discriminación, incumplimiento, pornografía, desnudez y otros comportamientos, dijo. La herramienta de análisis de Aware, la que monitorea el sentimiento y la toxicidad de los empleados, no Según Schumann, no tenemos la posibilidad de marcar los nombres de los empleados individuales. Pero su herramienta eDiscovery separada puede hacerlo, en caso de amenazas extremas u otros comportamientos de riesgo predeterminados por el cliente, agregó. CNBC no recibió una respuesta de Walmart, T-Mobile, Chevron, Starbucks o Nestlé con respecto a su uso de Consciente. Un representante de AstraZeneca dijo que la compañía utiliza el producto eDiscovery pero no utiliza análisis para monitorear el sentimiento o la toxicidad. Delta le dijo a CNBC que utiliza los análisis y eDiscovery de Aware para monitorear tendencias y sentimientos como una forma de recopilar comentarios de los empleados y otras partes interesadas, y para la retención de registros legales en su plataforma de redes sociales. No hace falta ser un entusiasta de las novelas distópicas para ver dónde todo podría salir muy mal. Jutta Williams, cofundadora de Humane Intelligence, una organización sin fines de lucro dedicada a la responsabilidad de la IA, dijo que la IA añade un aspecto nuevo y potencialmente problemático a los llamados programas de riesgo interno, que han existido durante años para evaluar cosas como el espionaje corporativo, especialmente dentro de las comunicaciones por correo electrónico. Hablando en términos generales sobre la inteligencia artificial de vigilancia de los empleados en lugar de la tecnología de Aware específicamente, Williams dijo a CNBC: «Mucho de esto se convierte en un crimen de pensamiento». Y añadió: «Esto es tratar a las personas como si fueran inventario de una manera que nunca había visto». La IA de vigilancia de los empleados es una pieza de rápido crecimiento pero de nicho de un mercado de IA más grande que se disparó el año pasado, tras el lanzamiento del chatbot ChatGPT de OpenAI en finales de 2022. La IA generativa se convirtió rápidamente en la frase de moda en las llamadas sobre ganancias corporativas, y alguna forma de tecnología está automatizando tareas en casi todas las industrias, desde servicios financieros e investigación biomédica hasta logística, viajes en línea y servicios públicos. Los ingresos de Aware han aumentado un 150% por año en promedio durante los últimos cinco años, dijo Schumann a CNBC, y su cliente típico tiene alrededor de 30.000 empleados. Los principales competidores incluyen Qualtrics, Relativity, Proofpoint, Smarsh y Netskope. Según los estándares de la industria, Aware se mantiene bastante eficiente. La compañía recaudó dinero por última vez en 2021, cuando recaudó 60 millones de dólares en una ronda liderada por Goldman Sachs Asset Management. Compárese eso con grandes empresas de modelos de lenguaje, o LLM, como OpenAI y Anthropic, que han recaudado miles de millones de dólares cada una, en gran parte de socios estratégicos. ‘Seguimiento de la toxicidad en tiempo real’ Schumann fundó la empresa en 2017 después de pasar casi ocho años trabajando en Colaboración empresarial en la compañía de seguros Nationwide. Antes de eso, fue empresario. Y Aware no es la primera empresa que fundó y que le hace pensar en Orwell. En 2005, Schumann fundó una empresa llamada BigBrotherLite.com. Según su perfil de LinkedIn, la empresa desarrolló un software que «mejoró la experiencia de visualización digital y móvil» de la serie de telerrealidad «Gran Hermano» de CBS. En la novela clásica de Orwell «1984», Gran Hermano era el líder de un estado totalitario en el que los ciudadanos estaban bajo vigilancia perpetua. «Construí un reproductor simple enfocado en una experiencia de consumo más limpia y fácil para que la gente vea el programa de televisión en su computadora, «, dijo Schumann en un correo electrónico. En Aware, está haciendo algo muy diferente. Cada año, la compañía publica un informe que agrega información sobre los miles de millones (en 2023, la cantidad fue de 6,5 mil millones) de mensajes enviados entre grandes empresas, tabulando el riesgo percibido. factores y puntuaciones de sentimiento en el lugar de trabajo. Schumann se refiere a los billones de mensajes enviados a través de plataformas de comunicación en el lugar de trabajo cada año como «el conjunto de datos no estructurados de más rápido crecimiento en el mundo». Al incluir otros tipos de contenido que se comparten, como imágenes y videos, la IA analítica de Aware analiza más de 100 millones de contenidos cada día. Al hacerlo, la tecnología crea un gráfico social de la empresa, observando qué equipos internamente hablan entre sí más que otros. «Siempre rastrea el sentimiento de los empleados en tiempo real y siempre rastrea la toxicidad en tiempo real», dijo Schumann sobre el análisis. herramienta. «Si usted fuera un banco que utiliza Aware y el sentimiento de la fuerza laboral se disparó en los últimos 20 minutos, es porque están hablando de algo positivo, colectivamente. La tecnología podría decirles lo que sea», confirmó Aware a CNBC. que utiliza datos de sus clientes empresariales para entrenar sus modelos de aprendizaje automático. El repositorio de datos de la compañía contiene alrededor de 6,5 mil millones de mensajes, lo que representa alrededor de 20 mil millones de interacciones individuales entre más de 3 millones de empleados únicos, dijo la compañía. Cuando un nuevo cliente se registra en la herramienta de análisis, los modelos de IA de Aware tardan unas dos semanas en entrenarse con los mensajes de los empleados y conocer los patrones de emoción y sentimiento dentro de la empresa para poder ver qué es normal y qué es anormal, dijo Schumann». No tendrá nombres de personas, para proteger la privacidad», dijo Schumann. Más bien, dijo, los clientes verán que «tal vez la fuerza laboral mayor de 40 años en esta parte de Estados Unidos esté viendo los cambios en [a] política muy negativamente debido al costo, pero todos los demás fuera de ese grupo de edad y ubicación lo ven de manera positiva porque los impacta de una manera diferente». Pero la herramienta eDiscovery de Aware funciona de manera diferente. Una empresa puede configurar el acceso basado en roles a los nombres de los empleados dependiendo de la categoría de «riesgo extremo» elegida por la empresa, que indica a la tecnología de Aware que extraiga el nombre de un individuo, en ciertos casos, para recursos humanos u otro representante de la empresa. «Algunos de los más comunes son violencia extrema, intimidación extrema, acoso, pero varía según la industria», dijo Schumann, y agregó que en los servicios financieros, se rastrearía la sospecha de uso de información privilegiada. Por ejemplo, un cliente puede especificar una política de «amenazas violentas», o cualquier otra categoría, utilizando la tecnología de Aware, dijo Schumann. y hacer que los modelos de IA monitoreen las infracciones en Slack, Microsoft Teams y Workplace by Meta. El cliente también podría combinar eso con indicadores basados ​​en reglas para ciertas frases, declaraciones y más. Si la IA encuentra algo que viola las políticas específicas de una empresa, podría proporcionar el nombre del empleado al representante designado del cliente. Este tipo de práctica se ha utilizado durante años en las comunicaciones por correo electrónico. Lo nuevo es el uso de la IA y su aplicación en plataformas de mensajería en el lugar de trabajo como Slack y Teams. Amba Kak, directora ejecutiva del AI Now Institute de la Universidad de Nueva York, se preocupa por el uso de la IA para ayudar a determinar qué se considera comportamiento de riesgo. «Tiene un efecto paralizador sobre lo que la gente dice en el lugar de trabajo», dijo Kak, añadiendo que la Comisión Federal de Comercio, el Departamento de Justicia y la Comisión de Igualdad de Oportunidades en el Empleo han expresado preocupaciones sobre el asunto, aunque no estaba hablando específicamente de la tecnología de Aware. «Se trata tanto de cuestiones de derechos de los trabajadores como de privacidad». Schumann dijo que aunque la herramienta eDiscovery de Aware permite a los equipos de investigaciones de seguridad o de recursos humanos utilizar IA para buscar en cantidades masivas de datos, hoy en día ya existe una «capacidad similar pero básica» en Slack, Teams y otras plataformas. «Una distinción clave aquí es que Aware y sus modelos de IA no toman decisiones», afirmó Schumann. «Nuestra IA simplemente hace que sea más fácil examinar este nuevo conjunto de datos para identificar riesgos potenciales o violaciones de políticas». Preocupaciones por la privacidad Incluso si los datos se agregan o se anonimizan, sugiere la investigación, es un concepto erróneo. Un estudio histórico sobre privacidad de datos que utilizó datos del censo estadounidense de 1990 mostró que el 87% de los estadounidenses podían identificarse únicamente mediante el código postal, la fecha de nacimiento y el sexo. Los clientes de Aware que utilizan su herramienta de análisis tienen el poder de agregar metadatos al seguimiento de mensajes, como la edad, ubicación, división, antigüedad o función laboral del empleado. «Lo que están diciendo se basa en una noción muy obsoleta y, yo diría, completamente desacreditada en este momento de que la anonimización o la agregación es como una panacea para resolver la preocupación por la privacidad», dijo Kak. Además, el tipo de modelo de IA Aware Los usos pueden ser efectivos para generar inferencias a partir de datos agregados, haciendo conjeturas precisas, por ejemplo, sobre identificadores personales basados ​​en el idioma, el contexto, los términos de jerga y más, según una investigación reciente. «Ninguna empresa está esencialmente en condiciones de hacer garantías amplias sobre la privacidad y seguridad de los LLM y este tipo de sistemas», dijo Kak. «No hay nadie que pueda decirte con seriedad que estos desafíos están resueltos». ¿Y qué pasa con los recursos de los empleados? Si se marca una interacción y un trabajador es disciplinado o despedido, es difícil para él ofrecer una defensa si no está al tanto de todos los datos involucrados, dijo Williams. «¿Cómo enfrenta a su acusador cuando sabemos que la explicabilidad de la IA ¿Todavía es inmaduro?» «Cuando el modelo señala una interacción», dijo Schumann, «proporciona un contexto completo sobre lo que sucedió y qué política desencadenó, brindando equipos de investigación la información que necesitan para decidir los próximos pasos de acuerdo con las políticas de la empresa y la ley.»MIRAR: La IA está ‘realmente en juego aquí’ con los recientes despidos tecnológicos

Source link