Son las tecnologías de visión por computadora lo suficientemente robustas como para generar descripciones de texto para fotos en una variedad de dominios
Esa es la pregunta que los científicos de LinkedIn han estado investigando en los últimos años, soluciones que detallaron en una publicación de blog esta tarde. Uno de sus esfuerzos más prometedores es una herramienta que agrega descripciones alternativas sugeridas de texto para las imágenes cargadas en LinkedIn automáticamente, lo que logra mediante la plataforma de Servicios Cognitivos de Microsoft y un conjunto de datos único derivado de LinkedIn.
"Actualmente, LinkedIn permite a los miembros agregar manualmente una descripción alternativa de texto al cargar imágenes a través de la interfaz web, pero no todos los miembros eligen aprovechar esta característica", escribieron los autores contribuyentes Vipin Gupta, Ananth Sankar y Jyotsna Thapliyal. "Para mantener nuestra visión, debemos hacer que los medios enriquecidos sean accesibles para todos nuestros miembros ... [Es por eso] que estamos explorando para ayudarnos a mejorar la accesibilidad al contenido en LinkedIn".
Existen innumerables desafíos en lo que respecta a la tarea de creación automática de subtítulos, señalan Gupta y sus colegas, tal vez lo más obvio es la naturaleza subjetiva de los subtítulos en cuestión. Los mejores requieren una amplia experiencia y conocimiento de varios objetos y sus atributos, junto con información basada en el tiempo que ayuda a identificar con mayor precisión las actividades representadas.
Para abordar estas barreras, el equipo aprovechó la API de análisis de Cognitive Services para desarrollar una función que genera descripciones de texto alternativas para fotos clasificadas por puntaje de confianza. Luego reclutaron evaluadores humanos para calificar su desempeño al conciliar los puntajes, que fueron informados por descripciones de texto alternativas, categorías y etiquetas, con etiquetas que ellos mismos escribieron.
Si bien la API de Microsoft reconoció a grupos de personas, objetos como periódicos y lugares como un metro con bastante éxito, inicialmente luchó con los medios de LinkedIn que contenían imágenes con contexto profesional como diapositivas, proyectores, exposiciones, conferencias, seminarios, carteles, certificados, gráficos y más . El equipo de desarrollo resolvió esto evaluando la exactitud de las descripciones de texto alternativas existentes en LinkedIn, lo que ayudó a exponer patrones explotables específicos de la calidad de los subtítulos de las imágenes.
Tras aislar los patrones, el equipo desarrolló un metaclasificador que ayuda a filtrar las descripciones de texto que "podrían dañar las experiencias de los miembros de [LinkedIn]", además de un módulo de corrección de descripción de imagen que identifica y corrige descripciones incorrectas que contienen palabras como “Captura de pantalla”. Dicen que esta generación mejorada de subtítulos automáticos prepara el escenario para los modelos de metaclasificador creados que tienen en cuenta la taxonomía de etiquetas, un diccionario asociado y texto adicional asociado con las publicaciones de feed de LinkedIn.
“[La] incorporación de medios enriquecidos en el feed de LinkedIn plantea una pregunta: ¿es el feed totalmente inclusivo para todos los miembros de LinkedIn? Por ejemplo, ¿puede un miembro que tiene una discapacidad visual seguir disfrutando de medios enriquecidos en el feed? ¿Puede un miembro en un área con ancho de banda limitado, que podría evitar que una imagen se cargue por completo, seguir teniendo la experiencia de alimentación completa? ”, Escribieron Gupta y sus colegas. "Los equipos de inteligencia artificial de LinkedIn [continúan construyendo] modelos de descripción de imágenes para contenido multimedia enriquecido específico de la plataforma LinkedIn para ayudar a mejorar la precisión general de la descripción de imágenes".
LinkedIn no es ajeno a la IA, por supuesto. Su función de Candidatos recomendados aprende los criterios de contratación para un rol determinado y automáticamente muestra a los candidatos relevantes en una pestaña dedicada. Y su motor de búsqueda impulsado por IA aprovecha datos como el tipo de cosas que las personas publican en sus perfiles y búsquedas que realizan los candidatos para producir predicciones para los trabajos que mejor se ajustan y los solicitantes de empleo. De hecho, LinkedIn en 2016 cambió su feed de orden cronológico inverso a algo más personalizado, haciendo predicciones basadas en aprendizaje automático sobre lo que a los usuarios les gustaría y compartir.
Fecha actualización el 2021-10-11. Fecha publicación el 2019-10-11. Categoría: linkedin Autor: Oscar olg Mapa del sitio Fuente: venturebeat Version movil