Empresas Líderes Tecnológicas / Análisis comportamiento humano

Consultor tecnológico

Investigadores

 

Divisiones

Descripción

La medida de la experiencia de usuario está adquiriendo un rol fundamental en todas las fases del desarrollo de productos, aplicaciones y servicios. Hoy en día, se está detectando la necesidad de evolucionar hacia sistemas automáticos que detecten aspectos subjetivos de la interacción del usuario. En particular, las técnicas de eye tracking (detección de mirada), affective computing (detección de las emociones del usuario) y de scene understanding (comprensión del entorno que rodea al usuario) están destacando en este ámbito. Sin embargo, estos sistemas suelen ser altamente invasivos y/o únicamente funcionan en entornos controlados.

Nosotros ofrecemos la posibilidad de llevar estas tecnologías a cualquier usuario y lugar, permitiendo una interacción natural. A través de tecnologías de visión por computador e inteligencia artificial somos capaces de estudiar el comportamiento y afectividad del usuario desde un punto de vista multimodal, a partir del análisis de diferentes fuentes de entrada como expresiones faciales, mirada, reconocimiento gestual, voz...

Uno de los resultados, fruto de las investigaciones en este campo, es Emotracker®, la única herramienta en el estado del arte a día de hoy capaz de relacionar contenidos, mirada y afecto. Emotracker captura el orden de exploración visual y el progreso emocional del usuario mientras visualiza un contenido, construyendo “mapas de calor emocionales” y “rutas sacádicas emocionales” y permitiendo conocer dónde está mirando el usuario en cada momento y con qué emoción.

 Las aplicaciones de los algoritmos con los que trabajamos son múltiples, resultando especialmente útiles en aquellos campos en los que el análisis del comportamiento humano frente a procesos, productos, aplicaciones o contenidos suponga una ventaja competitiva o un valor añadido, como puedan ser: marketing, arte, psicología o entornos industriales.

Competencias

Línea de Investigación Tecnologías Multimedia:

Interacción multimodal hombre-máquina

Equipamientos singulares

  • Software MATLAB®.
  • Eye tracker Tobii® T60 y software Tobii Studio®.
  • Head-mounted eye tracker Arrington Research® y software ViewPoint EyeTracker®.
  • Software Noldus FaceReader 5.0®.
  • Dispositivos de interacción gestual Kinect®, Kinect2®, Leap Motion®, Hydra®, CAVE y accesorios de consolas de videojuegos (Wii Mote®, PS3 Move®, etc.).
  • Cámara de alta velocidad.
  • Software de transcodificación de vídeo Promedia Carbon® de Harmonic™.
Patentes

 

 

Proyectos I+i financiación pública

Next generation home (GENIO)

TSI-020400-2010-98 / CP6-008 (2010 - 2011)

 

QuEEN – Quality of Experience estimators in networks

IPT-2011-1235-430000 / CP8-004 (2011 - 2014)

 

TEMIS – Technologies innovatives pour quantifier et qualifier le mode de vie  pour des services de médecine personalisée 

SOE4/P1/F790 (2013 - 2014)

 

T&Tnet – Travel & transport solutions through emotional-social networking

AAL-2011-4-032 (2012 - 2015)

 

T-ASISTO 2. Desarrollo de una plataforma de servicios interactivos para la teleasistencia social a través de televisión digital terrestre

TSI-020312-2009-38 (2007 - 2008)

 

i-LAB2 – Plataforma interconectada para la definición, implementación y pruebas de servicios, aplicaciones y productos basados en el estándar MHP

TSI-020100-2008-440 (2008 - 2009)

 

Plataforma para el análisis semántico y medición del impacto de contenidos y clima social en un entorno multicanal (Internet, Radio, TDT y Movilidad)

TSI-020302-2008-69 (2008 - 2009)

 

Aplicación formativa para la videoconsola Wii visualizable en un monitor de televisión y compatible con Internet (PC) y smartphones

C20090107 (2009 - 2010)

 

Sistema interactivo de videoaventura formativa en Playstation3 para prácticas en materia de escaparatismo comercial

C20090420 (2009 - 2010)

 

MULTI-LEARNING. Plataforma de servicios formativos para la migración de objetos de aprendizaje SCORM a otros dispositivos -TDT, dispositivos móviles y Wii- y la agregación bajo demanda de usuarios de los objetos de aprendizaje multiplataforma

TSI-020312-2009-31 (2009 - 2011)

 

Centro de salud virtual interactivo en el hogar

IPT-300000-2010-013 (2010- 2012)

 

RA-IA-LEARNING. Multiplataforma de servicios para la generación de prácticas formativas basadas en realidad aumentada y agentes tutoriales dotados de inteligencia artificial.

TSI-020302-2010-155 (2010 - 2012)

 

Prácticas formativas en un entorno de formación inteligente, “habitado” por un tutor virtual dotado de cierta inteligencia emocional, y con capacidad de adaptar las estrategias de aprendizaje de forma automática a cada alumno (formación uno a uno).

C20100340 (2011)

 

Aplicación formativa, basada en Realidad Aumentada, para el aprendizaje práctico en materia de "masas congeladas y pan precocido”

C20100080 (2011)

 

Adquisición de competencias en materia de ayuda a domicilio mediante formación personalizada a través de televisión interactiva

C20100175 (2011)

 

Hospital del mundo

IPT-2011-1042-900000 (2011 - 2013)

 

Sistemas y tecnologías 3D media sobre internet del futuro y redes de difusión de nueva generación (SIRENA)

IPT-2011-1269-430000 (2011 - 2013)

 

Connected TV Lab (ConTVLAB) – Sistema distribuido de verificación, prueba y certificación de aplicaciones y servicios de TEI

IPT-2012-0871-430000 (2013 - 2014)

 

Herramienta de creación de contenidos prácticos de teleformación, basada en interacción gestual

2011

 

Sistema Inteligente de Visión para Interacción Hombre-Máquina (SIVIH)

2011

 

Sistema de videovigilancia para ascensores

2012

 

Proyecto FOR-IN-AR: Generador de aplicaciones en Realidad Aumentada y Visión Artificial para la formación interactiva en contextos reales

(2013 - 2014)

Publicaciones de artículos Científico-Tecnológicos

Hacia una representación avanzada del afecto humano para la investigación en calidad de experiencia de usuario

I. Hupont, S. Baldassarri, E. Cerezo

Revista de Diseño de Interacción - FAZ, ISSN 0718-526. (en prensa)

 

Affective-aware tutoring platform for interactive digital television

S. Baldassarri, I. Hupont, E. Cerezo, D. Abadía

 Multimedia Tools and Applications, ISSN 1380-7501, Springer, pp. 1-24. (2013)

 

From a Discrete Perspective of Emotions to Continuous, Dynamic and Multimodal Affect Sensing

Hupont, S. Ballano, E. Cerezo, S. Baldassarri

Emotion Recognition – A Pattern Analysis Approach, 978-1- 118-13066-7, Wiley-Blackwell. (2014)

 

Facial emotional classification: from a discrete perspective to a continuous emotional space

Hupont, S. Baldassarri, E. Cerezo

Pattern Analysis and Applications, ISSN 1433-7541, Springer, Vol. 16, nº 1, pp. 41-54. (2013)

 

Virtual agents in next generation interactive homes

R. Del-Hoyo, L. Sanagustín, C. Benito, I. Hupont, D. Abadía

Trends in Practical Applications of Agents and Multiagent Systems, Advances in Intelligent and Soft Computing, ISBN 978-3-642-28794-7, Springer, Vol. 157, pp. 9-17.(2012)

 

Emotional facial sensing and multimodal fusion in a continuous 2D affective space

E. Cerezo, I. Hupont, S. Baldassarri, S. Ballano

Journal of Ambient Intelligence & Humanized Computing, Special Issue on Emotional Intelligence and Ambient Intelligence, ISSN 1868-5137, Springer, Vol. 3, nº 1, pp. 31-46. (2011)

 

T-EDUCO: A t-learning tutoring tool that cares

Hupont, D. Abadía, S. Baldassarri, E. Cerezo, R. Del-Hoyo

International Journal on Artificial Intelligence Tools, ISSN 0218-2130, Vol. 20, nº4, pp. 639-661. (2011)

 

Sentic Avatar: Multimodal affective conversational agent with common sense

E. Cambria, I. Hupont, A. Hussain, E. Cerezo, S. Baldassarri

Toward Autonomous, Adaptive, and Context-Aware Multimodal Interfaces: Theoretical and Practical Issues, Lecture Notes In Computer Science, 978-3-642-18183-2, Vol. 6456, pp. 81-95, Springer. (2011)

 

Facial Emotional Classifier for Natural Interaction

Hupont, E. Cerezo, S. Baldassarri

Journal of Electronic Letters on Computer Vision and Image Analysis, Special Issue on Human Motion Analysis and Recognition, ISSN 1577-5097, Vol. 7, nº 4, pp. 1-12. (2008)

 

Affective Embodied Conversational Agents for Natural Interaction

E. Cerezo, S. Baldassarri, I. Hupont, F.J. Serón

Affective Computing Focus on Emotion Expression, Synthesis and Recognition, ISBN 978-3-902613-23-3, pp. 329-354. (2008)

Congresos y Ponencias

Is affective crowdsourcing reliable?

Hupont, P. Lebreton, T. Mäki, E. Skodras, M. Hirth

5th IEEE International Conference on Communications and Electronics, 978-1-4799-5051-5. (en prensa)

 

Emotracking Digital Art

Hupont, E. Cerezo, S. Baldassarri, R. Del-Hoyo

Human-Computer Interaction - Advanced Interaction Modalities and Techniques, Lecture Notes In Computer Science, ISBN 978-3-319-07229-6, Springer, Vol. 8511, pp. 739-749. (2014)

 

Chamber QoE – A multi-instrumental approach to explore affective aspects in relation to quality of experience

K. De Moor, F. Mazza, I. Hupont, M. Ríos, T. Mäki, M. Varela

IS&T/SPIE Electronic Imaging 2014, San Francisco, USA. (2014)

 

Advanced human affect visualization

Hupont, S. Baldassarri, E. Cerezo, R. Del-Hoyo

2013 IEEE International Conference on Systems, Man, and Cybernetics, ISSN 1062-922X, pp. 2700-2705, Manchester, UK. (2013)

 

The Emotracker - Visualizing contents, gaze and emotions at a glance

Hupont, S. Baldassarri, E. Cerezo, R. Del-Hoyo

Humaine Association Conference on Affective Computing and Intelligent Interaction (ACII 2013), ISSN 2156-8103, pp. 751-756, Geneva, Switzerland. (2013)

 

Towards Advanced Visual Representation of Human Affect for QoE Research

Hupont, E. Cerezo, S. Baldassarri, R. Del Hoyo

XIV Congreso Internacional Interacción Persona-Ordenador, 978-84-695-8352-4, pp. 131-134, Madrid, Spain. (2013)

 

Affective computing in a T-Learning application

S. Baldassarri, I. Hupont, E. Cerezo, D. Abadía

I Jornadas Iberoamericanas de Difusión y Capacitación sobre Aplicaciones y Usabilidad de la Televisión Digital Interactiva, ISBN 978-950-34-0945-9, pp. 164-177. (2013)

 

Sentic Maxine: Multimodal affective fusion and emotional paths

Hupont, E. Cambria, E. Cerezo, A. Hussain, S. Baldassarri

Advances in Neural Networks – ISNN 2012, Lecture Notes In Computer Science, ISSN 0302-9743, Springer, Vol. 7368, pp. 555-565. (2012)

 

Smart and interactive future homes - Integration of autonomic computing and new HCI methods

R. Del Hoyo, L. M. Sanagustín, C. Benito, I. Hupont, D. Abadía-Gallego

ICAART 2012 - 4th International Conference on Agents and Artificial Intelligence, ISBN 978-989-8425-95-9, Vol. 1, pp. 507-510. (2012)

 

Recognizing emotions from video in a continuous 2D space

S. Ballano, I. Hupont, E. Cerezo, S. Baldassarri

Human-Computer Interaction - INTERACT 2011, Lecture Notes In Computer Science, ISBN 978-3-642-23767-6, Vol. 6949, pp. 600-603, Springer. (2011)

 

Continuous facial affect recognition from videos

S. Ballano, I. Hupont, E. Cerezo, S. Baldassarri

XII Congreso Internacional de Interacción Persona-Ordenador, ISBN 978-84-9281-234-9, pp. 357-368, Lisboa, Portugal. (2011)

 

A novel platform for managing interactive learning with Augmented Reality and virtual agents

H. Martínez, I. Hupont, L. Sanagustín, D. Abadía, R. del-Hoyo, C. Sagües

XII Congreso Internacional de Interacción Persona-Ordenador, ISBN 978-84-9281-234-9, pp. 241-250, Lisboa, Portugal. (2011)

 

A novel tutor-guided platform for interactive Augmented Reality learning

H. Martínez, R. del-Hoyo, L. Sanagustín, I. Hupont, D. Abadía, C. Sagües

3rd International Conference on Computer Supported Education, ISBN 978-989-8425-49-2, Vol. 1, pp. 88-93, Noordwijkerhout, Holanda. (2011)

 

Scalable multimodal fusion for continuous affect sensing

Hupont, S. Ballano, S. Baldassarri, E. Cerezo

2011 IEEE Workshop on Affective Computational Intelligence, ISBN 978-1-61284-083-3, pp. 1-8, Paris, Francia. (2011)

 

Augmented Reality based intelligent interactive e-learning platform

H. Martínez, R. Del-Hoyo, L. Sanagustín, I. Hupont, D. Abadía, C. Sagües

3rd International Conference on Agents and Artificial Intelligence, ISBN 978-989-8425-40-9, Vol. 1, pp. 343-348, Roma, Italia. (2011)

 

Facial affect sensing for t-learning

Hupont, D. Abadía, S. Baldassarri, E. Cerezo, R. Del-Hoyo

22th IEEE International Conference on Tools with Artificial Intelligence, ISSN 1082-3409, pp. 256-263, Arras, Francia. (2010)

 

Sensing facial emotions in a continuous 2D affective space

Hupont, E. Cerezo, S. Baldassarri

2010 IEEE International Conference on Systems, Man, and Cybernetics, ISSN 1062-922X, pp. 2045-2051, Estambul, Turquía. (2010)

 

i-LAB: Distributed Laboratory Network for Interactive TV Set-Top Box and Services testing

D. Abadía, J. J. Navamuel, J. Vea-Murguia, F. Álvarez, J. M. Menéndez, F. A. Sánchez, G. Fernández, M. Rovira and A. Domech

Proceedings of 13th IEEE International Symposium on Consumer Electronics, pp 773 – 776, Kioto (Japan) (2009)

 

Towards an intelligent affective multimodal virtual agent for uncertain environments

Hupont, R. Del-Hoyo, S. Baldassarri, E. Cerezo, F.J. Serón, D. Romero

International Workshop on Affective-Aware Virtual Agents and Social Robots, Boston, Massachusetts, Article nº4, ISBN 978-1-60558-692-2, ACM. (2009)

 

Hybrid Text Affect Sensing System for Emotional Language Analysis

R. Del-Hoyo, I. Hupont, F.J. Lacueva, D. Abadía

International Workshop on Affective-Aware Virtual Agents and Social Robots, Boston, Massachusetts, Article nº3, ISBN 978-1-60558-692-2, ACM. (2009)

 

Using Affective Cues for Automatic Opinion Analysis

R. Del-Hoyo, I. Hupont, F.J. Lacueva

Workshop on Opinion Mining and Sentiment Analysis (WOMSA 09), Sevilla, pp.120-127. (2009)

 

Multiplatform environment joining digital Tv, mobile devices and traditional e-learning with collaborative learning

D. Abadia Gallego, A. Esteban Ballano, J. Vea-Murguia, J. J. Navamuel, P. Martín de la Hoz, A.  Navarro, A. Lafuente

International Conference on Computer Supported Education, Lisboa (Portugal) (2009)

 

Affective Embodied Conversational Agents for Face to Face Communication

E. Cerezo, S. Baldassarri, I. Hupont

Workshop on Speech and Face-to-Face Communication, pp. 20-21, Grenoble, Francia. (2008)

 

Effective Emotional Classification Combining Facial Classifiers and User Assessment

Hupont, S. Baldassari, E. Cerezo, R. Del Hoyo

V Conference on Articulated Motion and Deformable Objects, Lecture Notes in Computer Science, ISSN 0302-9743, Vol. 5098, pp. 431-440, Springer. (2008)

 

Real-time Facial Expression Recognition for Natural Interaction

E. Cerezo, I. Hupont, C. Manresa, J. Varona, S. Baldassarri, F.J. Perales, F.J. Serón

3rd Iberian Conference on Pattern Recognition and Image Analysis - Part II, Lecture Notes In Computer Science, ISBN 978-3-540-72848-1, Vol. 4478, pp.40-47, Springer. (2007)

 

Individualizing the New Interfaces: Extraction of User’s Emotions from Facial Data

Hupont, E. Cerezo

3rd Ibero-American Symposium on Computer Graphics 2006, ISBN 3-905673-60-6, pp.179-185. (2006)

 

Emotional Facial Expression Classification for Multimodal Interfaces

E. Cerezo, I. Hupont

IV Conference on Articulated Motion and Deformable Objects, Lecture Notes in Computer Science, ISSN 0302-9743, Vol. 4069, pp. 405-413, Springer. (2006)

 

QoS Cable Network Integration in MHP for multimedia services

Rafael del-Hoyo, David Abadía, Pilar Fernández, Jesús Paniagua, Miguel Pérez

Conference on Telecommunications Conftele, Aveiro (Portugal) (2003)

 

Otros

TESIS DOCTORALES

Isabelle Hupont

Affective Computing: Emotional Facial Sensing and Multimodal Fusion

Universidad de Zaragoza - Diciembre 2010

 

REGISTRO DE MARCA COMERCIAL

Marca comercial Emotracker® 

Tipo de marca: Comunitaria

Número de petición: 011674496

Fecha de petición: 2013-03-21

Fecha de registro: 2013-08-06

Clasificación Niza: 35, 41, 42, 44

Casos de éxito