Abrégé

Disclosed herein are system, method, and computer program product embodiments, and/or combinations and sub-combinations thereof, for adjusting a content of a visual stimulus. In some embodiments, an orientation or a location of a face of a user relative to a display is determined. The content of the visual stimulus is then adjusted to compensate for a misalignment between the orientation or the location of the face of the user and the display. The adjusting comprises maintaining an attribute of the visual stimulus as perceived along a line of sight of the user.

Classes IPC  ?

• A61B 5/16 - Dispositifs pour la psychotechnieTest des temps de réaction

Abrégé

Disclosed herein are system, method, and computer program product embodiments, and/or combinations and sub-combinations thereof, for adjusting a content of a visual stimulus. In some embodiments, an orientation or a location of a face of a user relative to a display is determined. The content of the visual stimulus is then adjusted to compensate for a misalignment between the orientation or the location of the face of the user and the display. The adjusting comprises maintaining an attribute of the visual stimulus as perceived along a line of sight of the user.

Classes IPC  ?

• A61B 5/16 - Dispositifs pour la psychotechnieTest des temps de réaction
• A61B 3/00 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux
• A61B 3/14 - Dispositions spécialement adaptées à la photographie de l'œil
• G06T 7/00 - Analyse d'image
• G06T 7/50 - Récupération de la profondeur ou de la forme
• G06T 7/70 - Détermination de la position ou de l'orientation des objets ou des caméras
• G06T 15/20 - Calcul de perspectives
• G06T 17/00 - Modélisation tridimensionnelle [3D] pour infographie

Abrégé

Disclosed are systems and methods for extracting high resolution oculometric parameters. A video stream having a video of a face of a user is processed to obtain a set of oculometric parameters, such as eyelid data, iris data (e.g., iris translation, iris radius and iris rotation), and pupil data (e.g., pupil center and pupil radius) at a first resolution. A deconvolution process is performed on the video stream to improve accuracy or resolution of the oculometric parameters, based on stimulus information of a video stimulus displayed on a client device associated with the user, environment data of an environment in which the user is located, device data of the client device, etc. The oculometric parameters are then processed using a prediction model that is trained based on high resolution oculometric parameters obtained using eye tracking devices to predict oculometric parameters at a resolution greater than the first resolution.

Classes IPC  ?

• G06N 3/04 - Architecture, p. ex. topologie d'interconnexion
• A61B 3/00 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux
• A61B 3/113 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux du type à mesure objective, c.-à-d. instruments pour l'examen des yeux indépendamment des perceptions ou des réactions du patient pour déterminer ou enregistrer le mouvement de l'œil
• A61B 5/16 - Dispositifs pour la psychotechnieTest des temps de réaction
• G06F 3/01 - Dispositions d'entrée ou dispositions d'entrée et de sortie combinées pour l'interaction entre l'utilisateur et le calculateur
• G06N 3/084 - Rétropropagation, p. ex. suivant l’algorithme du gradient
• G06N 3/09 - Apprentissage supervisé
• G06T 7/00 - Analyse d'image
• G06T 7/246 - Analyse du mouvement utilisant des procédés basés sur les caractéristiques, p. ex. le suivi des coins ou des segments
• G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux
• G06V 40/18 - Caractéristiques de l’œil, p. ex. de l’iris

Abrégé

Disclosed are system, method, and computer program product embodiments for determining a digital marker indicative of a neurological condition. An embodiment operates by detecting a region of interest in an image frame of a face of a user. The region of interest includes an eye of the user and the image frame is obtained from a video stream. The embodiment then generates a point spread function (PSF) based on acquired data and a portion of the image frame specified by the region of interest, performs deconvolution on the portion of the image frame specified by the region of interest using the PSF, determines a set of oculometric parameters of the eye of the user using the deconvolved image, and determines one or more digital markers of the user based on the set of oculometric parameters. The one or more digital markers are indicative of a neurological condition of the user.

Classes IPC  ?

• G06V 40/18 - Caractéristiques de l’œil, p. ex. de l’iris
• A61B 3/00 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux
• A61B 3/113 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux du type à mesure objective, c.-à-d. instruments pour l'examen des yeux indépendamment des perceptions ou des réactions du patient pour déterminer ou enregistrer le mouvement de l'œil
• G06F 3/01 - Dispositions d'entrée ou dispositions d'entrée et de sortie combinées pour l'interaction entre l'utilisateur et le calculateur
• G06T 7/00 - Analyse d'image

Classes IPC  ?

• A61B 3/02 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux du type à mesure subjective, c.-à-d. appareils de d’examen nécessitant la participation active du patient
• A61B 3/032 - Dispositifs pour présenter des symboles ou des caractères d'épreuve, p. ex. projecteurs de mires
• A61B 3/113 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux du type à mesure objective, c.-à-d. instruments pour l'examen des yeux indépendamment des perceptions ou des réactions du patient pour déterminer ou enregistrer le mouvement de l'œil
• A61B 3/14 - Dispositions spécialement adaptées à la photographie de l'œil
• A61B 3/18 - Agencement de plusieurs appareils pour tester ou examiner les yeux
• A61B 5/16 - Dispositifs pour la psychotechnieTest des temps de réaction
• G06F 3/0487 - Techniques d’interaction fondées sur les interfaces utilisateur graphiques [GUI] utilisant des caractéristiques spécifiques fournies par le périphérique d’entrée, p. ex. des fonctions commandées par la rotation d’une souris à deux capteurs, ou par la nature du périphérique d’entrée, p. ex. des gestes en fonction de la pression exercée enregistrée par une tablette numérique
• G06F 3/05 - Entrée numérique utilisant l'échantillonnage d'une quantité analogique à intervalles réguliers de temps
• G06T 7/73 - Détermination de la position ou de l'orientation des objets ou des caméras utilisant des procédés basés sur les caractéristiques
• G06V 40/16 - Visages humains, p. ex. parties du visage, croquis ou expressions
• G06V 40/18 - Caractéristiques de l’œil, p. ex. de l’iris
• G16H 30/40 - TIC spécialement adaptées au maniement ou au traitement d’images médicales pour le traitement d’images médicales, p. ex. l’édition
• G16H 50/20 - TIC spécialement adaptées au diagnostic médical, à la simulation médicale ou à l’extraction de données médicalesTIC spécialement adaptées à la détection, au suivi ou à la modélisation d’épidémies ou de pandémies pour le diagnostic assisté par ordinateur, p. ex. basé sur des systèmes experts médicaux

Classes IPC  ?

• A61B 3/113 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux du type à mesure objective, c.-à-d. instruments pour l'examen des yeux indépendamment des perceptions ou des réactions du patient pour déterminer ou enregistrer le mouvement de l'œil
• G06V 10/141 - Commande d’éclairage
• G06V 10/60 - Extraction de caractéristiques d’images ou de vidéos relative aux propriétés luminescentes, p. ex. utilisant un modèle de réflectance ou d’éclairage

Abrégé

Disclosed herein are system, method and/or computer program product embodiments, and/or combinations and sub-combinations thereof, for tracking a point of gaze of a subject in a manner that incorporates automatic eye tracking calibration. In an embodiment, video is obtained of the subject viewing content presented by a display. The video is analyzed to determine a series of time points at which a gaze of the subject is dwelling on a visual target and, for each time point in the series, a set of eye feature values. A location of a stimulus presented by the display is also obtained for each time point in the series. This information is utilized to determine a mapping that maps a set of eye feature values to a point of gaze. The mapping is used to map a set of eye features obtained by analyzing the video to the point of gaze of the subject.

Classes IPC  ?

• G06T 7/00 - Analyse d'image
• G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux
• G06V 40/18 - Caractéristiques de l’œil, p. ex. de l’iris

Abrégé

Disclosed herein are system, method and/or computer program product embodiments, and/or combinations and sub-combinations thereof, for tracking a point of gaze of a subject in a manner that incorporates automatic eye tracking calibration. In an embodiment, video is obtained of the subject viewing content presented by a display. The video is analyzed to determine a series of time points at which a gaze of the subject is dwelling on a visual target and, for each time point in the series, a set of eye feature values. A location of a stimulus presented by the display is also obtained for each time point in the series. This information is utilized to determine a mapping that maps a set of eye feature values to a point of gaze. The mapping is used to map a set of eye features obtained by analyzing the video to the point of gaze of the subject.

Classes IPC  ?

• A61B 3/113 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux du type à mesure objective, c.-à-d. instruments pour l'examen des yeux indépendamment des perceptions ou des réactions du patient pour déterminer ou enregistrer le mouvement de l'œil
• A61B 3/02 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux du type à mesure subjective, c.-à-d. appareils de d’examen nécessitant la participation active du patient
• A61B 3/14 - Dispositions spécialement adaptées à la photographie de l'œil
• A61B 3/18 - Agencement de plusieurs appareils pour tester ou examiner les yeux
• G06T 7/73 - Détermination de la position ou de l'orientation des objets ou des caméras utilisant des procédés basés sur les caractéristiques
• G06V 40/16 - Visages humains, p. ex. parties du visage, croquis ou expressions
• G16H 30/40 - TIC spécialement adaptées au maniement ou au traitement d’images médicales pour le traitement d’images médicales, p. ex. l’édition
• G16H 50/20 - TIC spécialement adaptées au diagnostic médical, à la simulation médicale ou à l’extraction de données médicalesTIC spécialement adaptées à la détection, au suivi ou à la modélisation d’épidémies ou de pandémies pour le diagnostic assisté par ordinateur, p. ex. basé sur des systèmes experts médicaux
• A61B 3/032 - Dispositifs pour présenter des symboles ou des caractères d'épreuve, p. ex. projecteurs de mires
• A61B 5/16 - Dispositifs pour la psychotechnieTest des temps de réaction
• G06F 3/0487 - Techniques d’interaction fondées sur les interfaces utilisateur graphiques [GUI] utilisant des caractéristiques spécifiques fournies par le périphérique d’entrée, p. ex. des fonctions commandées par la rotation d’une souris à deux capteurs, ou par la nature du périphérique d’entrée, p. ex. des gestes en fonction de la pression exercée enregistrée par une tablette numérique
• G06F 3/05 - Entrée numérique utilisant l'échantillonnage d'une quantité analogique à intervalles réguliers de temps
• G06V 40/18 - Caractéristiques de l’œil, p. ex. de l’iris

Abrégé

Disclosed herein are system, method, and computer program product embodiments, and/or combinations and sub-combinations thereof, for determining a time delay for synchronizing one or more parameters. In an embodiment, a plurality of frames is presented on a display device. A brightness level is modulated in one or more frames of the plurality of frames. A plurality of image frames of a face of a user is received. The plurality of image frames are obtained from a video stream recorded by an image sensor during the presentation of the plurality of frames on the display device. The plurality of image frames are processed to determine the time delay between when the modulating the brightness level is performed in the one or more frames and when the modulating the brightness level in the one or more frames is reported by the image sensor.

Classes IPC  ?

• G09G 3/20 - Dispositions ou circuits de commande présentant un intérêt uniquement pour l'affichage utilisant des moyens de visualisation autres que les tubes à rayons cathodiques pour la présentation d'un ensemble de plusieurs caractères, p. ex. d'une page, en composant l'ensemble par combinaison d'éléments individuels disposés en matrice
• H04N 23/74 - Circuits de compensation de la variation de luminosité dans la scène en influençant la luminosité de la scène à l'aide de moyens d'éclairage

Abrégé

Disclosed herein are system, method, and computer program product embodiments, and/or combinations and sub-combinations thereof, for determining a time delay for synchronizing one or more parameters. In an embodiment, a plurality of frames is presented on a display device. A brightness level is modulated in one or more frames of the plurality of frames. A plurality of image frames of a face of a user is received. The plurality of image frames are obtained from a video stream recorded by an image sensor during the presentation of the plurality of frames on the display device. The plurality of image frames are processed to determine the time delay between when the modulating the brightness level is performed in the one or more frames and when the modulating the brightness level in the one or more frames is reported by the image sensor.

Classes IPC  ?

• G06V 10/60 - Extraction de caractéristiques d’images ou de vidéos relative aux propriétés luminescentes, p. ex. utilisant un modèle de réflectance ou d’éclairage
• G06V 10/141 - Commande d’éclairage
• A61B 3/113 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux du type à mesure objective, c.-à-d. instruments pour l'examen des yeux indépendamment des perceptions ou des réactions du patient pour déterminer ou enregistrer le mouvement de l'œil

Abrégé

Disclosed are system, method, and computer program product embodiments for determining a digital marker. An embodiment operates by determining one or more oculometric parameters associated with an eye of a user using a video stream. The video stream comprises at least one image of a face of the user. The embodiment then determines a pupillary response function of brightness or a gaze response function by performing a deconvolution process based on at least the one or more oculometric parameters. The pupillary response function of brightness or the gaze response function is indicative of a response of the eye of the user to an external factor. The embodiment determines one or more digital markers of the user based on the pupillary response function of brightness or the gaze response function. The one or more digital markers are indicative of a neurological condition or a mental health condition of the user.

Classes IPC  ?

• G06T 7/00 - Analyse d'image
• A61B 3/00 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux
• A61B 3/11 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux du type à mesure objective, c.-à-d. instruments pour l'examen des yeux indépendamment des perceptions ou des réactions du patient pour mesurer la distance interpupillaire ou le diamètre de la pupille
• A61B 5/16 - Dispositifs pour la psychotechnieTest des temps de réaction
• G06V 40/18 - Caractéristiques de l’œil, p. ex. de l’iris

Abrégé

Disclosed are system, method, and computer program product embodiments for determining a digital marker indicative of a neurological condition. An embodiment operates by detecting a region of interest in an image frame of a face of a user. The region of interest includes an eye of the user and the image frame is obtained from a video stream. The embodiment then generates a point spread function (PSF) based on acquired data and a portion of the image frame specified by the region of interest, performs deconvolution on the portion of the image frame specified by the region of interest using the PSF, determines a set of oculometric parameters of the eye of the user using the deconvolved image, and determines one or more digital markers of the user based on the set of oculometric parameters. The one or more digital markers are indicative of a neurological condition of the user.

Classes IPC  ?

• G06V 40/18 - Caractéristiques de l’œil, p. ex. de l’iris
• A61B 3/00 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux
• A61B 3/113 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux du type à mesure objective, c.-à-d. instruments pour l'examen des yeux indépendamment des perceptions ou des réactions du patient pour déterminer ou enregistrer le mouvement de l'œil
• G06F 3/01 - Dispositions d'entrée ou dispositions d'entrée et de sortie combinées pour l'interaction entre l'utilisateur et le calculateur
• G06T 7/00 - Analyse d'image

Abrégé

Disclosed are systems and methods for extracting high resolution oculometric parameters and eye movement parameters. A video stream having a video of a face of a user is processed to obtain a set of oculometric parameters, such as eyelid data, iris data (e.g., iris translation, iris radius and iris rotation), and pupil data (e.g., pupil center and pupil radius). The oculometric parameters are generated at a first temporal resolution. The oculometric parameters are up sampled to increase the temporal resolution to a second temporal resolution. The oculometric parameters are then processed to generate various eye movement parameters such as blink parameter, pupil response parameter, saccade parameter, anti-saccade parameter, fixation parameter, or smooth pursuit parameter. The oculometric parameters are synchronized with a video stimulus presented on a user device prior to generating the eye movement parameters.

Classes IPC  ?

• A61B 3/00 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux
• A61B 3/11 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux du type à mesure objective, c.-à-d. instruments pour l'examen des yeux indépendamment des perceptions ou des réactions du patient pour mesurer la distance interpupillaire ou le diamètre de la pupille
• A61B 3/113 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux du type à mesure objective, c.-à-d. instruments pour l'examen des yeux indépendamment des perceptions ou des réactions du patient pour déterminer ou enregistrer le mouvement de l'œil
• A61B 3/14 - Dispositions spécialement adaptées à la photographie de l'œil

Abrégé

Disclosed are systems and methods for extracting high resolution oculometric parameters and eye movement parameters. A video stream having a video of a face of a user is processed to obtain a set of oculometric parameters, such as eyelid data, iris data (e.g., iris translation, iris radius and iris rotation), and pupil data (e.g., pupil center and pupil radius). The oculometric parameters are generated at a first temporal resolution. The oculometric parameters are up sampled to increase the temporal resolution to a second temporal resolution. The oculometric parameters are then processed to generate various eye movement parameters such as blink parameter, pupil response parameter, saccade parameter, anti-saccade parameter, fixation parameter, or smooth pursuit parameter. The oculometric parameters are synchronized with a video stimulus presented on a user device prior to generating the eye movement parameters.

Classes IPC  ?

• G06F 3/01 - Dispositions d'entrée ou dispositions d'entrée et de sortie combinées pour l'interaction entre l'utilisateur et le calculateur
• A61B 3/00 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux
• A61B 3/11 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux du type à mesure objective, c.-à-d. instruments pour l'examen des yeux indépendamment des perceptions ou des réactions du patient pour mesurer la distance interpupillaire ou le diamètre de la pupille
• A61B 3/113 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux du type à mesure objective, c.-à-d. instruments pour l'examen des yeux indépendamment des perceptions ou des réactions du patient pour déterminer ou enregistrer le mouvement de l'œil
• A61B 3/14 - Dispositions spécialement adaptées à la photographie de l'œil

Abrégé

Disclosed are systems and methods for extracting high resolution oculometric parameters. A video stream having a video of a face of a user is processed to obtain a set of oculometric parameters, such as eyelid data, iris data (e.g., iris translation, iris radius and iris rotation), and pupil data (e.g., pupil center and pupil radius) at a first resolution. A deconvolution process is performed on the video stream to improve accuracy or resolution of the oculometric parameters, based on stimulus information of a video stimulus displayed on a client device associated with the user, environment data of an environment in which the user is located, device data of the client device, etc. The oculometric parameters are then processed using a prediction model that is trained based on high resolution oculometric parameters obtained using eye tracking devices to predict oculometric parameters at a resolution greater than the first resolution.

Classes IPC  ?

• A61B 3/113 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux du type à mesure objective, c.-à-d. instruments pour l'examen des yeux indépendamment des perceptions ou des réactions du patient pour déterminer ou enregistrer le mouvement de l'œil

Abrégé

Disclosed are systems and methods for extracting high resolution oculometric parameters and eye movement parameters. A video stream having a video of a face of a user is processed to obtain a set of oculometric parameters, such as eyelid data, iris data (e.g., iris translation, iris radius and iris rotation), and pupil data (e.g., pupil center and pupil radius). The oculometric parameters are generated at a first temporal resolution. The oculometric parameters are up sampled to increase the temporal resolution to a second temporal resolution. The oculometric parameters are then processed to generate various eye movement parameters such as blink parameter, pupil response parameter, saccade parameter, anti-saccade parameter, fixation parameter, or smooth pursuit parameter. The oculometric parameters are synchronized with a video stimulus presented on a user device prior to generating the eye movement parameters.

Classes IPC  ?

• G06F 3/01 - Dispositions d'entrée ou dispositions d'entrée et de sortie combinées pour l'interaction entre l'utilisateur et le calculateur
• A61B 3/00 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux
• A61B 3/113 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux du type à mesure objective, c.-à-d. instruments pour l'examen des yeux indépendamment des perceptions ou des réactions du patient pour déterminer ou enregistrer le mouvement de l'œil
• A61B 5/16 - Dispositifs pour la psychotechnieTest des temps de réaction
• G06T 7/00 - Analyse d'image
• G06V 40/18 - Caractéristiques de l’œil, p. ex. de l’iris

Abrégé

Disclosed are systems and methods for extracting high resolution oculometric parameters. A video stream having a video of a face of a user is processed to obtain a set of oculometric parameters, such as eyelid data, iris data (e.g., iris translation, iris radius and iris rotation), and pupil data (e.g., pupil center and pupil radius) at a first resolution. A deconvolution process is performed on the video stream to improve accuracy or resolution of the oculometric parameters, based on stimulus information of a video stimulus displayed on a client device associated with the user, environment data of an environment in which the user is located, device data of the client device, etc. The oculometric parameters are then processed using a prediction model that is trained based on high resolution oculometric parameters obtained using eye tracking devices to predict oculometric parameters at a resolution greater than the first resolution.

Classes IPC  ?

• A61B 3/113 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux du type à mesure objective, c.-à-d. instruments pour l'examen des yeux indépendamment des perceptions ou des réactions du patient pour déterminer ou enregistrer le mouvement de l'œil

Abrégé

Disclosed are systems and methods for extracting high resolution oculometric parameters. A video stream having a video of a face of a user is processed to obtain a set of oculometric parameters, such as eyelid data, iris data (e.g., iris translation, iris radius and iris rotation), and pupil data (e.g., pupil center and pupil radius) at a first resolution. A deconvolution process is performed on the video stream to improve accuracy or resolution of the oculometric parameters, based on stimulus information of a video stimulus displayed on a client device associated with the user, environment data of an environment in which the user is located, device data of the client device, etc. The oculometric parameters are then processed using a prediction model that is trained based on high resolution oculometric parameters obtained using eye tracking devices to predict oculometric parameters at a resolution greater than the first resolution.

Classes IPC  ?

• G06V 40/18 - Caractéristiques de l’œil, p. ex. de l’iris
• A61B 3/00 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux
• A61B 3/113 - Appareils pour l'examen optique des yeuxAppareils pour l'examen clinique des yeux du type à mesure objective, c.-à-d. instruments pour l'examen des yeux indépendamment des perceptions ou des réactions du patient pour déterminer ou enregistrer le mouvement de l'œil
• G06F 3/01 - Dispositions d'entrée ou dispositions d'entrée et de sortie combinées pour l'interaction entre l'utilisateur et le calculateur
• G06N 3/04 - Architecture, p. ex. topologie d'interconnexion
• G06N 3/084 - Rétropropagation, p. ex. suivant l’algorithme du gradient
• G06N 3/09 - Apprentissage supervisé
• G06T 7/00 - Analyse d'image
• G06T 7/246 - Analyse du mouvement utilisant des procédés basés sur les caractéristiques, p. ex. le suivi des coins ou des segments
• G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux