Systems, methods, and computer readable medium are disclosed for resolving detected speech ambiguities. Resolving the detected speech ambiguities includes receiving audio signals representing a plurality of words vocalized by an individual; determining an ambiguity in the audio signals; during receiving of the audio signals, operating at least one sensor directed towards a non-lip region of a head of the individual; receiving, from the at least one sensor, non-audio signals indicative of neuromuscular activity associated with the non-lip region; analyzing the non-audio signals to resolve the ambiguity through an identification of at least one phoneme corresponding to the ambiguity; and generating a hybrid output of the plurality of vocalized words, wherein the hybrid output includes a first portion derived from the audio signals and a second portion derived from the non-audio signals, the second portion including a representation of the at least one phoneme.
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
G10L 13/033 - Édition de voix, p. ex. transformation de la voix du synthétiseur
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
2.
SYSTEMS AND METHODS FOR IMPLEMENTING SILENT SPEECH
A wearable system for facilitating silent conversations, the wearable system comprising: a housing configured to be worn on a head of an individual; at least one sensor incorporated with the housing and configured to output signals indicative of communication-related neuromuscular activity of the individual; and at least one processor configured to: receive the signals; analyze the received signals to determine substance of at least one conversation event associated with the individual; and generate at least one electronic output corresponding to the substance.
G10L 15/183 - Classement ou recherche de la parole utilisant une modélisation du langage naturel selon les contextes, p. ex. modèles de langage
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
G06F 3/01 - Dispositions d'entrée ou dispositions d'entrée et de sortie combinées pour l'interaction entre l'utilisateur et le calculateur
G06F 40/40 - Traitement ou traduction du langage naturel
G06V 40/20 - Mouvements ou comportement, p. ex. reconnaissance des gestes
G10L 13/027 - Synthétiseurs de parole à partir de conceptsGénération de phrases naturelles à partir de concepts automatisés
3.
USING CONTINUOUS GESTURES FOR SELECTIVELY PROCESSING FACIAL MOVEMENTS
Systems, methods, and computer program products are disclosed for selectively employing a processing mode based on a continuous gesture. Selectively employing a processing mode may include detecting an existence of a mode-selection gesture by an individual. Upon detecting the existence of the mode-selection gesture, a first mode for processing facial micromovements of the individual may be continuously implemented while continuously detecting the mode-selection gesture. Following the continuous detection of the mode-selection gesture, a cessation of the mode-selection gesture may be detected. In response, implementation of the first mode may cease, and implementation of a second mode different from the first mode may be initiated for processing facial micromovements of the individual.
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
G06F 21/32 - Authentification de l’utilisateur par données biométriques, p. ex. empreintes digitales, balayages de l’iris ou empreintes vocales
G06Q 20/40 - Autorisation, p. ex. identification du payeur ou du bénéficiaire, vérification des références du client ou du magasinExamen et approbation des payeurs, p. ex. contrôle des lignes de crédit ou des listes négatives
G06V 10/145 - Éclairage spécialement adapté à la reconnaissance de formes, p. ex. utilisant des réseaux
G06V 10/60 - Extraction de caractéristiques d’images ou de vidéos relative aux propriétés luminescentes, p. ex. utilisant un modèle de réflectance ou d’éclairage
G06V 40/16 - Visages humains, p. ex. parties du visage, croquis ou expressions
G06V 40/40 - Détection d’usurpation, p. ex. détection d’activité
G10L 13/00 - Synthèse de la paroleSystèmes de synthèse de la parole à partir de texte
G10L 13/02 - Procédés d'élaboration de parole synthétiqueSynthétiseurs de parole
G10L 13/027 - Synthétiseurs de parole à partir de conceptsGénération de phrases naturelles à partir de concepts automatisés
G10L 15/16 - Classement ou recherche de la parole utilisant des réseaux neuronaux artificiels
G10L 17/02 - Opérations de prétraitement, p. ex. sélection de segmentReprésentation ou modélisation de motifs, p. ex. fondée sur l’analyse linéaire discriminante [LDA] ou les composantes principalesSélection ou extraction des caractéristiques
G10L 17/04 - Entraînement, enrôlement ou construction de modèle
G10L 17/10 - Systèmes multimodaux, c.-à-d. basés sur l’intégration de moteurs multiples de reconnaissance ou de fusion de systèmes experts
Systems, methods, and computer program products are disclosed for establishing nonvocalized communications. Establishing nonvocalized communications may include detecting a directional gesture made by a wearer of a first wearable device configured to determine facial skin micromovements of the wearer, wherein the directional gesture identifies a second device in proximity to the first wearable device. Based on the directional gesture, a wireless communication channel for enabling a nonvocalized communication between the first wearable device and the second device is selected. Thereafter, specific facial skin micromovements of the wearer of the first wearable device are determined. The specific facial skin micromovements indicate words to be communicated in an absence of perceptible vocalization by the wearer of the first wearable device. Then, the words are transmitted via the wireless communication channel from the first wearable device to the second device for presentation via the second device.
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
G06F 21/32 - Authentification de l’utilisateur par données biométriques, p. ex. empreintes digitales, balayages de l’iris ou empreintes vocales
G06Q 20/40 - Autorisation, p. ex. identification du payeur ou du bénéficiaire, vérification des références du client ou du magasinExamen et approbation des payeurs, p. ex. contrôle des lignes de crédit ou des listes négatives
G06V 10/145 - Éclairage spécialement adapté à la reconnaissance de formes, p. ex. utilisant des réseaux
G06V 10/60 - Extraction de caractéristiques d’images ou de vidéos relative aux propriétés luminescentes, p. ex. utilisant un modèle de réflectance ou d’éclairage
G06V 40/16 - Visages humains, p. ex. parties du visage, croquis ou expressions
G06V 40/40 - Détection d’usurpation, p. ex. détection d’activité
G10L 13/00 - Synthèse de la paroleSystèmes de synthèse de la parole à partir de texte
G10L 13/02 - Procédés d'élaboration de parole synthétiqueSynthétiseurs de parole
G10L 13/027 - Synthétiseurs de parole à partir de conceptsGénération de phrases naturelles à partir de concepts automatisés
G10L 15/16 - Classement ou recherche de la parole utilisant des réseaux neuronaux artificiels
G10L 17/02 - Opérations de prétraitement, p. ex. sélection de segmentReprésentation ou modélisation de motifs, p. ex. fondée sur l’analyse linéaire discriminante [LDA] ou les composantes principalesSélection ou extraction des caractéristiques
G10L 17/04 - Entraînement, enrôlement ou construction de modèle
G10L 17/10 - Systèmes multimodaux, c.-à-d. basés sur l’intégration de moteurs multiples de reconnaissance ou de fusion de systèmes experts
A method for generating speech includes uploading a reference set of features that were extracted from sensed movements of one or more target regions of skin on faces of one or more reference human subjects in response to words articulated by the subjects and without contacting the one or more target regions. A test set of features is extracted a from the sensed movements of at least one of the target regions of skin on a face of a test subject in response to words articulated silently by the test subject and without contacting the one or more target regions. The extracted test set of features is compared to the reference set of features, and, based on the comparison, a speech output is generated, that includes the articulated words of the test subject.
G10L 15/26 - Systèmes de synthèse de texte à partir de la parole
G02B 27/00 - Systèmes ou appareils optiques non prévus dans aucun des groupes ,
G06F 3/01 - Dispositions d'entrée ou dispositions d'entrée et de sortie combinées pour l'interaction entre l'utilisateur et le calculateur
G06F 40/58 - Utilisation de traduction automatisée, p. ex. pour recherches multilingues, pour fournir aux dispositifs clients une traduction effectuée par le serveur ou pour la traduction en temps réel
G06V 10/60 - Extraction de caractéristiques d’images ou de vidéos relative aux propriétés luminescentes, p. ex. utilisant un modèle de réflectance ou d’éclairage
G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux
G06V 40/16 - Visages humains, p. ex. parties du visage, croquis ou expressions
G10L 13/02 - Procédés d'élaboration de parole synthétiqueSynthétiseurs de parole
G10L 13/027 - Synthétiseurs de parole à partir de conceptsGénération de phrases naturelles à partir de concepts automatisés
G10L 13/04 - Détails des systèmes de synthèse de la parole, p. ex. structure du synthétiseur ou gestion de la mémoire
G10L 15/16 - Classement ou recherche de la parole utilisant des réseaux neuronaux artificiels
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
6.
USING FACIAL MOVEMENTS TO GENERATE A CONVERSATIONAL RECORD
Systems, methods, and computer program products are disclosed for generating a common record based on differing source inputs. Generating a common record based on differing source inputs may include receiving via at least one sensor first non-audible signals indicative of verbalization of an individual; interpreting first words of the individual at least in part using the first non-audible signals received from the at least one sensor; receiving second signals generated by a source other than the individual; performing speech recognition on the second signals to interpret second words from the source; and using the first words and the second words to generate a record.
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
H04R 1/02 - BoîtiersMeublesMontages à l'intérieur de ceux-ci
A system for generating audio feedback to silent speech, the system including a speaker and processing circuitry, the processing circuitry configured to (i) generate speech output including the articulated words of a test subject from sensed movements of skin of a face of the test subject in response to words articulated silently by the test subject and without contacting the skin, (ii) convert the speech output into an audio output, (iii) convey the audio output to the speaker as audio feedback while reducing latency, and (iv) play the audio feedback with reduced latency to the test subject on the speaker.
A sensing device (20, 60) includes a bracket (22) configured to fit an ear of a user (24) of the device. An optical sensing head (28) is held by the bracket in a location in proximity to a face of the user and senses light reflected from the face and to output a signal in response to the detected light. Processing circuitry (70, 75) processes the signal to generate a speech output.
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
G06V 10/147 - Détails de capteurs, p. ex. lentilles de capteurs
G06V 40/16 - Visages humains, p. ex. parties du visage, croquis ou expressions
G10L 13/027 - Synthétiseurs de parole à partir de conceptsGénération de phrases naturelles à partir de concepts automatisés
9.
USING FACIAL SKIN MICROMOVEMENTS TO PAIR WITH A COMPUTING DEVICE
Systems, methods, and non-transitory computer-readable media including instructions for detecting and utilizing facial skin micromovements are disclosed. In some non-limiting embodiments, the detection of the facial skin micromovements occurs using a speech detection system that may include a wearable housing, a light source (either a coherent light source or a non-coherent light source), a light detector, and at least one processor. One or more processors may be configured to analyze light reflections received from a facial region to determine the facial skin micromovements, and extract meaning from the determined facial skin micromovements. Examples of meaning that may be extracted from the determined facial skin micromovements may include words spoken by the individual (either silently spoken or vocally spoken), an identification of the individual, an emotional state of the individual, a heart rate of the individual, a respiration rate of the individual, or any other biometric, emotion, or speech-related indicator.
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
H04R 1/02 - BoîtiersMeublesMontages à l'intérieur de ceux-ci
Systems, methods, and non-transitory computer-readable media including instructions for detecting and utilizing facial skin micromovements are disclosed. In some non-limiting embodiments, the detection of the facial skin micromovements occurs using a speech detection system that may include a wearable housing, a light source (either a coherent light source or a non-coherent light source), a light detector, and at least one processor. One or more processors may be configured to analyze light reflections received from a facial region to determine the facial skin micromovements, and extract meaning from the determined facial skin micromovements. Examples of meaning that may be extracted from the determined facial skin micromovements may include words spoken by the individual (either silently spoken or vocally spoken), an identification of the individual, an emotional state of the individual, a heart rate of the individual, a respiration rate of the individual, or any other biometric, emotion, or speech-related indicator.
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
G06F 21/32 - Authentification de l’utilisateur par données biométriques, p. ex. empreintes digitales, balayages de l’iris ou empreintes vocales
G06Q 20/40 - Autorisation, p. ex. identification du payeur ou du bénéficiaire, vérification des références du client ou du magasinExamen et approbation des payeurs, p. ex. contrôle des lignes de crédit ou des listes négatives
G06V 10/145 - Éclairage spécialement adapté à la reconnaissance de formes, p. ex. utilisant des réseaux
G06V 10/60 - Extraction de caractéristiques d’images ou de vidéos relative aux propriétés luminescentes, p. ex. utilisant un modèle de réflectance ou d’éclairage
G06V 40/16 - Visages humains, p. ex. parties du visage, croquis ou expressions
G06V 40/40 - Détection d’usurpation, p. ex. détection d’activité
G10L 13/00 - Synthèse de la paroleSystèmes de synthèse de la parole à partir de texte
G10L 13/02 - Procédés d'élaboration de parole synthétiqueSynthétiseurs de parole
G10L 13/027 - Synthétiseurs de parole à partir de conceptsGénération de phrases naturelles à partir de concepts automatisés
G10L 15/16 - Classement ou recherche de la parole utilisant des réseaux neuronaux artificiels
G10L 17/02 - Opérations de prétraitement, p. ex. sélection de segmentReprésentation ou modélisation de motifs, p. ex. fondée sur l’analyse linéaire discriminante [LDA] ou les composantes principalesSélection ou extraction des caractéristiques
G10L 17/04 - Entraînement, enrôlement ou construction de modèle
G10L 17/10 - Systèmes multimodaux, c.-à-d. basés sur l’intégration de moteurs multiples de reconnaissance ou de fusion de systèmes experts
Systems, methods, and non-transitory computer-readable media including instructions for detecting and utilizing facial skin micromovements are disclosed. In some non-limiting embodiments, the detection of the facial skin micromovements occurs using a speech detection system that may include a wearable housing, a light source (either a coherent light source or a non-coherent light source), a light detector, and at least one processor. One or more processors may be configured to analyze light reflections received from a facial region to determine the facial skin micromovements, and extract meaning from the determined facial skin micromovements. Examples of meaning that may be extracted from the determined facial skin micromovements may include words spoken by the individual (either silently spoken or vocally spoken), an identification of the individual, an emotional state of the individual, a heart rate of the individual, a respiration rate of the individual, or any other biometric, emotion, or speech-related indicator.
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
G06F 21/32 - Authentification de l’utilisateur par données biométriques, p. ex. empreintes digitales, balayages de l’iris ou empreintes vocales
G06Q 20/40 - Autorisation, p. ex. identification du payeur ou du bénéficiaire, vérification des références du client ou du magasinExamen et approbation des payeurs, p. ex. contrôle des lignes de crédit ou des listes négatives
G06V 10/145 - Éclairage spécialement adapté à la reconnaissance de formes, p. ex. utilisant des réseaux
G06V 10/60 - Extraction de caractéristiques d’images ou de vidéos relative aux propriétés luminescentes, p. ex. utilisant un modèle de réflectance ou d’éclairage
G06V 40/16 - Visages humains, p. ex. parties du visage, croquis ou expressions
G06V 40/40 - Détection d’usurpation, p. ex. détection d’activité
G10L 13/00 - Synthèse de la paroleSystèmes de synthèse de la parole à partir de texte
G10L 13/02 - Procédés d'élaboration de parole synthétiqueSynthétiseurs de parole
G10L 13/027 - Synthétiseurs de parole à partir de conceptsGénération de phrases naturelles à partir de concepts automatisés
G10L 15/16 - Classement ou recherche de la parole utilisant des réseaux neuronaux artificiels
G10L 17/02 - Opérations de prétraitement, p. ex. sélection de segmentReprésentation ou modélisation de motifs, p. ex. fondée sur l’analyse linéaire discriminante [LDA] ou les composantes principalesSélection ou extraction des caractéristiques
G10L 17/04 - Entraînement, enrôlement ou construction de modèle
G10L 17/10 - Systèmes multimodaux, c.-à-d. basés sur l’intégration de moteurs multiples de reconnaissance ou de fusion de systèmes experts
Systems, methods, and non-transitory computer-readable media including instructions for detecting and utilizing facial skin micromovements are disclosed. In some non-limiting embodiments, the detection of the facial skin micromovements occurs using a speech detection system that may include a wearable housing, a light source (either a coherent light source or a non-coherent light source), a light detector, and at least one processor. One or more processors may be configured to analyze light reflections received from a facial region to determine the facial skin micromovements, and extract meaning from the determined facial skin micromovements. Examples of meaning that may be extracted from the determined facial skin micromovements may include words spoken by the individual (either silently spoken or vocally spoken), an identification of the individual, an emotional state of the individual, a heart rate of the individual, a respiration rate of the individual, or any other biometric, emotion, or speech-related indicator.
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
H04R 1/02 - BoîtiersMeublesMontages à l'intérieur de ceux-ci
Systems, methods, and non-transitory computer-readable media including instructions for detecting and utilizing facial skin micromovements are disclosed. In some non-limiting embodiments, the detection of the facial skin micromovements occurs using a speech detection system that may include a wearable housing, a light source (either a coherent light source or a non-coherent light source), a light detector, and at least one processor. One or more processors may be configured to analyze light reflections received from a facial region to determine the facial skin micromovements, and extract meaning from the determined facial skin micromovements. Examples of meaning that may be extracted from the determined facial skin micromovements may include words spoken by the individual (either silently spoken or vocally spoken), an identification of the individual, an emotional state of the individual, a heart rate of the individual, a respiration rate of the individual, or any other biometric, emotion, or speech-related indicator.
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
H04R 1/02 - BoîtiersMeublesMontages à l'intérieur de ceux-ci
Systems, methods, and non-transitory computer-readable media including instructions for detecting and utilizing facial skin micromovements are disclosed. In some non-limiting embodiments, the detection of the facial skin micromovements occurs using a speech detection system that may include a wearable housing, a light source (either a coherent light source or a non-coherent light source), a light detector, and at least one processor. One or more processors may be configured to analyze light reflections received from a facial region to determine the facial skin micromovements, and extract meaning from the determined facial skin micromovements. Examples of meaning that may be extracted from the determined facial skin micromovements may include words spoken by the individual (either silently spoken or vocally spoken), an identification of the individual, an emotional state of the individual, a heart rate of the individual, a respiration rate of the individual, or any other biometric, emotion, or speech-related indicator.
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
H04R 1/02 - BoîtiersMeublesMontages à l'intérieur de ceux-ci
Systems, methods, and non-transitory computer-readable media including instructions for detecting and utilizing facial skin micromovements are disclosed. In some non-limiting embodiments, the detection of the facial skin micromovements occurs using a speech detection system that may include a wearable housing, a light source (either a coherent light source or a non-coherent light source), a light detector, and at least one processor. One or more processors may be configured to analyze light reflections received from a facial region to determine the facial skin micromovements, and extract meaning from the determined facial skin micromovements. Examples of meaning that may be extracted from the determined facial skin micromovements may include words spoken by the individual (either silently spoken or vocally spoken), an identification of the individual, an emotional state of the individual, a heart rate of the individual, a respiration rate of the individual, or any other biometric, emotion, or speech-related indicator.
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
H04R 1/02 - BoîtiersMeublesMontages à l'intérieur de ceux-ci
Systems, methods, and non-transitory computer-readable media including instructions for detecting and utilizing facial skin micromovements are disclosed. In some non-limiting embodiments, the detection of the facial skin micromovements occurs using a speech detection system that may include a wearable housing, a light source (either a coherent light source or a non-coherent light source), a light detector, and at least one processor. One or more processors may be configured to analyze light reflections received from a facial region to determine the facial skin micromovements, and extract meaning from the determined facial skin micromovements. Examples of meaning that may be extracted from the determined facial skin micromovements may include words spoken by the individual (either silently spoken or vocally spoken), an identification of the individual, an emotional state of the individual, a heart rate of the individual, a respiration rate of the individual, or any other biometric, emotion, or speech-related indicator.
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
H04R 1/02 - BoîtiersMeublesMontages à l'intérieur de ceux-ci
Systems, methods, and non-transitory computer-readable media including instructions for detecting and utilizing facial skin micromovements are disclosed. In some non-limiting embodiments, the detection of the facial skin micromovements occurs using a speech detection system that may include a wearable housing, a light source (either a coherent light source or a non-coherent light source), a light detector, and at least one processor. One or more processors may be configured to analyze light reflections received from a facial region to determine the facial skin micromovements, and extract meaning from the determined facial skin micromovements. Examples of meaning that may be extracted from the determined facial skin micromovements may include words spoken by the individual (either silently spoken or vocally spoken), an identification of the individual, an emotional state of the individual, a heart rate of the individual, a respiration rate of the individual, or any other biometric, emotion, or speech-related indicator.
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
H04R 1/02 - BoîtiersMeublesMontages à l'intérieur de ceux-ci
Systems, methods, and non-transitory computer-readable media including instructions for detecting and utilizing facial skin micromovements are disclosed. In some non-limiting embodiments, the detection of the facial skin micromovements occurs using a speech detection system that may include a wearable housing, a light source (either a coherent light source or a non-coherent light source), a light detector, and at least one processor. One or more processors may be configured to analyze light reflections received from a facial region to determine the facial skin micromovements, and extract meaning from the determined facial skin micromovements. Examples of meaning that may be extracted from the determined facial skin micromovements may include words spoken by the individual (either silently spoken or vocally spoken), an identification of the individual, an emotional state of the individual, a heart rate of the individual, a respiration rate of the individual, or any other biometric, emotion, or speech-related indicator.
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
H04R 1/02 - BoîtiersMeublesMontages à l'intérieur de ceux-ci
Systems, methods, and non-transitory computer-readable media including instructions for detecting and utilizing facial skin micromovements are disclosed. In some non-limiting embodiments, the detection of the facial skin micromovements occurs using a speech detection system that may include a wearable housing, a light source (either a coherent light source or a non-coherent light source), a light detector, and at least one processor. One or more processors may be configured to analyze light reflections received from a facial region to determine the facial skin micromovements, and extract meaning from the determined facial skin micromovements. Examples of meaning that may be extracted from the determined facial skin micromovements may include words spoken by the individual (either silently spoken or vocally spoken), an identification of the individual, an emotional state of the individual, a heart rate of the individual, a respiration rate of the individual, or any other biometric, emotion, or speech-related indicator.
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
H04R 1/02 - BoîtiersMeublesMontages à l'intérieur de ceux-ci
Systems, methods, and non-transitory computer-readable media including instructions for detecting and utilizing facial skin micromovements are disclosed. In some non-limiting embodiments, the detection of the facial skin micromovements occurs using a speech detection system that may include a wearable housing, a light source (either a coherent light source or a non-coherent light source), a light detector, and at least one processor. One or more processors may be configured to analyze light reflections received from a facial region to determine the facial skin micromovements, and extract meaning from the determined facial skin micromovements. Examples of meaning that may be extracted from the determined facial skin micromovements may include words spoken by the individual (either silently spoken or vocally spoken), an identification of the individual, an emotional state of the individual, a heart rate of the individual, a respiration rate of the individual, or any other biometric, emotion, or speech-related indicator.
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
H04R 1/02 - BoîtiersMeublesMontages à l'intérieur de ceux-ci
Systems, methods, and non-transitory computer-readable media including instructions for detecting and utilizing facial skin micromovements are disclosed. In some non-limiting embodiments, the detection of the facial skin micromovements occurs using a speech detection system that may include a wearable housing, a light source (either a coherent light source or a non-coherent light source), a light detector, and at least one processor. One or more processors may be configured to analyze light reflections received from a facial region to determine the facial skin micromovements, and extract meaning from the determined facial skin micromovements. Examples of meaning that may be extracted from the determined facial skin micromovements may include words spoken by the individual (either silently spoken or vocally spoken), an identification of the individual, an emotional state of the individual, a heart rate of the individual, a respiration rate of the individual, or any other biometric, emotion, or speech-related indicator.
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
H04R 1/02 - BoîtiersMeublesMontages à l'intérieur de ceux-ci
Systems, methods, and non-transitory computer-readable media including instructions for detecting and utilizing facial skin micromovements are disclosed. In some non-limiting embodiments, the detection of the facial skin micromovements occurs using a speech detection system that may include a wearable housing, a light source (either a coherent light source or a non-coherent light source), a light detector, and at least one processor. One or more processors may be configured to analyze light reflections received from a facial region to determine the facial skin micromovements, and extract meaning from the determined facial skin micromovements. Examples of meaning that may be extracted from the determined facial skin micromovements may include words spoken by the individual (either silently spoken or vocally spoken), an identification of the individual, an emotional state of the individual, a heart rate of the individual, a respiration rate of the individual, or any other biometric, emotion, or speech-related indicator.
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
G06F 21/32 - Authentification de l’utilisateur par données biométriques, p. ex. empreintes digitales, balayages de l’iris ou empreintes vocales
G06Q 20/40 - Autorisation, p. ex. identification du payeur ou du bénéficiaire, vérification des références du client ou du magasinExamen et approbation des payeurs, p. ex. contrôle des lignes de crédit ou des listes négatives
G06V 10/145 - Éclairage spécialement adapté à la reconnaissance de formes, p. ex. utilisant des réseaux
G06V 10/60 - Extraction de caractéristiques d’images ou de vidéos relative aux propriétés luminescentes, p. ex. utilisant un modèle de réflectance ou d’éclairage
G06V 40/16 - Visages humains, p. ex. parties du visage, croquis ou expressions
G06V 40/40 - Détection d’usurpation, p. ex. détection d’activité
G10L 13/00 - Synthèse de la paroleSystèmes de synthèse de la parole à partir de texte
G10L 13/02 - Procédés d'élaboration de parole synthétiqueSynthétiseurs de parole
G10L 13/027 - Synthétiseurs de parole à partir de conceptsGénération de phrases naturelles à partir de concepts automatisés
G10L 15/16 - Classement ou recherche de la parole utilisant des réseaux neuronaux artificiels
G10L 17/02 - Opérations de prétraitement, p. ex. sélection de segmentReprésentation ou modélisation de motifs, p. ex. fondée sur l’analyse linéaire discriminante [LDA] ou les composantes principalesSélection ou extraction des caractéristiques
G10L 17/04 - Entraînement, enrôlement ou construction de modèle
G10L 17/10 - Systèmes multimodaux, c.-à-d. basés sur l’intégration de moteurs multiples de reconnaissance ou de fusion de systèmes experts
A sensing device (20, 60) configured to fit on a head of a user (24) includes an optical sensing head (28, 68) held by the device in a location in proximity to a face of the user and includes an emitter (70) configured to direct coherent light toward multiple locations on a body surface of the user and an interferometric sensor (76) configured to sense changes in a phase of the coherent light that is reflected from the multiple locations on the body surface. Processing circuitry (36) is configured to apply the sensed changes in the phase in generating a speech output. Other sensing modalities are also disclosed.
Systems and methods are disclosed for speech detection from facial skin movements. In one implementation, a system may include at least one light source, at least one sensor configured to receive light reflections from the at least one light source; and a processor configured to control the at least one light source to illuminate a region of a face of a user in a time interval. The processor may receive reflection signals indicative of light reflected from the face in the time interval. The reflection signals may be analyzed to determine facial skin movements in the time interval, wherein determining the sequence of words includes using an artificial neural network and a motion-to-language analysis. Then, based on the determined facial skin movements, the processor may determine a sequence of words associated with the facial skin movements, and output a textual transcription corresponding with the determined sequence of words.
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
G02B 27/00 - Systèmes ou appareils optiques non prévus dans aucun des groupes ,
G06F 40/58 - Utilisation de traduction automatisée, p. ex. pour recherches multilingues, pour fournir aux dispositifs clients une traduction effectuée par le serveur ou pour la traduction en temps réel
G06V 10/60 - Extraction de caractéristiques d’images ou de vidéos relative aux propriétés luminescentes, p. ex. utilisant un modèle de réflectance ou d’éclairage
G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux
G06V 40/16 - Visages humains, p. ex. parties du visage, croquis ou expressions
G10L 13/02 - Procédés d'élaboration de parole synthétiqueSynthétiseurs de parole
G10L 13/027 - Synthétiseurs de parole à partir de conceptsGénération de phrases naturelles à partir de concepts automatisés
G10L 13/04 - Détails des systèmes de synthèse de la parole, p. ex. structure du synthétiseur ou gestion de la mémoire
G10L 15/16 - Classement ou recherche de la parole utilisant des réseaux neuronaux artificiels
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
G10L 15/26 - Systèmes de synthèse de texte à partir de la parole
G06F 3/01 - Dispositions d'entrée ou dispositions d'entrée et de sortie combinées pour l'interaction entre l'utilisateur et le calculateur
Systems, methods, and non-transitory computer readable media including instructions for interpreting facial skin micromovements are disclosed. Interpreting facial skin micromovements includes receiving during a first time period first signals representing prevocalization facial skin micromovements, and receiving during a second time period succeeding the first time period, second signals representing sounds. The sounds are analyzed to identify words spoken during the second time period, and the words are correlated with the prevocalization facial skin micromovements received during the first time period. The correlations are stored for future use. During a third time period, third signals representing facial skin micromovements are received in an absence of vocalization. Using the correlations, language associated with the third signals is identified and outputted.
G06F 21/32 - Authentification de l’utilisateur par données biométriques, p. ex. empreintes digitales, balayages de l’iris ou empreintes vocales
G06Q 20/40 - Autorisation, p. ex. identification du payeur ou du bénéficiaire, vérification des références du client ou du magasinExamen et approbation des payeurs, p. ex. contrôle des lignes de crédit ou des listes négatives
G06V 10/145 - Éclairage spécialement adapté à la reconnaissance de formes, p. ex. utilisant des réseaux
G06V 10/60 - Extraction de caractéristiques d’images ou de vidéos relative aux propriétés luminescentes, p. ex. utilisant un modèle de réflectance ou d’éclairage
G06V 40/16 - Visages humains, p. ex. parties du visage, croquis ou expressions
G06V 40/40 - Détection d’usurpation, p. ex. détection d’activité
G10L 13/00 - Synthèse de la paroleSystèmes de synthèse de la parole à partir de texte
G10L 13/02 - Procédés d'élaboration de parole synthétiqueSynthétiseurs de parole
G10L 13/027 - Synthétiseurs de parole à partir de conceptsGénération de phrases naturelles à partir de concepts automatisés
G10L 15/16 - Classement ou recherche de la parole utilisant des réseaux neuronaux artificiels
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
G10L 17/02 - Opérations de prétraitement, p. ex. sélection de segmentReprésentation ou modélisation de motifs, p. ex. fondée sur l’analyse linéaire discriminante [LDA] ou les composantes principalesSélection ou extraction des caractéristiques
G10L 17/04 - Entraînement, enrôlement ou construction de modèle
G10L 17/10 - Systèmes multimodaux, c.-à-d. basés sur l’intégration de moteurs multiples de reconnaissance ou de fusion de systèmes experts
A multifunctional earpiece comprising an ear-mountable housing, a speaker integrated with the ear-mountable housing for presenting sound, a light source integrated with the ear-mountable housing for projecting light toward skin of the wearer's face, a light detector integrated with the ear-mountable housing and configured to receive reflections from the skin corresponding to facial skin micromovements indicative of prevocalized words of the wearer, and wherein the multifunctional earpiece is configured to simultaneously present the sound through the speaker, project the light toward the skin, and detect the received reflections indicative of the prevocalized words.
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
H04R 1/02 - BoîtiersMeublesMontages à l'intérieur de ceux-ci
Some disclosed embodiments involve one or more of: receiving during one or more time periods, signals representing coherent light reflections associated with facial skin micromovements; analyzing the coherent light reflections to determine one or more pluralities of words associated with the facial skin micromovements; receiving information indicative of contextual conditions in which the facial skin micromovements occurred; accessing a plurality of control rules correlating a plurality of actions with a plurality of contextual conditions, wherein a first control rule prescribes a form of private presentation based on the first contextual condition, and a second control rule prescribes a form of non-private presentation based on the second contextual condition; upon receipt of the first information, implementing the first control rule to privately output a first plurality of words; and/or upon receipt of the second information, implementing the second control rule to non-privately output a second plurality of words.
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
G06F 21/32 - Authentification de l’utilisateur par données biométriques, p. ex. empreintes digitales, balayages de l’iris ou empreintes vocales
G06Q 20/40 - Autorisation, p. ex. identification du payeur ou du bénéficiaire, vérification des références du client ou du magasinExamen et approbation des payeurs, p. ex. contrôle des lignes de crédit ou des listes négatives
G06V 10/145 - Éclairage spécialement adapté à la reconnaissance de formes, p. ex. utilisant des réseaux
G06V 10/60 - Extraction de caractéristiques d’images ou de vidéos relative aux propriétés luminescentes, p. ex. utilisant un modèle de réflectance ou d’éclairage
G06V 40/16 - Visages humains, p. ex. parties du visage, croquis ou expressions
G06V 40/40 - Détection d’usurpation, p. ex. détection d’activité
G10L 13/00 - Synthèse de la paroleSystèmes de synthèse de la parole à partir de texte
G10L 13/02 - Procédés d'élaboration de parole synthétiqueSynthétiseurs de parole
G10L 13/027 - Synthétiseurs de parole à partir de conceptsGénération de phrases naturelles à partir de concepts automatisés
G10L 15/16 - Classement ou recherche de la parole utilisant des réseaux neuronaux artificiels
G10L 17/02 - Opérations de prétraitement, p. ex. sélection de segmentReprésentation ou modélisation de motifs, p. ex. fondée sur l’analyse linéaire discriminante [LDA] ou les composantes principalesSélection ou extraction des caractéristiques
G10L 17/04 - Entraînement, enrôlement ou construction de modèle
G10L 17/10 - Systèmes multimodaux, c.-à-d. basés sur l’intégration de moteurs multiples de reconnaissance ou de fusion de systèmes experts
Systems, methods, and non-transitory computer readable media including instructions for noise suppression are described. A head mountable system for noise suppression includes a wearable housing; a coherent light source configured to project light towards a facial region of the head; a detector configured to receive coherent light reflections from the facial region associated with facial skin micromovements and to output associated reflection signals; and a processor configured to: analyze the reflection signals to determine speech timing; receive audio signals from at least one microphone; correlate the reflection signals with the received audio signals to determine portions of the audio signals associated with the words spoken by the wearer; and output the determined portions of the audio signals associated with words spoken by the wearer, while omitting output of other portions of the audio signals not containing the words spoken by the wearer.
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
G06F 21/32 - Authentification de l’utilisateur par données biométriques, p. ex. empreintes digitales, balayages de l’iris ou empreintes vocales
G06Q 20/40 - Autorisation, p. ex. identification du payeur ou du bénéficiaire, vérification des références du client ou du magasinExamen et approbation des payeurs, p. ex. contrôle des lignes de crédit ou des listes négatives
G06V 10/145 - Éclairage spécialement adapté à la reconnaissance de formes, p. ex. utilisant des réseaux
G06V 10/60 - Extraction de caractéristiques d’images ou de vidéos relative aux propriétés luminescentes, p. ex. utilisant un modèle de réflectance ou d’éclairage
G06V 40/16 - Visages humains, p. ex. parties du visage, croquis ou expressions
G06V 40/40 - Détection d’usurpation, p. ex. détection d’activité
G10L 13/00 - Synthèse de la paroleSystèmes de synthèse de la parole à partir de texte
G10L 13/02 - Procédés d'élaboration de parole synthétiqueSynthétiseurs de parole
G10L 13/027 - Synthétiseurs de parole à partir de conceptsGénération de phrases naturelles à partir de concepts automatisés
G10L 15/16 - Classement ou recherche de la parole utilisant des réseaux neuronaux artificiels
G10L 17/02 - Opérations de prétraitement, p. ex. sélection de segmentReprésentation ou modélisation de motifs, p. ex. fondée sur l’analyse linéaire discriminante [LDA] ou les composantes principalesSélection ou extraction des caractéristiques
G10L 17/04 - Entraînement, enrôlement ou construction de modèle
G10L 17/10 - Systèmes multimodaux, c.-à-d. basés sur l’intégration de moteurs multiples de reconnaissance ou de fusion de systèmes experts
Systems, methods, and non-transitory computer-readable media including instructions for detecting and utilizing facial skin micromovements are disclosed. In some non-limiting embodiments, the detection of the facial skin micromovements occurs using a speech detection system that may include a wearable housing, a light source (either a coherent light source or a non-coherent light source), a light detector, and at least one processor. One or more processors may be configured to analyze light reflections received from a facial region to determine the facial skin micromovements, and extract meaning from the determined facial skin micromovements. Examples of meaning that may be extracted from the determined facial skin micromovements may include words spoken by the individual (either silently spoken or vocally spoken), an identification of the individual, an emotional state of the individual, a heart rate of the individual, a respiration rate of the individual, or any other biometric, emotion, or speech-related indicator.
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
A61B 5/1171 - Identification des personnes basée sur la morphologie ou l’aspect de leur corps ou de parties de celui-ci
G06F 16/532 - Formulation de requêtes, p. ex. de requêtes graphiques
G06F 21/32 - Authentification de l’utilisateur par données biométriques, p. ex. empreintes digitales, balayages de l’iris ou empreintes vocales
G06F 40/40 - Traitement ou traduction du langage naturel
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
H04R 1/02 - BoîtiersMeublesMontages à l'intérieur de ceux-ci
Systems, methods, and non-transitory computer readable media including instructions for interpreting facial skin micromovements are disclosed. An example head mountable system includes a housing configured to be worn on a head of a wearer. The head mountable system also includes at least one detector integrated with the housing and configured to receive light reflections from a facial region of the head and to output associated reflection signals. The head mountable system also includes at least one microphone associated with the housing and configured to capture sounds produced by the wearer and to output associated audio signals. The head mountable system also includes and at least one processor in the housing, configured to use both the reflection signals and the audio signals to generate output that corresponds with words articulated by the wearer.
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
H04R 1/02 - BoîtiersMeublesMontages à l'intérieur de ceux-ci
The presently disclosed embodiments may include a non-transitory computer readable medium containing instruction that when executed by at least one processor cause the at least one processor to perform thresholding operations for interpretation of facial skin micromovements. The operations may include detecting facial micromovements in an absence of perceptible vocalization associated with the facial micromovements, determining an intensity level of the facial micromovements and comparing the determined intensity level with a threshold. When the intensity level is above the threshold, the operations may include interpreting the facial micromovements and when the intensity level falls beneath the threshold, the operations may include disregarding the facial micromovements.
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
H04R 1/02 - BoîtiersMeublesMontages à l'intérieur de ceux-ci
Systems, methods, and non-transitory computer readable media including instructions for determining and interpreting facial skin micromovements are disclosed. Determining facial skin micromovements includes controlling at least one coherent light source for projecting a plurality of light spots on a facial region of an individual, wherein the plurality of light spots includes at least a first light spot and a second light spot spaced from the first light spot. Reflected light from the first light spot is analyzed to determine changes in first spot reflections. Reflected light from the second light spot is analyzed to determine changes in second spot reflections. Based on the determined changes in the first spot reflections and the second spot reflections, the facial skin micromovements are determined. The facial skin micromovements derived from analyzing the first spot reflections and analyzing the second spot reflections are interpreted. An output of the interpretation is generated.
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
H04R 1/02 - BoîtiersMeublesMontages à l'intérieur de ceux-ci
Systems, methods, and non-transitory computer readable media including instructions for providing private answers to silent questions are described. Providing private answers to silent questions includes receiving signals indicative of particular facial micromovements in an absence of perceptible vocalization; accessing a data structure correlating facial micromovements with words; using the received signals to perform a lookup in the data structure of particular words associated with the particular facial micromovements; determining a query from the particular words; accessing at least one data structure to perform a look up for an answer to the query; and generating a discreet output that includes the answer to the query.
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
H04R 1/02 - BoîtiersMeublesMontages à l'intérieur de ceux-ci
Systems, methods, and computer program products are disclosed for initiating content interpretation operations prior to vocalization of content to be interpreted. Initiating content interpretation operations prior to vocalization of content to be interpreted includes receiving signals representing facial skin micromovements; determining from the signals at least one word to be spoken prior to vocalization of the at least one word in an origin language; prior to the vocalization of the at least one word, instituting an interpretation of the at least one word; and causing the interpretation of the at least one word to be presented as the at least one word is spoken.
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
A61B 5/1171 - Identification des personnes basée sur la morphologie ou l’aspect de leur corps ou de parties de celui-ci
G06F 16/532 - Formulation de requêtes, p. ex. de requêtes graphiques
G06F 21/32 - Authentification de l’utilisateur par données biométriques, p. ex. empreintes digitales, balayages de l’iris ou empreintes vocales
G06F 40/40 - Traitement ou traduction du langage naturel
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
H04R 1/02 - BoîtiersMeublesMontages à l'intérieur de ceux-ci
Systems, methods, and non-transitory computer readable media including instructions for performing operations for continuous authentication based on facial skin micromovements is disclosed. The operations may include receiving during an ongoing electronic transaction, first signals representing coherent light reflections associated with first facial skin micromovements during a first time period and second signals representing coherent light reflections associated with second facial skin micromovements during a second time period. The operations may also include determining, using the first and second signals, that a specific individual is associated with the first and second facial skin micromovements. The operations may also include receiving during the ongoing electronic transaction third signals representing coherent light reflections associated with third facial skin micromovements. The operations may further include determining, using the third signals, that the third facial skin micromovements are not associated with the specific individual, and initiating an action based on the determination.
G06F 21/32 - Authentification de l’utilisateur par données biométriques, p. ex. empreintes digitales, balayages de l’iris ou empreintes vocales
G06Q 20/40 - Autorisation, p. ex. identification du payeur ou du bénéficiaire, vérification des références du client ou du magasinExamen et approbation des payeurs, p. ex. contrôle des lignes de crédit ou des listes négatives
G06V 10/145 - Éclairage spécialement adapté à la reconnaissance de formes, p. ex. utilisant des réseaux
G06V 10/60 - Extraction de caractéristiques d’images ou de vidéos relative aux propriétés luminescentes, p. ex. utilisant un modèle de réflectance ou d’éclairage
G06V 40/16 - Visages humains, p. ex. parties du visage, croquis ou expressions
G06V 40/40 - Détection d’usurpation, p. ex. détection d’activité
G10L 13/00 - Synthèse de la paroleSystèmes de synthèse de la parole à partir de texte
G10L 13/02 - Procédés d'élaboration de parole synthétiqueSynthétiseurs de parole
G10L 13/027 - Synthétiseurs de parole à partir de conceptsGénération de phrases naturelles à partir de concepts automatisés
G10L 15/16 - Classement ou recherche de la parole utilisant des réseaux neuronaux artificiels
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
G10L 17/02 - Opérations de prétraitement, p. ex. sélection de segmentReprésentation ou modélisation de motifs, p. ex. fondée sur l’analyse linéaire discriminante [LDA] ou les composantes principalesSélection ou extraction des caractéristiques
G10L 17/04 - Entraînement, enrôlement ou construction de modèle
G10L 17/10 - Systèmes multimodaux, c.-à-d. basés sur l’intégration de moteurs multiples de reconnaissance ou de fusion de systèmes experts
Systems, methods, and non-transitory computer readable media including instructions for establishing nonvocalized conversations are disclosed. The operations include establishing a wireless communication channel for enabling a nonvocalized conversation via a first wearable device and a second wearable device. The operations also include detecting by the first wearable device first facial skin micromovements occurring in an absence of perceptible vocalization, and transmitting a first communication from the first wearable device to the second wearable device, wherein the first communication is derived from the first facial skin micromovements and is transmitted for presentation via the second wearable device. The operations also include receiving a second communication from the second wearable device, wherein the second communication is derived from second facial skin micromovements detected by the second wearable device, and presenting the second communication to a wearer of the first wearable device.
G10L 25/78 - Détection de la présence ou de l’absence de signaux de voix
G06V 10/145 - Éclairage spécialement adapté à la reconnaissance de formes, p. ex. utilisant des réseaux
G06V 10/60 - Extraction de caractéristiques d’images ou de vidéos relative aux propriétés luminescentes, p. ex. utilisant un modèle de réflectance ou d’éclairage
G10L 13/027 - Synthétiseurs de parole à partir de conceptsGénération de phrases naturelles à partir de concepts automatisés
37.
Using facial skin micromovements to identify a user
Head mountable systems, methods, and non-transitory computer readable media including instructions for identifying individuals using facial skin micromovements are disclosed. An example head mountable system may include a wearable housing, a coherent light source, a detector, and at least one processor. The at least one processor may analyze reflection signals from the detector to determine specific facial skin micromovements of an individual wearing the head mountable system. Thereafter, the at least one processor may access memory correlating a plurality of facial skin micromovements with the individual, and search for a match between the determined specific facial skin micromovements and at least one of the plurality of facial skin micromovements in the memory. If a match is identified, the processor may initiate a first action; and if a match is not identified, the at least one processor may initiate a second action different from the first action.
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p. ex. dialogue homme-machine
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
H04R 1/02 - BoîtiersMeublesMontages à l'intérieur de ceux-ci
Systems, methods, and non-transitory computer readable media including instructions for ongoing verification of communication authenticity based on light reflections from facial skin are disclosed. The ongoing verification involves generating a first data stream representing a communication by a subject, the communication having a duration; generating a second data stream for corroborating an identity of the subject from facial skin light reflections captured during the duration of the communication; transmitting the first data stream to a destination; transmitting the second data stream to the destination; and wherein the second data stream is correlated to the first data stream in a manner such that upon receipt at the destination, the second data stream is enabled for use in repeatedly checking during the duration of the communication that the communication originated from the subject.
G06F 21/32 - Authentification de l’utilisateur par données biométriques, p. ex. empreintes digitales, balayages de l’iris ou empreintes vocales
G06V 10/60 - Extraction de caractéristiques d’images ou de vidéos relative aux propriétés luminescentes, p. ex. utilisant un modèle de réflectance ou d’éclairage
G06V 40/16 - Visages humains, p. ex. parties du visage, croquis ou expressions
G06V 40/40 - Détection d’usurpation, p. ex. détection d’activité
Systems, methods, and computer program products are disclosed for removing noise from facial skin micromovement signals. Removing noise from facial skin micromovements includes, during a time period when an individual is involved in at least one non-speech-related physical activity, operating a light source in a manner enabling illumination of a facial skin region of the individual; receiving signals representing light reflections from the facial skin region; analyzing the received signals to identify a first reflection component indicative of prevocalization facial skin micromovements and a second reflection component associated with the at least one non-speech-related physical activity; and filtering out the second reflection component to enable interpretation of words from the first reflection component indicative of the prevocalization facial skin micromovements.
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
G06F 21/32 - Authentification de l’utilisateur par données biométriques, p. ex. empreintes digitales, balayages de l’iris ou empreintes vocales
G06Q 20/40 - Autorisation, p. ex. identification du payeur ou du bénéficiaire, vérification des références du client ou du magasinExamen et approbation des payeurs, p. ex. contrôle des lignes de crédit ou des listes négatives
G06V 10/145 - Éclairage spécialement adapté à la reconnaissance de formes, p. ex. utilisant des réseaux
G06V 10/60 - Extraction de caractéristiques d’images ou de vidéos relative aux propriétés luminescentes, p. ex. utilisant un modèle de réflectance ou d’éclairage
G06V 40/16 - Visages humains, p. ex. parties du visage, croquis ou expressions
G06V 40/40 - Détection d’usurpation, p. ex. détection d’activité
G10L 13/00 - Synthèse de la paroleSystèmes de synthèse de la parole à partir de texte
G10L 13/02 - Procédés d'élaboration de parole synthétiqueSynthétiseurs de parole
G10L 13/027 - Synthétiseurs de parole à partir de conceptsGénération de phrases naturelles à partir de concepts automatisés
G10L 15/16 - Classement ou recherche de la parole utilisant des réseaux neuronaux artificiels
G10L 17/02 - Opérations de prétraitement, p. ex. sélection de segmentReprésentation ou modélisation de motifs, p. ex. fondée sur l’analyse linéaire discriminante [LDA] ou les composantes principalesSélection ou extraction des caractéristiques
G10L 17/04 - Entraînement, enrôlement ou construction de modèle
G10L 17/10 - Systèmes multimodaux, c.-à-d. basés sur l’intégration de moteurs multiples de reconnaissance ou de fusion de systèmes experts
Systems, methods, and non-transitory computer-readable media including instructions for detecting and utilizing facial skin micromovements are disclosed. In some non-limiting embodiments, the detection of the facial skin micromovements occurs using a speech detection system that may include a wearable housing, a light source (either a coherent light source or a non-coherent light source), a light detector, and at least one processor. One or more processors may be configured to analyze light reflections received from a facial region to determine the facial skin micromovements, and extract meaning from the determined facial skin micromovements. Examples of meaning that may be extracted from the determined facial skin micromovements may include words spoken by the individual (either silently spoken or vocally spoken), an identification of the individual, an emotional state of the individual, a heart rate of the individual, a respiration rate of the individual, or any other biometric, emotion, or speech-related indicator.
Systems and methods are disclosed for determining an intent to speak based on minute facial skin movements. In one implementation, a system may include a processor configured to control at least one coherent light source to illuminate a region of a face. The processor may receive from at least one sensor, reflection signals indicative of coherent light reflected from the face. The reflection signals may be analyzed to determine minute facial skin movements associated with silent speech. Then, based on the determined minute facial skin movements associated with the silent speech, the processor may determine a speech intent, and initiate, prior to an audible utterance of the silent speech, an action based on the determined speech intent.
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
G02B 27/00 - Systèmes ou appareils optiques non prévus dans aucun des groupes ,
G06F 40/58 - Utilisation de traduction automatisée, p. ex. pour recherches multilingues, pour fournir aux dispositifs clients une traduction effectuée par le serveur ou pour la traduction en temps réel
G06V 10/60 - Extraction de caractéristiques d’images ou de vidéos relative aux propriétés luminescentes, p. ex. utilisant un modèle de réflectance ou d’éclairage
G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux
G06V 40/16 - Visages humains, p. ex. parties du visage, croquis ou expressions
G10L 13/02 - Procédés d'élaboration de parole synthétiqueSynthétiseurs de parole
G10L 13/027 - Synthétiseurs de parole à partir de conceptsGénération de phrases naturelles à partir de concepts automatisés
G10L 13/04 - Détails des systèmes de synthèse de la parole, p. ex. structure du synthétiseur ou gestion de la mémoire
G10L 15/16 - Classement ou recherche de la parole utilisant des réseaux neuronaux artificiels
G10L 15/26 - Systèmes de synthèse de texte à partir de la parole
G06F 3/01 - Dispositions d'entrée ou dispositions d'entrée et de sortie combinées pour l'interaction entre l'utilisateur et le calculateur
42.
Determining speech from facial skin movements using a housing supported by ear or associated with an earphone
A method for generating speech includes uploading a reference set of features that were extracted from sensed movements of one or more target regions of skin on faces of one or more reference human subjects in response to words articulated by the subjects and without contacting the one or more target regions. A test set of features is extracted a from the sensed movements of at least one of the target regions of skin on a face of a test subject in response to words articulated silently by the test subject and without contacting the one or more target regions. The extracted test set of features is compared to the reference set of features, and, based on the comparison, a speech output is generated, that includes the articulated words of the test subject.
G10L 13/027 - Synthétiseurs de parole à partir de conceptsGénération de phrases naturelles à partir de concepts automatisés
G06F 21/32 - Authentification de l’utilisateur par données biométriques, p. ex. empreintes digitales, balayages de l’iris ou empreintes vocales
G10L 15/20 - Techniques de reconnaissance de la parole spécialement adaptées de par leur robustesse contre les perturbations environnantes, p. ex. en milieu bruyant ou reconnaissance de la parole émise dans une situation de stress
G10L 13/02 - Procédés d'élaboration de parole synthétiqueSynthétiseurs de parole
G06F 3/01 - Dispositions d'entrée ou dispositions d'entrée et de sortie combinées pour l'interaction entre l'utilisateur et le calculateur
G10L 15/26 - Systèmes de synthèse de texte à partir de la parole
G06F 40/58 - Utilisation de traduction automatisée, p. ex. pour recherches multilingues, pour fournir aux dispositifs clients une traduction effectuée par le serveur ou pour la traduction en temps réel
G06V 10/60 - Extraction de caractéristiques d’images ou de vidéos relative aux propriétés luminescentes, p. ex. utilisant un modèle de réflectance ou d’éclairage
G06V 40/16 - Visages humains, p. ex. parties du visage, croquis ou expressions
G10L 15/16 - Classement ou recherche de la parole utilisant des réseaux neuronaux artificiels
G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux
G10L 13/04 - Détails des systèmes de synthèse de la parole, p. ex. structure du synthétiseur ou gestion de la mémoire
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
G02B 27/00 - Systèmes ou appareils optiques non prévus dans aucun des groupes ,
Wearable coherent light sensing systems and methods are disclosed. In one implementation, a system may include a wearable coherent light source configured to direct light towards a facial area; a wearable sensor configured to receive light source reflections and to output associated reflection signals; and a processor operable in an idle mode and in a high power mode. In the idle mode, the processor is configured to receive the reflection signals, process the reflection signals to identify trigger in the reflection signals, and automatically switch to the high power mode upon identification of the trigger. In the high power mode, the processor is configured to analyze the reflection signals to identify facial movements associated with silent speech. Following the identification of the facial movements associated with the silent speech, the processor is configured to decipher the facial movements and generate an output associated with the silent speech.
G10L 15/26 - Systèmes de synthèse de texte à partir de la parole
G06F 40/58 - Utilisation de traduction automatisée, p. ex. pour recherches multilingues, pour fournir aux dispositifs clients une traduction effectuée par le serveur ou pour la traduction en temps réel
G06V 10/60 - Extraction de caractéristiques d’images ou de vidéos relative aux propriétés luminescentes, p. ex. utilisant un modèle de réflectance ou d’éclairage
G06V 40/16 - Visages humains, p. ex. parties du visage, croquis ou expressions
G10L 15/16 - Classement ou recherche de la parole utilisant des réseaux neuronaux artificiels
G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux
G10L 13/027 - Synthétiseurs de parole à partir de conceptsGénération de phrases naturelles à partir de concepts automatisés
G10L 13/04 - Détails des systèmes de synthèse de la parole, p. ex. structure du synthétiseur ou gestion de la mémoire
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
G02B 27/00 - Systèmes ou appareils optiques non prévus dans aucun des groupes ,
G10L 13/02 - Procédés d'élaboration de parole synthétiqueSynthétiseurs de parole
G06F 3/01 - Dispositions d'entrée ou dispositions d'entrée et de sortie combinées pour l'interaction entre l'utilisateur et le calculateur
Systems and methods are disclosed for determining textual transcription from minute facial skin movements. In one implementation, a system may include at least one coherent light source, at least one sensor configured to receive light reflections from the at least one coherent light source; and a processor configured to control the at least one coherent light source to illuminate a region of a face of a user. The processor may receive from the at least one sensor, reflection signals indicative of coherent light reflected from the face in a time interval. The reflection signals may be analyzed to determine minute facial skin movements in the time interval. Then, based on the determined minute facial skin movements in the time interval, the processor may determine a sequence of words associated with the minute facial skin movements, and output a textual transcription corresponding with the determined sequence of words.
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
G02B 27/00 - Systèmes ou appareils optiques non prévus dans aucun des groupes ,
G06F 40/58 - Utilisation de traduction automatisée, p. ex. pour recherches multilingues, pour fournir aux dispositifs clients une traduction effectuée par le serveur ou pour la traduction en temps réel
G06V 10/60 - Extraction de caractéristiques d’images ou de vidéos relative aux propriétés luminescentes, p. ex. utilisant un modèle de réflectance ou d’éclairage
G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux
G06V 40/16 - Visages humains, p. ex. parties du visage, croquis ou expressions
G10L 13/02 - Procédés d'élaboration de parole synthétiqueSynthétiseurs de parole
G10L 13/027 - Synthétiseurs de parole à partir de conceptsGénération de phrases naturelles à partir de concepts automatisés
G10L 13/04 - Détails des systèmes de synthèse de la parole, p. ex. structure du synthétiseur ou gestion de la mémoire
G10L 15/16 - Classement ou recherche de la parole utilisant des réseaux neuronaux artificiels
G10L 15/26 - Systèmes de synthèse de texte à partir de la parole
G06F 3/01 - Dispositions d'entrée ou dispositions d'entrée et de sortie combinées pour l'interaction entre l'utilisateur et le calculateur
A sensing device (20, 60) includes a bracket (22) configured to fit an ear of a user (24) of the device. An optical sensing head (28) is held by the bracket in a location in proximity to a face of the user and senses light reflected from the face and to output a signal in response to the detected light. Processing circuitry (70, 75) processes the signal to generate a speech output.
A method for generating speech includes uploading a reference set of features that were extracted from sensed movements of one or more target regions of skin on faces of one or more reference human subjects in response to words articulated by the subjects and without contacting the one or more target regions. A test set of features is extracted a from the sensed movements of at least one of the target regions of skin on a face of a test subject in response to words articulated silently by the test subject and without contacting the one or more target regions. The extracted test set of features is compared to the reference set of features, and, based on the comparison, a speech output is generated, that includes the articulated words of the test subject.