Systems, methods, and apparatuses are described for capturing panoramic images and positioning virtual objects on a device screen, using a device having a static camera and an adjustable camera. To generate a panoramic image, the device moves the field of view of the adjustable camera by moving a corresponding MEMS mirror. The device then captures a first image using the static camera, and a second image using the adjustable camera, and generates a panoramic image by combining the first and second images. To position a virtual object, the device captures a first image using the static camera, and determines that there are insufficient visual features in the first image for positioning. The device moves the field of view of the adjustable camera by moving the corresponding MEMS mirror, and captures a second image. Visual features from the second image are then used to position the virtual object.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
G02B 26/08 - Dispositifs ou dispositions optiques pour la commande de la lumière utilisant des éléments optiques mobiles ou déformables pour commander la direction de la lumière
H04N 23/695 - Commande de la direction de la caméra pour modifier le champ de vision, p. ex. par un panoramique, une inclinaison ou en fonction du suivi des objets
H04N 23/698 - Commande des caméras ou des modules de caméras pour obtenir un champ de vision élargi, p. ex. pour la capture d'images panoramiques
2.
SYSTEMS AND METHODS FOR AUTOMATED IMAGE CAPTURE ASSISTANCE AND DUAL CAMERA MODE
Systems and methods are provided for enabling improved image capture at a computing device comprising a plurality of cameras. First and second capture streams, from respective first and second cameras of a computing device, are received at the computing device, wherein the first and second cameras face in different directions. A region of the first capture stream to include as an overlay over a portion of the second capture stream is identified. It is determined that a combined frame comprising a frame from the second capture stream with an overlay from the region of the first capture stream meets threshold criterion based on image component analysis, and, in response to the determining, an image based on the combined frame is stored in a non-transitory memory.
H04N 23/60 - Commande des caméras ou des modules de caméras
H04N 5/262 - Circuits de studio, p.ex. pour mélanger, commuter, changer le caractère de l'image, pour d'autres effets spéciaux
H04N 5/272 - Moyens pour insérer une image de premier plan dans une image d'arrière plan, c. à d. incrustation, effet inverse
H04N 23/611 - Commande des caméras ou des modules de caméras en fonction des objets reconnus les objets reconnus comprenant des parties du corps humain
H04N 23/62 - Commande des paramètres via des interfaces utilisateur
H04N 23/90 - Agencement de caméras ou de modules de caméras, p. ex. de plusieurs caméras dans des studios de télévision ou des stades de sport
3.
SYSTEMS AND METHODS FOR IMPROVED CONTENT EDITING AT A COMPUTING DEVICE
Systems and methods are provided for improving image item editing. An image item is selected at a computing device and with an editing application, and a preferred editing option to apply to the image item is identified via a user profile. The preferred editing option is determined based on historic editing actions for a plurality of different image items. An icon for applying the preferred editing option to the image item is generated for display in a user interface of the editing application. User input associated with the icon is received, and the preferred editing option is applied to the image item.
G06F 3/04845 - Techniques d’interaction fondées sur les interfaces utilisateur graphiques [GUI] pour la commande de fonctions ou d’opérations spécifiques, p.ex. sélection ou transformation d’un objet, d’une image ou d’un élément de texte affiché, détermination d’une valeur de paramètre ou sélection d’une plage de valeurs pour la transformation d’images, p.ex. glissement, rotation, agrandissement ou changement de couleur
G06F 3/04817 - Techniques d’interaction fondées sur les interfaces utilisateur graphiques [GUI] fondées sur des propriétés spécifiques de l’objet d’interaction affiché ou sur un environnement basé sur les métaphores, p.ex. interaction avec des éléments du bureau telles les fenêtres ou les icônes, ou avec l’aide d’un curseur changeant de comport utilisant des icônes
G06T 5/50 - Amélioration ou restauration d'image en utilisant plusieurs images, p.ex. moyenne, soustraction
Systems, methods and apparatuses are described herein for accessing image data that comprises a plurality of macropixels, wherein the image data may be generated using a device comprising a lenslet array. The image data may be decomposed into a plurality of components using Kronecker product singular value decomposition (KP-SVD). Each component of the plurality of components may be encoded. Each encoded component of the plurality of components may be transmitted to cause display of reconstructed image data based on decoding each encoded component of the plurality of components.
H04N 21/2343 - Traitement de flux vidéo élémentaires, p.ex. raccordement de flux vidéo ou transformation de graphes de scènes MPEG-4 impliquant des opérations de reformatage de signaux vidéo pour la distribution ou la mise en conformité avec les requêtes des utilisateurs finaux ou les exigences des dispositifs des utilisateurs finaux
H04N 21/4402 - Traitement de flux élémentaires vidéo, p.ex. raccordement d'un clip vidéo récupéré d'un stockage local avec un flux vidéo en entrée ou rendu de scènes selon des graphes de scène MPEG-4 impliquant des opérations de reformatage de signaux vidéo pour la redistribution domestique, le stockage ou l'affichage en temps réel
A method and system for detecting facial expressions in digital images and applications therefore are disclosed. Analysis of a digital image determines whether or not a smile and/or blink is present on a person's face. Face recognition, and/or a pose or illumination condition determination, permits application of a specific, relatively small classifier cascade.
H04N 23/611 - Commande des caméras ou des modules de caméras en fonction des objets reconnus les objets reconnus comprenant des parties du corps humain
G06V 40/16 - Visages humains, p.ex. parties du visage, croquis ou expressions
H04N 23/61 - Commande des caméras ou des modules de caméras en fonction des objets reconnus
6.
SYSTEM AND METHODS FOR LENSLESS UNDER DISPLAY CAMERA
Systems and methods are described for enabling a lensless camera having an image sensor and a mask to be positioned behind a display screen of a device, which allows for the device to have an increased screen-to-body ratio. The image sensor captures an image based on the light that travels through the display screen and the mask. The display screen may include portions between pixel elements that allow light to pass through. The mask may include a pattern, such as an opaque material with portions that allow light to pass through from the portions of the display layer to the image sensor. The image captured by the image sensor may be indiscernible to humans. The system may utilize a trained machine learning model to reconstruct the image, using data about the pattern of the mask, so humans may visually recognize features in the image.
Systems and methods are described for enabling a lensless camera having an image sensor and a mask to be positioned behind a display screen of a device, which allows for the device to have an increased screen-to-body ratio. The image sensor captures an image based on the light that travels through the display screen and the mask. The display screen may include portions between pixel elements that allow light to pass through. The mask may include a pattern, such as an opaque material with portions that allow light to pass through from the portions of the display layer to the image sensor. The image captured by the image sensor may be indiscernible to humans. The system may utilize a trained machine learning model to reconstruct the image, using data about the pattern of the mask, so humans may visually recognize features in the image.
G06F 1/16 - TRAITEMENT ÉLECTRIQUE DE DONNÉES NUMÉRIQUES - Détails non couverts par les groupes et - Détails ou dispositions de structure
G09G 3/34 - Dispositions ou circuits de commande présentant un intérêt uniquement pour l'affichage utilisant des moyens de visualisation autres que les tubes à rayons cathodiques pour la présentation d'un ensemble de plusieurs caractères, p.ex. d'une page, en composant l'ensemble par combinaison d'éléments individuels disposés en matrice en commandant la lumière provenant d'une source indépendante
H04M 1/02 - Caractéristiques de structure des appareils téléphoniques
H04N 23/955 - Systèmes de photographie numérique, p. ex. systèmes d'imagerie par champ lumineux pour l’imagerie sans objectif
8.
System and Methods for Calibration of an Array Camera
Systems and methods for calibrating an array camera are disclosed. Systems and methods for calibrating an array camera in accordance with embodiments of this invention include the capturing of an image of a test pattern with the array camera such that each imaging component in the array camera captures an image of the test pattern. The image of the test pattern captured by a reference imaging component is then used to derive calibration information for the reference component. A corrected image of the test pattern for the reference component is then generated from the calibration information and the image of the test pattern captured by the reference imaging component. The corrected image is then used with the images captured by each of the associate imaging components associated with the reference component to generate calibration information for the associate imaging components.
H04N 13/282 - Générateurs de signaux d’images pour la génération de signaux d’images correspondant à au moins trois points de vue géométriques, p.ex. systèmes multi-vues
H04N 17/00 - Diagnostic, test ou mesure, ou leurs détails, pour les systèmes de télévision
H04N 17/02 - Diagnostic, test ou mesure, ou leurs détails, pour les systèmes de télévision pour les signaux de télévision en couleurs
H04N 23/667 - Changement de mode de fonctionnement de la caméra, p. ex. entre les modes photo et vidéo, sport et normal ou haute et basse résolutions
H04N 23/951 - Systèmes de photographie numérique, p. ex. systèmes d'imagerie par champ lumineux en utilisant plusieurs images pour influencer la résolution, la fréquence d'images ou le rapport de cadre
9.
Capturing and Processing of Images Including Occlusions Focused on an Image Sensor by a Lens Stack Array
Systems and methods for implementing array cameras configured to perform super-resolution processing to generate higher resolution super-resolved images using a plurality of captured images and lens stack arrays that can be utilized in array cameras are disclosed. An imaging device in accordance with one embodiment of the invention includes at least one imager array, and each imager in the array comprises a plurality of light sensing elements and a lens stack including at least one lens surface, where the lens stack is configured to form an image on the light sensing elements, control circuitry configured to capture images formed on the light sensing elements of each of the imagers, and a super-resolution processing module configured to generate at least one higher resolution super-resolved image using a plurality of the captured images.
G02B 13/00 - Objectifs optiques spécialement conçus pour les emplois spécifiés ci-dessous
G06T 7/50 - Récupération de la profondeur ou de la forme
G06T 7/557 - Récupération de la profondeur ou de la forme à partir de plusieurs images à partir des champs de lumière, p.ex. de caméras plénoptiques
G06T 11/60 - Edition de figures et de texte; Combinaison de figures ou de texte
G06T 19/20 - Transformation de modèles ou d'images tridimensionnels [3D] pour infographie Édition d'images tridimensionnelles [3D], p.ex. modification de formes ou de couleurs, alignement d'objets ou positionnements de parties
H04N 5/262 - Circuits de studio, p.ex. pour mélanger, commuter, changer le caractère de l'image, pour d'autres effets spéciaux
H04N 13/128 - Ajustement de la profondeur ou de la disparité
H04N 13/239 - Générateurs de signaux d’images utilisant des caméras à images stéréoscopiques utilisant deux capteurs d’images 2D dont la position relative est égale ou en correspondance à l’intervalle oculaire
H04N 23/11 - Caméras ou modules de caméras comprenant des capteurs d'images électroniques; Leur commande pour générer des signaux d'image à partir de différentes longueurs d'onde pour générer des signaux d'image à partir de longueurs d'onde de lumière visible et infrarouge
H04N 23/13 - Caméras ou modules de caméras comprenant des capteurs d'images électroniques; Leur commande pour générer des signaux d'image à partir de différentes longueurs d'onde avec plusieurs capteurs
H04N 23/16 - Dispositions optiques associées aux capteurs, p.ex. pour diviser des faisceaux ou pour corriger la couleur
H04N 23/45 - Caméras ou modules de caméras comprenant des capteurs d'images électroniques; Leur commande pour générer des signaux d'image à partir de plusieurs capteurs d'image de type différent ou fonctionnant dans des modes différents, p. ex. avec un capteur CMOS pour les images en mouvement en combinaison avec un dispositif à couplage de charge [CCD]
H04N 23/54 - Montage de tubes analyseurs, de capteurs d'images électroniques, de bobines de déviation ou de focalisation
H04N 23/55 - Pièces optiques spécialement adaptées aux capteurs d'images électroniques; Leur montage
H04N 23/60 - Commande des caméras ou des modules de caméras
H04N 23/69 - Commande de moyens permettant de modifier l'angle du champ de vision, p. ex. des objectifs de zoom optique ou un zoom électronique
H04N 23/698 - Commande des caméras ou des modules de caméras pour obtenir un champ de vision élargi, p. ex. pour la capture d'images panoramiques
H04N 23/88 - Chaînes de traitement de la caméra; Leurs composants pour le traitement de signaux de couleur pour l'équilibrage des couleurs, p.ex. circuits pour équilibrer le blanc ou commande de la température de couleur
H04N 23/951 - Systèmes de photographie numérique, p. ex. systèmes d'imagerie par champ lumineux en utilisant plusieurs images pour influencer la résolution, la fréquence d'images ou le rapport de cadre
H04N 25/13 - Agencement de matrices de filtres colorés [CFA]; Mosaïques de filtres caractérisées par les caractéristiques spectrales des éléments filtrants
H04N 25/131 - Agencement de matrices de filtres colorés [CFA]; Mosaïques de filtres caractérisées par les caractéristiques spectrales des éléments filtrants comprenant des éléments laissant passer les longueurs d'onde infrarouges
H04N 25/133 - Agencement de matrices de filtres colorés [CFA]; Mosaïques de filtres caractérisées par les caractéristiques spectrales des éléments filtrants comprenant des éléments laissant passer la lumière panchromatique, p. ex. des filtres laissant passer la lumière blanche
H04N 25/40 - Extraction de données de pixels provenant d'un capteur d'images en agissant sur les circuits de balayage, p.ex. en modifiant le nombre de pixels ayant été échantillonnés ou à échantillonner
H04N 25/48 - Augmentation de la résolution en déplaçant le capteur par rapport à la scène
H04N 25/581 - Commande de la gamme dynamique impliquant plusieurs expositions acquises simultanément
H04N 25/60 - Traitement du bruit, p.ex. détection, correction, réduction ou élimination du bruit
H04N 25/67 - Traitement du bruit, p.ex. détection, correction, réduction ou élimination du bruit appliqué au bruit à motif fixe, p.ex. non-uniformité de la réponse
H04N 25/705 - Pixels pour la mesure de la profondeur, p. ex. RGBZ
H04N 25/79 - Agencements de circuits répartis entre des substrats, des puces ou des cartes de circuits différents ou multiples, p. ex. des capteurs d'images empilés
10.
Systems and Methods for Hybrid Depth Regularization
Systems and methods for hybrid depth regularization in accordance with various embodiments of the invention are disclosed. In one embodiment of the invention, a depth sensing system comprises a plurality of cameras; a processor; and a memory containing an image processing application. The image processing application may direct the processor to obtain image data for a plurality of images from multiple viewpoints, the image data comprising a reference image and at least one alternate view image; generate a raw depth map using a first depth estimation process, and a confidence map; and generate a regularized depth map. The regularized depth map may be generated by computing a secondary depth map using a second different depth estimation process; and computing a composite depth map by selecting depth estimates from the raw depth map and the secondary depth map based on the confidence map.
G06T 7/136 - Découpage; Détection de bords impliquant un seuillage
G06T 7/194 - Découpage; Détection de bords impliquant une segmentation premier plan-arrière-plan
G06T 7/44 - Analyse de la texture basée sur la description statistique de texture utilisant des opérateurs de l'image, p.ex. des filtres, des mesures de densité des bords ou des histogrammes locaux
11.
Systems and Methods for Estimating Depth and Visibility from a Reference Viewpoint for Pixels in a Set of Images Captured from Different Viewpoints
Systems in accordance with embodiments of the invention can perform parallax detection and correction in images captured using array cameras. Due to the different viewpoints of the cameras, parallax results in variations in the position of objects within the captured images of the scene. Methods in accordance with embodiments of the invention provide an accurate account of the pixel disparity due to parallax between the different cameras in the array, so that appropriate scene-dependent geometric shifts can be applied to the pixels of the captured images when performing super-resolution processing. In a number of embodiments, generating depth estimates considers the similarity of pixels in multiple spectral channels. In certain embodiments, generating depth estimates involves generating a confidence map indicating the reliability of depth estimates.
H04N 13/128 - Ajustement de la profondeur ou de la disparité
H04N 13/232 - Générateurs de signaux d’images utilisant des caméras à images stéréoscopiques utilisant un seul capteur d’images 2D utilisant des lentilles du type œil de mouche, p.ex. dispositions de lentilles circulaires
H04N 13/243 - Générateurs de signaux d’images utilisant des caméras à images stéréoscopiques utilisant au moins trois capteurs d’images 2D
H04N 23/16 - Dispositions optiques associées aux capteurs, p.ex. pour diviser des faisceaux ou pour corriger la couleur
12.
Systems and Methods for Decoding Image Files Containing Depth Maps Stored as Metadata
Systems and methods in accordance with embodiments of the invention are configured to decode images containing an image of a scene and a corresponding depth map. A depth-based effect is applied to the image to generate a synthetic image of the scene. The synthetic image can be encoded into a new image file that contains metadata associated with the depth-based effect. In many embodiments, the original decoded image has a different depth-based effect applied to it with respect to the synthetic image.
H04N 13/178 - Métadonnées, p.ex. informations sur la disparité
G06T 3/4007 - basé sur l’interpolation, p. ex. interpolation bilinéaire (démosaïquage d’images G06T 3/4015;changement d’échelle guidé par les bords ou basé sur les bords G06T 3/403)
G06T 3/4053 - basé sur la super-résolution, c.-à-d. où la résolution de l’image obtenue est plus élevée que la résolution du capteur
G06T 7/50 - Récupération de la profondeur ou de la forme
G06T 7/593 - Récupération de la profondeur ou de la forme à partir de plusieurs images à partir d’images stéréo
H04N 13/128 - Ajustement de la profondeur ou de la disparité
H04N 13/161 - Encodage, multiplexage ou démultiplexage de différentes composantes des signaux d’images
H04N 13/243 - Générateurs de signaux d’images utilisant des caméras à images stéréoscopiques utilisant au moins trois capteurs d’images 2D
H04N 13/271 - Générateurs de signaux d’images où les signaux d’images générés comprennent des cartes de profondeur ou de disparité
H04N 19/136 - Caractéristiques ou propriétés du signal vidéo entrant
H04N 19/597 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif spécialement adapté pour l’encodage de séquences vidéo multi-vues
H04N 19/625 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant un codage par transformée utilisant une transformée en cosinus discrète
H04N 19/85 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le pré-traitement ou le post-traitement spécialement adaptés pour la compression vidéo
13.
AUTOMATED RADIAL BLURRING BASED ON SALIENCY AND CO-SALIENCY
Systems and methods are described for automatically performing automated radial blurring. A plurality of images may be accessed, and saliency parameters may be determined based on at least one of the plurality of images. Co-saliency parameters may be determined based on the plurality of images. A region of interest (ROI) in the at least one of the plurality of images may be determined based on the saliency parameters and the co-saliency parameters. Automated radial blurring of the at least one of the plurality of images may be performed based on the identified ROI.
Systems, methods and apparatuses are described for determining an image that corresponds to a received input instruction. Input may be received which comprises an instruction for an image sensor to capture at least one image of a subject and the instruction comprising at least one criterion for the at least one image of the subject. An image sensor may capture, based on the instruction, captured images of the subject. An instruction vector may be determined based on the instruction, and a captured image vector for each of the captured images of the subject may be determined. At least one captured image vector of the captured images and the instruction vector may be compared to determine a corresponding image from the captured images, and the corresponding image may be provided.
H04N 23/617 - Mise à niveau ou mise à jour des programmes ou des applications pour la commande des caméras
H04N 23/611 - Commande des caméras ou des modules de caméras en fonction des objets reconnus les objets reconnus comprenant des parties du corps humain
H04N 23/60 - Commande des caméras ou des modules de caméras
G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux
Systems, methods and apparatuses are described for determining an image that corresponds to a received input instruction. Input may be received which comprises an instruction for an image sensor to capture at least one image of a subject and the instruction comprising at least one criterion for the at least one image of the subject. An image sensor may capture, based on the instruction, captured images of the subject. An instruction vector may be determined based on the instruction, and a captured image vector for each of the captured images of the subject may be determined. At least one captured image vector of the captured images and the instruction vector may be compared to determine a corresponding image from the captured images, and the corresponding image may be provided.
Systems, methods, and apparatuses are provided herein for changing the positions and/or shapes of microlenses of a light field camera to generate light field images with enhanced depth of field and/or dynamic range. This may be accomplished by a light field camera determining a plurality of focus measurements for a plurality of microlenses, wherein one or more of the plurality of microlenses vary in distance from a main lens of the light field camera. The light field camera may use the plurality of focus measurements to determine a microlens of the plurality of microlenses that captures information that is the most focused. The light field camera can then determine defocus functions for the microlenses that are not capturing information that is the most focused. The light field camera can then generate a light field image using the determined defocus functions and the information captured by the plurality of microlenses.
Systems, methods, and apparatuses are provided herein for changing the positions and/or shapes of microlenses of a light field camera to generate light field images with enhanced depth of field and/or dynamic range. This may be accomplished by a light field camera determining a plurality of focus measurements for a plurality of microlenses, wherein one or more of the plurality of microlenses vary in distance from a main lens of the light field camera. The light field camera may use the plurality of focus measurements to determine a microlens of the plurality of microlenses that captures information that is the most focused. The light field camera can then determine defocus functions for the microlenses that are not capturing information that is the most focused. The light field camera can then generate a light field image using the determined defocus functions and the information captured by the plurality of microlenses.
A hand-held digital camera has a touch-sensitive display screen (“touch screen”) for image preview and user control of the camera, and a user-selectable panorama mode. Upon entering panorama mode the camera superimposes upon the touch screen a horizontal rectangular bar whose width and/or height are user-adjustable by interaction with the touch screen to select a desired horizontal sweep angle. After the sweep angle is set the camera automatically captures successive horizontally overlapping images during a sweep of the device through the selected sweep angle. Subsequently the camera synthesises a panoramic image from the successively captured images, the panoramic image having a width corresponding to the selected sweep angle.
Systems and methods in accordance with embodiments of the invention are disclosed that use super-resolution (SR) processes to use information from a plurality of low resolution (LR) images captured by an array camera to produce a synthesized higher resolution image. One embodiment includes obtaining input images using the plurality of imagers, using a microprocessor to determine an initial estimate of at least a portion of a high resolution image using a plurality of pixels from the input images, and using a microprocessor to determine a high resolution image that when mapped through the forward imaging transformation matches the input images to within at least one predetermined criterion using the initial estimate of at least a portion of the high resolution image. In addition, each forward imaging transformation corresponds to the manner in which each imager in the imaging array generate the input images, and the high resolution image synthesized by the microprocessor has a resolution that is greater than any of the input images.
G06T 3/4053 - basé sur la super-résolution, c.-à-d. où la résolution de l’image obtenue est plus élevée que la résolution du capteur
G06T 3/4007 - basé sur l’interpolation, p. ex. interpolation bilinéaire (démosaïquage d’images G06T 3/4015;changement d’échelle guidé par les bords ou basé sur les bords G06T 3/403)
G06T 3/4076 - utilisant les images originales basse résolution pour corriger itérativement les images haute résolution
H04N 13/111 - Transformation de signaux d’images correspondant à des points de vue virtuels, p.ex. interpolation spatiale de l’image
H04N 13/128 - Ajustement de la profondeur ou de la disparité
H04N 13/139 - Conversion du format, p.ex. du débit de trames ou de la taille
H04N 23/62 - Commande des paramètres via des interfaces utilisateur
H04N 23/951 - Systèmes de photographie numérique, p. ex. systèmes d'imagerie par champ lumineux en utilisant plusieurs images pour influencer la résolution, la fréquence d'images ou le rapport de cadre
In an embodiment, a 3D facial modeling system includes a plurality of cameras configured to capture images from different viewpoints, a processor, and a memory containing a 3D facial modeling application and parameters defining a face detector, wherein the 3D facial modeling application directs the processor to obtain a plurality of images of a face captured from different viewpoints using the plurality of cameras, locate a face within each of the plurality of images using the face detector, wherein the face detector labels key feature points on the located face within each of the plurality of images, determine disparity between corresponding key feature points of located faces within the plurality of images, and generate a 3D model of the face using the depth of the key feature points.
Systems and methods for implementing array cameras configured to perform super-resolution processing to generate higher resolution super-resolved images using a plurality of captured images and lens stack arrays that can be utilized in array cameras are disclosed. An imaging device in accordance with one embodiment of the invention includes at least one imager array, and each imager in the array comprises a plurality of light sensing elements and a lens stack including at least one lens surface, where the lens stack is configured to form an image on the light sensing elements, control circuitry configured to capture images formed on the light sensing elements of each of the imagers, and a super-resolution processing module configured to generate at least one higher resolution super-resolved image using a plurality of the captured images.
G02B 13/00 - Objectifs optiques spécialement conçus pour les emplois spécifiés ci-dessous
G06T 7/50 - Récupération de la profondeur ou de la forme
G06T 7/557 - Récupération de la profondeur ou de la forme à partir de plusieurs images à partir des champs de lumière, p.ex. de caméras plénoptiques
G06T 11/60 - Edition de figures et de texte; Combinaison de figures ou de texte
G06T 19/20 - Transformation de modèles ou d'images tridimensionnels [3D] pour infographie Édition d'images tridimensionnelles [3D], p.ex. modification de formes ou de couleurs, alignement d'objets ou positionnements de parties
H04N 5/262 - Circuits de studio, p.ex. pour mélanger, commuter, changer le caractère de l'image, pour d'autres effets spéciaux
H04N 13/128 - Ajustement de la profondeur ou de la disparité
H04N 13/239 - Générateurs de signaux d’images utilisant des caméras à images stéréoscopiques utilisant deux capteurs d’images 2D dont la position relative est égale ou en correspondance à l’intervalle oculaire
H04N 23/11 - Caméras ou modules de caméras comprenant des capteurs d'images électroniques; Leur commande pour générer des signaux d'image à partir de différentes longueurs d'onde pour générer des signaux d'image à partir de longueurs d'onde de lumière visible et infrarouge
H04N 23/13 - Caméras ou modules de caméras comprenant des capteurs d'images électroniques; Leur commande pour générer des signaux d'image à partir de différentes longueurs d'onde avec plusieurs capteurs
H04N 23/16 - Dispositions optiques associées aux capteurs, p.ex. pour diviser des faisceaux ou pour corriger la couleur
H04N 23/45 - Caméras ou modules de caméras comprenant des capteurs d'images électroniques; Leur commande pour générer des signaux d'image à partir de plusieurs capteurs d'image de type différent ou fonctionnant dans des modes différents, p. ex. avec un capteur CMOS pour les images en mouvement en combinaison avec un dispositif à couplage de charge [CCD]
H04N 23/54 - Montage de tubes analyseurs, de capteurs d'images électroniques, de bobines de déviation ou de focalisation
H04N 23/55 - Pièces optiques spécialement adaptées aux capteurs d'images électroniques; Leur montage
H04N 23/60 - Commande des caméras ou des modules de caméras
H04N 23/69 - Commande de moyens permettant de modifier l'angle du champ de vision, p. ex. des objectifs de zoom optique ou un zoom électronique
H04N 23/698 - Commande des caméras ou des modules de caméras pour obtenir un champ de vision élargi, p. ex. pour la capture d'images panoramiques
H04N 23/88 - Chaînes de traitement de la caméra; Leurs composants pour le traitement de signaux de couleur pour l'équilibrage des couleurs, p.ex. circuits pour équilibrer le blanc ou commande de la température de couleur
H04N 23/951 - Systèmes de photographie numérique, p. ex. systèmes d'imagerie par champ lumineux en utilisant plusieurs images pour influencer la résolution, la fréquence d'images ou le rapport de cadre
H04N 25/40 - Extraction de données de pixels provenant d'un capteur d'images en agissant sur les circuits de balayage, p.ex. en modifiant le nombre de pixels ayant été échantillonnés ou à échantillonner
H04N 25/48 - Augmentation de la résolution en déplaçant le capteur par rapport à la scène
H04N 25/581 - Commande de la gamme dynamique impliquant plusieurs expositions acquises simultanément
H04N 25/60 - Traitement du bruit, p.ex. détection, correction, réduction ou élimination du bruit
H04N 25/67 - Traitement du bruit, p.ex. détection, correction, réduction ou élimination du bruit appliqué au bruit à motif fixe, p.ex. non-uniformité de la réponse
H04N 25/705 - Pixels pour la mesure de la profondeur, p. ex. RGBZ
H04N 25/79 - Agencements de circuits répartis entre des substrats, des puces ou des cartes de circuits différents ou multiples, p. ex. des capteurs d'images empilés
H04N 25/13 - Agencement de matrices de filtres colorés [CFA]; Mosaïques de filtres caractérisées par les caractéristiques spectrales des éléments filtrants
H04N 25/131 - Agencement de matrices de filtres colorés [CFA]; Mosaïques de filtres caractérisées par les caractéristiques spectrales des éléments filtrants comprenant des éléments laissant passer les longueurs d'onde infrarouges
H04N 25/133 - Agencement de matrices de filtres colorés [CFA]; Mosaïques de filtres caractérisées par les caractéristiques spectrales des éléments filtrants comprenant des éléments laissant passer la lumière panchromatique, p. ex. des filtres laissant passer la lumière blanche
22.
Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
Systems and methods for implementing array cameras configured to perform super-resolution processing to generate higher resolution super-resolved images using a plurality of captured images and lens stack arrays that can be utilized in array cameras are disclosed. An imaging device in accordance with one embodiment of the invention includes at least one imager array, and each imager in the array comprises a plurality of light sensing elements and a lens stack including at least one lens surface, where the lens stack is configured to form an image on the light sensing elements, control circuitry configured to capture images formed on the light sensing elements of each of the imagers, and a super-resolution processing module configured to generate at least one higher resolution super-resolved image using a plurality of the captured images.
G02B 13/00 - Objectifs optiques spécialement conçus pour les emplois spécifiés ci-dessous
G06T 7/50 - Récupération de la profondeur ou de la forme
G06T 7/557 - Récupération de la profondeur ou de la forme à partir de plusieurs images à partir des champs de lumière, p.ex. de caméras plénoptiques
G06T 11/60 - Edition de figures et de texte; Combinaison de figures ou de texte
G06T 19/20 - Transformation de modèles ou d'images tridimensionnels [3D] pour infographie Édition d'images tridimensionnelles [3D], p.ex. modification de formes ou de couleurs, alignement d'objets ou positionnements de parties
H04N 5/262 - Circuits de studio, p.ex. pour mélanger, commuter, changer le caractère de l'image, pour d'autres effets spéciaux
H04N 13/128 - Ajustement de la profondeur ou de la disparité
H04N 13/239 - Générateurs de signaux d’images utilisant des caméras à images stéréoscopiques utilisant deux capteurs d’images 2D dont la position relative est égale ou en correspondance à l’intervalle oculaire
H04N 23/11 - Caméras ou modules de caméras comprenant des capteurs d'images électroniques; Leur commande pour générer des signaux d'image à partir de différentes longueurs d'onde pour générer des signaux d'image à partir de longueurs d'onde de lumière visible et infrarouge
H04N 23/13 - Caméras ou modules de caméras comprenant des capteurs d'images électroniques; Leur commande pour générer des signaux d'image à partir de différentes longueurs d'onde avec plusieurs capteurs
H04N 23/16 - Dispositions optiques associées aux capteurs, p.ex. pour diviser des faisceaux ou pour corriger la couleur
H04N 23/45 - Caméras ou modules de caméras comprenant des capteurs d'images électroniques; Leur commande pour générer des signaux d'image à partir de plusieurs capteurs d'image de type différent ou fonctionnant dans des modes différents, p. ex. avec un capteur CMOS pour les images en mouvement en combinaison avec un dispositif à couplage de charge [CCD]
H04N 23/54 - Montage de tubes analyseurs, de capteurs d'images électroniques, de bobines de déviation ou de focalisation
H04N 23/55 - Pièces optiques spécialement adaptées aux capteurs d'images électroniques; Leur montage
H04N 23/60 - Commande des caméras ou des modules de caméras
H04N 23/69 - Commande de moyens permettant de modifier l'angle du champ de vision, p. ex. des objectifs de zoom optique ou un zoom électronique
H04N 23/698 - Commande des caméras ou des modules de caméras pour obtenir un champ de vision élargi, p. ex. pour la capture d'images panoramiques
H04N 23/88 - Chaînes de traitement de la caméra; Leurs composants pour le traitement de signaux de couleur pour l'équilibrage des couleurs, p.ex. circuits pour équilibrer le blanc ou commande de la température de couleur
H04N 23/951 - Systèmes de photographie numérique, p. ex. systèmes d'imagerie par champ lumineux en utilisant plusieurs images pour influencer la résolution, la fréquence d'images ou le rapport de cadre
H04N 25/40 - Extraction de données de pixels provenant d'un capteur d'images en agissant sur les circuits de balayage, p.ex. en modifiant le nombre de pixels ayant été échantillonnés ou à échantillonner
H04N 25/48 - Augmentation de la résolution en déplaçant le capteur par rapport à la scène
H04N 25/581 - Commande de la gamme dynamique impliquant plusieurs expositions acquises simultanément
H04N 25/60 - Traitement du bruit, p.ex. détection, correction, réduction ou élimination du bruit
H04N 25/67 - Traitement du bruit, p.ex. détection, correction, réduction ou élimination du bruit appliqué au bruit à motif fixe, p.ex. non-uniformité de la réponse
H04N 25/705 - Pixels pour la mesure de la profondeur, p. ex. RGBZ
H04N 25/79 - Agencements de circuits répartis entre des substrats, des puces ou des cartes de circuits différents ou multiples, p. ex. des capteurs d'images empilés
H04N 25/13 - Agencement de matrices de filtres colorés [CFA]; Mosaïques de filtres caractérisées par les caractéristiques spectrales des éléments filtrants
H04N 25/131 - Agencement de matrices de filtres colorés [CFA]; Mosaïques de filtres caractérisées par les caractéristiques spectrales des éléments filtrants comprenant des éléments laissant passer les longueurs d'onde infrarouges
H04N 25/133 - Agencement de matrices de filtres colorés [CFA]; Mosaïques de filtres caractérisées par les caractéristiques spectrales des éléments filtrants comprenant des éléments laissant passer la lumière panchromatique, p. ex. des filtres laissant passer la lumière blanche
A method and system for detecting facial expressions in digital images and applications therefore are disclosed. Analysis of a digital image determines whether or not a smile and/or blink is present on a person's face. Face recognition, and/or a pose or illumination condition determination, permits application of a specific, relatively small classifier cascade.
H04N 23/611 - Commande des caméras ou des modules de caméras en fonction des objets reconnus les objets reconnus comprenant des parties du corps humain
G06V 40/16 - Visages humains, p.ex. parties du visage, croquis ou expressions
H04N 23/61 - Commande des caméras ou des modules de caméras en fonction des objets reconnus
24.
System and methods for calibration of an array camera
Systems and methods for calibrating an array camera are disclosed. Systems and methods for calibrating an array camera in accordance with embodiments of this invention include the capturing of an image of a test pattern with the array camera such that each imaging component in the array camera captures an image of the test pattern. The image of the test pattern captured by a reference imaging component is then used to derive calibration information for the reference component. A corrected image of the test pattern for the reference component is then generated from the calibration information and the image of the test pattern captured by the reference imaging component. The corrected image is then used with the images captured by each of the associate imaging components associated with the reference component to generate calibration information for the associate imaging components.
H04N 13/282 - Générateurs de signaux d’images pour la génération de signaux d’images correspondant à au moins trois points de vue géométriques, p.ex. systèmes multi-vues
H04N 17/02 - Diagnostic, test ou mesure, ou leurs détails, pour les systèmes de télévision pour les signaux de télévision en couleurs
H04N 23/667 - Changement de mode de fonctionnement de la caméra, p. ex. entre les modes photo et vidéo, sport et normal ou haute et basse résolutions
H04N 23/951 - Systèmes de photographie numérique, p. ex. systèmes d'imagerie par champ lumineux en utilisant plusieurs images pour influencer la résolution, la fréquence d'images ou le rapport de cadre
25.
Systems and methods for depth estimation using generative models
Systems and methods for depth estimation in accordance with embodiments of the invention are illustrated. One embodiment includes a method for estimating depth from images. The method includes steps for receiving a plurality of source images captured from a plurality of different viewpoints using a processing system configured by an image processing application, generating a target image from a target viewpoint that is different to the viewpoints of the plurality of source images based upon a set of generative model parameters using the processing system configured by the image processing application, and identifying depth information of at least one output image based on the predicted target image using the processing system configured by the image processing application.
Systems and methods for dynamically calibrating an array camera to accommodate variations in geometry that can occur throughout its operational life are disclosed. The dynamic calibration processes can include acquiring a set of images of a scene and identifying corresponding features within the images. Geometric calibration data can be used to rectify the images and determine residual vectors for the geometric calibration data at locations where corresponding features are observed. The residual vectors can then be used to determine updated geometric calibration data for the camera array. In several embodiments, the residual vectors are used to generate a residual vector calibration data field that updates the geometric calibration data. In many embodiments, the residual vectors are used to select a set of geometric calibration from amongst a number of different sets of geometric calibration data that is the best fit for the current geometry of the camera array.
Systems and methods for hybrid depth regularization in accordance with various embodiments of the invention are disclosed. In one embodiment of the invention, a depth sensing system comprises a plurality of cameras; a processor; and a memory containing an image processing application. The image processing application may direct the processor to obtain image data for a plurality of images from multiple viewpoints, the image data comprising a reference image and at least one alternate view image; generate a raw depth map using a first depth estimation process, and a confidence map; and generate a regularized depth map. The regularized depth map may be generated by computing a secondary depth map using a second different depth estimation process; and computing a composite depth map by selecting depth estimates from the raw depth map and the secondary depth map based on the confidence map.
G06T 7/136 - Découpage; Détection de bords impliquant un seuillage
G06T 7/194 - Découpage; Détection de bords impliquant une segmentation premier plan-arrière-plan
G06T 7/44 - Analyse de la texture basée sur la description statistique de texture utilisant des opérateurs de l'image, p.ex. des filtres, des mesures de densité des bords ou des histogrammes locaux
28.
Systems and Methods for Estimating Depth from Projected Texture using Camera Arrays
Systems and methods for estimating depth from projected texture using camera arrays are described. A camera array includes a conventional camera and at least one two-dimensional array of cameras, where the conventional camera has a higher resolution than the cameras in the at least one two-dimensional array of cameras, an illumination system configured to illuminate a scene with a projected texture, where an image processing pipeline application directs the processor to: utilize the illumination system controller application to control the illumination system to illuminate a scene with a projected texture, capture a set of images of the scene illuminated with the projected texture, and determining depth estimates for pixel locations in an image from a reference viewpoint using at least a subset of the set of images.
G01B 11/22 - Dispositions pour la mesure caractérisées par l'utilisation de techniques optiques pour mesurer la profondeur
G01B 11/25 - Dispositions pour la mesure caractérisées par l'utilisation de techniques optiques pour mesurer des contours ou des courbes en projetant un motif, p.ex. des franges de moiré, sur l'objet
G06T 7/521 - Récupération de la profondeur ou de la forme à partir de la projection de lumière structurée
G06T 7/593 - Récupération de la profondeur ou de la forme à partir de plusieurs images à partir d’images stéréo
G06T 7/557 - Récupération de la profondeur ou de la forme à partir de plusieurs images à partir des champs de lumière, p.ex. de caméras plénoptiques
Embodiments of the invention provide a camera array imaging architecture that computes depth maps for objects within a scene captured by the cameras, and use a near-field sub-array of cameras to compute depth to near-field objects and a far-field sub-array of cameras to compute depth to far-field objects. In particular, a baseline distance between cameras in the near-field subarray is less than a baseline distance between cameras in the far-field sub-array in order to increase the accuracy of the depth map. Some embodiments provide an illumination near-IR light source for use in computing depth maps.
G06T 7/593 - Récupération de la profondeur ou de la forme à partir de plusieurs images à partir d’images stéréo
H04N 13/243 - Générateurs de signaux d’images utilisant des caméras à images stéréoscopiques utilisant au moins trois capteurs d’images 2D
H04N 13/271 - Générateurs de signaux d’images où les signaux d’images générés comprennent des cartes de profondeur ou de disparité
H04N 23/45 - Caméras ou modules de caméras comprenant des capteurs d'images électroniques; Leur commande pour générer des signaux d'image à partir de plusieurs capteurs d'image de type différent ou fonctionnant dans des modes différents, p. ex. avec un capteur CMOS pour les images en mouvement en combinaison avec un dispositif à couplage de charge [CCD]
H04N 23/90 - Agencement de caméras ou de modules de caméras, p. ex. de plusieurs caméras dans des studios de télévision ou des stades de sport
H04N 5/222 - TRANSMISSION D'IMAGES, p.ex. TÉLÉVISION - Détails des systèmes de télévision Équipements de studio
H04N 23/11 - Caméras ou modules de caméras comprenant des capteurs d'images électroniques; Leur commande pour générer des signaux d'image à partir de différentes longueurs d'onde pour générer des signaux d'image à partir de longueurs d'onde de lumière visible et infrarouge
H04N 23/56 - Caméras ou modules de caméras comprenant des capteurs d'images électroniques; Leur commande munis de moyens d'éclairage
30.
Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
Systems and methods in accordance with embodiments of the invention are disclosed that use super-resolution (SR) processes to use information from a plurality of low resolution (LR) images captured by an array camera to produce a synthesized higher resolution image. One embodiment includes obtaining input images using the plurality of imagers, using a microprocessor to determine an initial estimate of at least a portion of a high resolution image using a plurality of pixels from the input images, and using a microprocessor to determine a high resolution image that when mapped through the forward imaging transformation matches the input images to within at least one predetermined criterion using the initial estimate of at least a portion of the high resolution image. In addition, each forward imaging transformation corresponds to the manner in which each imager in the imaging array generate the input images, and the high resolution image synthesized by the microprocessor has a resolution that is greater than any of the input images.
G06T 3/40 - Changement d'échelle d'une image entière ou d'une partie d'image
H04N 23/951 - Systèmes de photographie numérique, p. ex. systèmes d'imagerie par champ lumineux en utilisant plusieurs images pour influencer la résolution, la fréquence d'images ou le rapport de cadre
Systems and methods for implementing array cameras configured to perform super-resolution processing to generate higher resolution super-resolved images using a plurality of captured images and lens stack arrays that can be utilized in array cameras are disclosed. An imaging device in accordance with one embodiment of the invention includes at least one imager array, and each imager in the array comprises a plurality of light sensing elements and a lens stack including at least one lens surface, where the lens stack is configured to form an image on the light sensing elements, control circuitry configured to capture images formed on the light sensing elements of each of the imagers, and a super-resolution processing module configured to generate at least one higher resolution super-resolved image using a plurality of the captured images.
H04N 13/128 - Ajustement de la profondeur ou de la disparité
G06T 7/557 - Récupération de la profondeur ou de la forme à partir de plusieurs images à partir des champs de lumière, p.ex. de caméras plénoptiques
H04N 13/239 - Générateurs de signaux d’images utilisant des caméras à images stéréoscopiques utilisant deux capteurs d’images 2D dont la position relative est égale ou en correspondance à l’intervalle oculaire
G06T 7/50 - Récupération de la profondeur ou de la forme
H04N 23/11 - Caméras ou modules de caméras comprenant des capteurs d'images électroniques; Leur commande pour générer des signaux d'image à partir de différentes longueurs d'onde pour générer des signaux d'image à partir de longueurs d'onde de lumière visible et infrarouge
H04N 23/13 - Caméras ou modules de caméras comprenant des capteurs d'images électroniques; Leur commande pour générer des signaux d'image à partir de différentes longueurs d'onde avec plusieurs capteurs
H04N 23/16 - Dispositions optiques associées aux capteurs, p.ex. pour diviser des faisceaux ou pour corriger la couleur
H04N 23/45 - Caméras ou modules de caméras comprenant des capteurs d'images électroniques; Leur commande pour générer des signaux d'image à partir de plusieurs capteurs d'image de type différent ou fonctionnant dans des modes différents, p. ex. avec un capteur CMOS pour les images en mouvement en combinaison avec un dispositif à couplage de charge [CCD]
H04N 23/54 - Montage de tubes analyseurs, de capteurs d'images électroniques, de bobines de déviation ou de focalisation
H04N 23/55 - Pièces optiques spécialement adaptées aux capteurs d'images électroniques; Leur montage
H04N 23/60 - Commande des caméras ou des modules de caméras
H04N 23/69 - Commande de moyens permettant de modifier l'angle du champ de vision, p. ex. des objectifs de zoom optique ou un zoom électronique
H04N 23/88 - Chaînes de traitement de la caméra; Leurs composants pour le traitement de signaux de couleur pour l'équilibrage des couleurs, p.ex. circuits pour équilibrer le blanc ou commande de la température de couleur
H04N 23/951 - Systèmes de photographie numérique, p. ex. systèmes d'imagerie par champ lumineux en utilisant plusieurs images pour influencer la résolution, la fréquence d'images ou le rapport de cadre
H04N 25/40 - Extraction de données de pixels provenant d'un capteur d'images en agissant sur les circuits de balayage, p.ex. en modifiant le nombre de pixels ayant été échantillonnés ou à échantillonner
H04N 25/48 - Augmentation de la résolution en déplaçant le capteur par rapport à la scène
H04N 25/60 - Traitement du bruit, p.ex. détection, correction, réduction ou élimination du bruit
H04N 25/67 - Traitement du bruit, p.ex. détection, correction, réduction ou élimination du bruit appliqué au bruit à motif fixe, p.ex. non-uniformité de la réponse
H04N 25/79 - Agencements de circuits répartis entre des substrats, des puces ou des cartes de circuits différents ou multiples, p. ex. des capteurs d'images empilés
H04N 25/581 - Commande de la gamme dynamique impliquant plusieurs expositions acquises simultanément
H04N 25/705 - Pixels pour la mesure de la profondeur, p. ex. RGBZ
G06T 19/20 - Transformation de modèles ou d'images tridimensionnels [3D] pour infographie Édition d'images tridimensionnelles [3D], p.ex. modification de formes ou de couleurs, alignement d'objets ou positionnements de parties
H04N 5/262 - Circuits de studio, p.ex. pour mélanger, commuter, changer le caractère de l'image, pour d'autres effets spéciaux
H04N 25/131 - Agencement de matrices de filtres colorés [CFA]; Mosaïques de filtres caractérisées par les caractéristiques spectrales des éléments filtrants comprenant des éléments laissant passer les longueurs d'onde infrarouges
H04N 25/133 - Agencement de matrices de filtres colorés [CFA]; Mosaïques de filtres caractérisées par les caractéristiques spectrales des éléments filtrants comprenant des éléments laissant passer la lumière panchromatique, p. ex. des filtres laissant passer la lumière blanche
H04N 25/13 - Agencement de matrices de filtres colorés [CFA]; Mosaïques de filtres caractérisées par les caractéristiques spectrales des éléments filtrants
An approach for an iris liveness detection is provided. A plurality of image pairs is acquired using one or more image sensors of a mobile device. A particular image pair is selected from the plurality of image pairs, and a hyperspectral image is generated for the particular image pair. Based on, at least in part, the hyperspectral image, a particular feature vector for the eye-iris region depicted in the particular image pair is generated, and one or more trained model feature vectors generated for facial features of a particular user of the device are retrieved. Based on, at least in part, the particular feature vector and the one or more trained model feature vectors, a distance metric is determined and compared with a threshold. If the distance metric exceeds the threshold, then a first message indicating that the plurality of image pairs fails to depict the particular user is generated. It is also determined whether at least one characteristic, of one or more characteristics determined for NIR images, changes from image-to-image by at least a second threshold. If so, then a second message is generated to indicate that the plurality of image pairs depicts the particular user of a mobile device. The second message may also indicate that an authentication of an owner to the mobile device was successful. Otherwise, a third message is generated to indicate that a presentation attack on the mobile device is in progress.
Systems and methods for calibrating an array camera are disclosed. Systems and methods for calibrating an array camera in accordance with embodiments of this invention include the capturing of an image of a test pattern with the array camera such that each imaging component in the array camera captures an image of the test pattern. The image of the test pattern captured by a reference imaging component is then used to derive calibration information for the reference component. A corrected image of the test pattern for the reference component is then generated from the calibration information and the image of the test pattern captured by the reference imaging component. The corrected image is then used with the images captured by each of the associate imaging components associated with the reference component to generate calibration information for the associate imaging components.
H04N 13/282 - Générateurs de signaux d’images pour la génération de signaux d’images correspondant à au moins trois points de vue géométriques, p.ex. systèmes multi-vues
H04N 5/232 - Dispositifs pour la commande des caméras de télévision, p.ex. commande à distance
G06T 7/80 - Analyse des images capturées pour déterminer les paramètres de caméra intrinsèques ou extrinsèques, c. à d. étalonnage de caméra
H04N 17/02 - Diagnostic, test ou mesure, ou leurs détails, pour les systèmes de télévision pour les signaux de télévision en couleurs
A method and system for detecting facial expressions in digital images and applications therefore are disclosed. Analysis of a digital image determines whether or not a smile and/or blink is present on a person's face. Face recognition, and/or a pose or illumination condition determination, permits application of a specific, relatively small classifier cascade.
H04N 23/611 - Commande des caméras ou des modules de caméras en fonction des objets reconnus les objets reconnus comprenant des parties du corps humain
G06V 40/16 - Visages humains, p.ex. parties du visage, croquis ou expressions
H04N 23/61 - Commande des caméras ou des modules de caméras en fonction des objets reconnus
35.
Digital image capture device having a panorama mode
A hand-held digital camera has a touch-sensitive display screen (“touch screen”) for image preview and user control of the camera, and a user-selectable panorama mode. Upon entering panorama mode the camera superimposes upon the touch screen a horizontal rectangular bar whose width and/or height are user-adjustable by interaction with the touch screen to select a desired horizontal sweep angle. After the sweep angle is set the camera automatically captures successive horizontally overlapping images during a sweep of the device through the selected sweep angle. Subsequently the camera synthesizes a panoramic image from the successively captured images, the panoramic image having a width corresponding to the selected sweep angle.
Systems and methods for depth estimation in accordance with embodiments of the invention are illustrated. One embodiment includes a method for estimating depth from images. The method includes steps for receiving a plurality of source images captured from a plurality of different viewpoints using a processing system configured by an image processing application, generating a target image from a target viewpoint that is different to the viewpoints of the plurality of source images based upon a set of generative model parameters using the processing system configured by the image processing application, and identifying depth information of at least one output image based on the predicted target image using the processing system configured by the image processing application.
Systems and methods for dynamically calibrating an array camera to accommodate variations in geometry that can occur throughout its operational life are disclosed. The dynamic calibration processes can include acquiring a set of images of a scene and identifying corresponding features within the images. Geometric calibration data can be used to rectify the images and determine residual vectors for the geometric calibration data at locations where corresponding features are observed. The residual vectors can then be used to determine updated geometric calibration data for the camera array. In several embodiments, the residual vectors are used to generate a residual vector calibration data field that updates the geometric calibration data. In many embodiments, the residual vectors are used to select a set of geometric calibration from amongst a number of different sets of geometric calibration data that is the best fit for the current geometry of the camera array.
Systems in accordance with embodiments of the invention can perform parallax detection and correction in images captured using array cameras. Due to the different viewpoints of the cameras, parallax results in variations in the position of objects within the captured images of the scene. Methods in accordance with embodiments of the invention provide an accurate account of the pixel disparity due to parallax between the different cameras in the array, so that appropriate scene-dependent geometric shifts can be applied to the pixels of the captured images when performing super-resolution processing. In a number of embodiments, generating depth estimates considers the similarity of pixels in multiple spectral channels. In certain embodiments, generating depth estimates involves generating a confidence map indicating the reliability of depth estimates.
H04N 13/128 - Ajustement de la profondeur ou de la disparité
H04N 13/232 - Générateurs de signaux d’images utilisant des caméras à images stéréoscopiques utilisant un seul capteur d’images 2D utilisant des lentilles du type œil de mouche, p.ex. dispositions de lentilles circulaires
H04N 13/243 - Générateurs de signaux d’images utilisant des caméras à images stéréoscopiques utilisant au moins trois capteurs d’images 2D
H04N 23/16 - Dispositions optiques associées aux capteurs, p.ex. pour diviser des faisceaux ou pour corriger la couleur
An approach for an iris liveness detection is provided. A plurality of image pairs is acquired using one or more image sensors of a mobile device. A particular image pair is selected from the plurality of image pairs, and a hyperspectral image is generated for the particular image pair. Based on, at least in part, the hyperspectral image, a particular feature vector for the eye-iris region depicted in the particular image pair is generated, and one or more trained model feature vectors generated for facial features of a particular user of the device are retrieved. Based on, at least in part, the particular feature vector and the one or more trained model feature vectors, a distance metric is determined and compared with a threshold. If the distance metric exceeds the threshold, then a first message indicating that the plurality of image pairs fails to depict the particular user is generated. It is also determined whether at least one characteristic, of one or more characteristics determined for NIR images, changes from image-to-image by at least a second threshold. If so, then a second message is generated to indicate that the plurality of image pairs depicts the particular user of a mobile device. The second message may also indicate that an authentication of an owner to the mobile device was successful. Otherwise, a third message is generated to indicate that a presentation attack on the mobile device is in progress.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
A method of image processing within an image acquisition device. In one embodiment an image including one or more face regions is acquired and one or more iris regions are identified within the one or more face regions. The one or more iris regions are analyzed to identify any iris region containing an iris pattern that poses a risk of biometrically identifying a subject within the image. Responsive to identifying any such iris region, a respective substitute iris region, containing an iris pattern distinct from the identified iris pattern to avoid identifying the subject within the image, is determined and the identified iris region is replaced with the substitute iris region in the original image.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
An approach for an iris liveness detection is provided. A plurality of image pairs is acquired using one or more image sensors of a mobile device. A particular image pair is selected from the plurality of image pairs, and a hyperspectral image is generated for the particular image pair. Based on, at least in part, the hyperspectral image, a particular feature vector for the eye-iris region depicted in the particular image pair is generated, and one or more trained model feature vectors generated for facial features of a particular user of the device are retrieved. Based on, at least in part, the particular feature vector and the one or more trained model feature vectors, a distance metric is determined and compared with a threshold. If the distance metric exceeds the threshold, then a first message indicating that the plurality of image pairs fails to depict the particular user is generated. It is also determined whether at least one characteristic, of one or more characteristics determined for NIR images, changes from image-to-image by at least a second threshold. If so, then a second message is generated to indicate that the plurality of image pairs depicts the particular user of a mobile device. The second message may also indicate that an authentication of an owner to the mobile device was successful. Otherwise, a third message is generated to indicate that a presentation attack on the mobile device is in progress.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
A hand-held digital camera has a touch-sensitive display screen (“touch screen”) for image preview and user control of the camera, and a user-selectable panorama mode. Upon entering panorama mode the camera superimposes upon the touch screen a horizontal rectangular bar whose width and/or height are user-adjustable by interaction with the touch screen to select a desired horizontal sweep angle. After the sweep angle is set the camera automatically captures successive horizontally overlapping images during a sweep of the device through the selected sweep angle. Subsequently the camera synthesises a panoramic image from the successively captured images, the panoramic image having a width corresponding to the selected sweep angle.
Systems and methods for hybrid depth regularization in accordance with various embodiments of the invention are disclosed. In one embodiment of the invention, a depth sensing system comprises a plurality of cameras; a processor; and a memory containing an image processing application. The image processing application may direct the processor to obtain image data for a plurality of images from multiple viewpoints, the image data comprising a reference image and at least one alternate view image; generate a raw depth map using a first depth estimation process, and a confidence map; and generate a regularized depth map. The regularized depth map may be generated by computing a secondary depth map using a second different depth estimation process; and computing a composite depth map by selecting depth estimates from the raw depth map and the secondary depth map based on the confidence map.
G06T 7/593 - Récupération de la profondeur ou de la forme à partir de plusieurs images à partir d’images stéréo
G06T 7/44 - Analyse de la texture basée sur la description statistique de texture utilisant des opérateurs de l'image, p.ex. des filtres, des mesures de densité des bords ou des histogrammes locaux
A hand-held digital camera has a touch-sensitive display screen (“touch screen”) for image preview and user control of the camera, and a user-selectable panorama mode. Upon entering panorama mode the camera superimposes upon the touch screen a horizontal rectangular bar whose width and/or height are user-adjustable by interaction with the touch screen to select a desired horizontal sweep angle. After the sweep angle is set the camera automatically captures successive horizontally overlapping images during a sweep of the device through the selected sweep angle. Subsequently the camera synthesizes a panoramic image from the successively captured images, the panoramic image having a width corresponding to the selected sweep angle.
A method of image processing within an image acquisition device. In one embodiment an image including one or more face regions is acquired and one or more iris regions are identified within the one or more face regions. The one or more iris regions are analyzed to identify any iris region containing an iris pattern that poses a risk of biometrically identifying a subject within the image. Responsive to identifying any such iris region, a respective substitute iris region, containing an iris pattern distinct from the identified iris pattern to avoid identifying the subject within the image, is determined and the identified iris region is replaced with the substitute iris region in the original image.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
G06F 16/50 - Recherche d’informations; Structures de bases de données à cet effet; Structures de systèmes de fichiers à cet effet de données d’images fixes
An approach for an iris liveness detection is provided. A plurality of image pairs is acquired using one or more image sensors of a mobile device. A particular image pair is selected from the plurality of image pairs, and a hyperspectral image is generated for the particular image pair. Based on, at least in part, the hyperspectral image, a particular feature vector for the eye-iris region depicted in the particular image pair is generated, and one or more trained model feature vectors generated for facial features of a particular user of the device are retrieved. Based on, at least in part, the particular feature vector and the one or more trained model feature vectors, a distance metric is determined and compared with a threshold. If the distance metric exceeds the threshold, then a first message indicating that the plurality of image pairs fails to depict the particular user is generated. It is also determined whether at least one characteristic, of one or more characteristics determined for NIR images, changes from image-to-image by at least a second threshold. If so, then a second message is generated to indicate that the plurality of image pairs depicts the particular user of a mobile device. The second message may also indicate that an authentication of an owner to the mobile device was successful. Otherwise, a third message is generated to indicate that a presentation attack on the mobile device is in progress.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
An optical system for an image acquisition device comprises an image sensor comprising an array of pixels including pixels sensitive to IR wavelengths for acquiring an image. A lens assembly includes a collecting lens surface with an optical axis, the lens assembly being arranged to focus IR light received from a given object distance on the sensor surface. The lens assembly includes at least a first reflective surface for reflecting collected light along an axis transverse to the optical axis so that a length of the optical system along the optical axis is reduced by comparison to a focal length of the lens assembly.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
H04N 5/232 - Dispositifs pour la commande des caméras de télévision, p.ex. commande à distance
G02B 7/04 - Montures, moyens de réglage ou raccords étanches à la lumière pour éléments optiques pour lentilles avec mécanisme de mise au point ou pour faire varier le grossissement
A method for providing improved foreground/background separation in a digital image of a scene is disclosed. The method comprises providing a first map comprising one or more regions provisionally defined as one of foreground or background within the digital image; and providing a subject profile corresponding to a region of interest of the digital image. The provisionally defined regions are compared with the subject profile to determine if any of the regions intersect with the profile region. The definition of one or more of the regions in the map is changed based on the comparison.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
A hand-held digital camera has a touch-sensitive display screen (“touch screen”) for image preview and user control of the camera, and a user-selectable panorama mode. Upon entering panorama mode the camera superimposes upon the touch screen a horizontal rectangular bar whose width and/or height are user-adjustable by interaction with the touch screen to select a desired horizontal sweep angle. After the sweep angle is set the camera automatically captures successive horizontally overlapping images during a sweep of the device through the selected sweep angle. Subsequently the camera synthesizes a panoramic image from the successively captured images, the panoramic image having a width corresponding to the selected sweep angle.
A method of image processing within an image acquisition device comprises: acquiring an image including one or more face regions and identifying one or more eye-iris regions within the one or more face regions. The one or more eye-iris regions are analyzed to identify any eye-iris region comprising an eye-iris pattern of sufficient quality to pose a risk of biometrically identifying a person within the image. Responsive to identifying any such eye-iris region, a respective substitute eye-iris region comprising an eye-iris pattern sufficiently distinct from the identified eye-iris pattern to avoid identifying the person within the image is determined, and the identified eye-iris region is replaced with the substitute eye-iris region in the original image.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
G06F 17/30 - Recherche documentaire; Structures de bases de données à cet effet
A method of tracking faces in an image stream with a digital image acquisition device includes receiving images from an image stream including faces, calculating corresponding integral images, and applying different subsets of face detection rectangles to the integral images to provide sets of candidate regions. The different subsets include candidate face regions of different sizes and/or locations within the images. The different candidate face regions from different images of the image stream are each tracked.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
H04N 5/232 - Dispositifs pour la commande des caméras de télévision, p.ex. commande à distance
brevets
