Abrégé

System and method for end-to-end differentiable joint image refinement and perception are provided. A learning machine employs an image acquisition device for acquiring a set of training raw images. A processor determines a representation of a raw image, initializes a set of image representation parameters, defines a set of analysis parameters of an image analysis network configured to process the image's representation, and jointly trains the set of representation parameters and the set of analysis parameters to optimize a combined objective function. A module for transforming pixel-values of the raw image to produce a transformed image comprising pixels of variance-stabilized values, a module for successively performing processes of soft camera projection and image projection, and a module for inverse transforming the transformed pixels are disclosed. The image projection performs multi-level spatial convolution, pooling, subsampling, and interpolation.

Classes IPC  ?

• G06N 20/00 - Apprentissage automatique
• G06F 18/241 - Techniques de classification relatives au modèle de classification, p.ex. approches paramétriques ou non paramétriques
• G06F 18/2413 - Techniques de classification relatives au modèle de classification, p.ex. approches paramétriques ou non paramétriques basées sur les distances des motifs d'entraînement ou de référence
• G06N 3/045 - Combinaisons de réseaux
• G06N 3/084 - Rétropropagation, p.ex. suivant l’algorithme du gradient
• G06T 5/00 - Amélioration ou restauration d'image
• G06T 5/50 - Amélioration ou restauration d'image en utilisant plusieurs images, p.ex. moyenne, soustraction
• G06T 5/73 - Élimination des flous; Accentuation de la netteté
• G06V 10/44 - Extraction de caractéristiques locales par analyse des parties du motif, p.ex. par détection d’arêtes, de contours, de boucles, d’angles, de barres ou d’intersections; Analyse de connectivité, p.ex. de composantes connectées
• G06V 10/764 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant la classification, p.ex. des objets vidéo
• G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux

Abrégé

System and method for end-to-end differentiable joint image refinement and perception are provided. A learning machine employs an image acquisition device for acquiring a set of training raw images. A processor determines a representation of a raw image, initializes a set of image representation parameters, defines a set of analysis parameters of an image analysis network configured to process the image's representation, and jointly trains the set of representation parameters and the set of analysis parameters to optimize a combined objective function. A module for transforming pixel-values of the raw image to produce a transformed image comprising pixels of variance-stabilized values, a module for successively performing processes of soft camera projection and image projection, and a module for inverse transforming the transformed pixels are disclosed. The image projection performs multi-level spatial convolution, pooling, subsampling, and interpolation.

Classes IPC  ?

• G06N 20/00 - Apprentissage automatique
• G06F 18/241 - Techniques de classification relatives au modèle de classification, p.ex. approches paramétriques ou non paramétriques
• G06F 18/2413 - Techniques de classification relatives au modèle de classification, p.ex. approches paramétriques ou non paramétriques basées sur les distances des motifs d'entraînement ou de référence
• G06N 3/045 - Combinaisons de réseaux
• G06N 3/084 - Rétropropagation, p.ex. suivant l’algorithme du gradient
• G06T 5/00 - Amélioration ou restauration d'image
• G06T 5/50 - Amélioration ou restauration d'image en utilisant plusieurs images, p.ex. moyenne, soustraction
• G06T 5/73 - Élimination des flous; Accentuation de la netteté
• G06V 10/44 - Extraction de caractéristiques locales par analyse des parties du motif, p.ex. par détection d’arêtes, de contours, de boucles, d’angles, de barres ou d’intersections; Analyse de connectivité, p.ex. de composantes connectées
• G06V 10/764 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant la classification, p.ex. des objets vidéo
• G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux

Abrégé

System and method for end-to-end differentiable joint image refinement and perception are provided. A learning machine employs an image acquisition device for acquiring a set of training raw images. A processor determines a representation of a raw image, initializes a set of image representation parameters, defines a set of analysis parameters of an image analysis network configured to process the image's representation, and jointly trains the set of representation parameters and the set of analysis parameters to optimize a combined objective function. A module for transforming pixel-values of the raw image to produce a transformed image comprising pixels of variance-stabilized values, a module for successively performing processes of soft camera projection and image projection, and a module for inverse transforming the transformed pixels are disclosed. The image projection performs multi-level spatial convolution, pooling, subsampling, and interpolation.

Classes IPC  ?

• G06N 20/00 - Apprentissage automatique
• G06F 18/241 - Techniques de classification relatives au modèle de classification, p.ex. approches paramétriques ou non paramétriques
• G06F 18/2413 - Techniques de classification relatives au modèle de classification, p.ex. approches paramétriques ou non paramétriques basées sur les distances des motifs d'entraînement ou de référence
• G06N 3/045 - Combinaisons de réseaux
• G06N 3/084 - Rétropropagation, p.ex. suivant l’algorithme du gradient
• G06T 5/00 - Amélioration ou restauration d'image
• G06T 5/50 - Amélioration ou restauration d'image en utilisant plusieurs images, p.ex. moyenne, soustraction
• G06T 5/73 - Élimination des flous; Accentuation de la netteté
• G06V 10/44 - Extraction de caractéristiques locales par analyse des parties du motif, p.ex. par détection d’arêtes, de contours, de boucles, d’angles, de barres ou d’intersections; Analyse de connectivité, p.ex. de composantes connectées
• G06V 10/764 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant la classification, p.ex. des objets vidéo
• G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux

Abrégé

System and method for end-to-end differentiable joint image refinement and perception are provided. A learning machine employs an image acquisition device for acquiring a set of training raw images. A processor determines a representation of a raw image, initializes a set of image representation parameters, defines a set of analysis parameters of an image analysis network configured to process the image's representation, and jointly trains the set of representation parameters and the set of analysis parameters to optimize a combined objective function. A module for transforming pixel-values of the raw image to produce a transformed image comprising pixels of variance-stabilized values, a module for successively performing processes of soft camera projection and image projection, and a module for inverse transforming the transformed pixels are disclosed. The image projection performs multi-level spatial convolution, pooling, subsampling, and interpolation.

Classes IPC  ?

• G06N 20/00 - Apprentissage automatique
• G06F 18/241 - Techniques de classification relatives au modèle de classification, p.ex. approches paramétriques ou non paramétriques
• G06F 18/2413 - Techniques de classification relatives au modèle de classification, p.ex. approches paramétriques ou non paramétriques basées sur les distances des motifs d'entraînement ou de référence
• G06N 3/045 - Combinaisons de réseaux
• G06N 3/084 - Rétropropagation, p.ex. suivant l’algorithme du gradient
• G06T 5/00 - Amélioration ou restauration d'image
• G06T 5/50 - Amélioration ou restauration d'image en utilisant plusieurs images, p.ex. moyenne, soustraction
• G06T 5/73 - Élimination des flous; Accentuation de la netteté
• G06V 10/44 - Extraction de caractéristiques locales par analyse des parties du motif, p.ex. par détection d’arêtes, de contours, de boucles, d’angles, de barres ou d’intersections; Analyse de connectivité, p.ex. de composantes connectées
• G06V 10/764 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant la classification, p.ex. des objets vidéo
• G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux

Abrégé

System and method for end-to-end differentiable joint image refinement and perception are provided. A learning machine employs an image acquisition device for acquiring a set of training raw images. A processor determines a representation of a raw image, initializes a set of image representation parameters, defines a set of analysis parameters of an image analysis network configured to process the image's representation, and jointly trains the set of representation parameters and the set of analysis parameters to optimize a combined objective function. A module for transforming pixel-values of the raw image to produce a transformed image comprising pixels of variance-stabilized values, a module for successively performing processes of soft camera projection and image projection, and a module for inverse transforming the transformed pixels are disclosed. The image projection performs multi-level spatial convolution, pooling, subsampling, and interpolation.

Classes IPC  ?

• G06N 20/00 - Apprentissage automatique
• G06F 18/241 - Techniques de classification relatives au modèle de classification, p.ex. approches paramétriques ou non paramétriques
• G06F 18/2413 - Techniques de classification relatives au modèle de classification, p.ex. approches paramétriques ou non paramétriques basées sur les distances des motifs d'entraînement ou de référence
• G06N 3/045 - Combinaisons de réseaux
• G06N 3/084 - Rétropropagation, p.ex. suivant l’algorithme du gradient
• G06T 5/00 - Amélioration ou restauration d'image
• G06T 5/50 - Amélioration ou restauration d'image en utilisant plusieurs images, p.ex. moyenne, soustraction
• G06T 5/73 - Élimination des flous; Accentuation de la netteté
• G06V 10/44 - Extraction de caractéristiques locales par analyse des parties du motif, p.ex. par détection d’arêtes, de contours, de boucles, d’angles, de barres ou d’intersections; Analyse de connectivité, p.ex. de composantes connectées
• G06V 10/764 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant la classification, p.ex. des objets vidéo
• G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux

Abrégé

System and method for end-to-end differentiable joint image refinement and perception are provided. A learning machine employs an image acquisition device for acquiring a set of training raw images. A processor determines a representation of a raw image, initializes a set of image representation parameters, defines a set of analysis parameters of an image analysis network configured to process the image's representation, and jointly trains the set of representation parameters and the set of analysis parameters to optimize a combined objective function. A module for transforming pixel-values of the raw image to produce a transformed image comprising pixels of variance-stabilized values, a module for successively performing processes of soft camera projection and image projection, and a module for inverse transforming the transformed pixels are disclosed. The image projection performs multi-level spatial convolution, pooling, subsampling, and interpolation.

Classes IPC  ?

• G06N 20/00 - Apprentissage automatique
• G06T 5/00 - Amélioration ou restauration d'image
• G06T 5/50 - Amélioration ou restauration d'image en utilisant plusieurs images, p.ex. moyenne, soustraction
• G06N 3/084 - Rétropropagation, p.ex. suivant l’algorithme du gradient
• G06V 10/44 - Extraction de caractéristiques locales par analyse des parties du motif, p.ex. par détection d’arêtes, de contours, de boucles, d’angles, de barres ou d’intersections; Analyse de connectivité, p.ex. de composantes connectées
• G06F 18/241 - Techniques de classification relatives au modèle de classification, p.ex. approches paramétriques ou non paramétriques
• G06F 18/2413 - Techniques de classification relatives au modèle de classification, p.ex. approches paramétriques ou non paramétriques basées sur les distances des motifs d'entraînement ou de référence
• G06N 3/045 - Combinaisons de réseaux
• G06V 10/764 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant la classification, p.ex. des objets vidéo
• G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux

Abrégé

System and method for end-to-end differentiable joint image refinement and perception are provided. A learning machine employs an image acquisition device for acquiring a set of training raw images. A processor determines a representation of a raw image, initializes a set of image representation parameters, defines a set of analysis parameters of an image analysis network configured to process the image's representation, and jointly trains the set of representation parameters and the set of analysis parameters to optimize a combined objective function. A module for transforming pixel-values of the raw image to produce a transformed image comprising pixels of variance-stabilized values, a module for successively performing processes of soft camera projection and image projection, and a module for inverse transforming the transformed pixels are disclosed. The image projection performs multi-level spatial convolution, pooling, subsampling, and interpolation.

Classes IPC  ?

• G06N 20/00 - Apprentissage automatique
• G06T 5/00 - Amélioration ou restauration d'image
• G06T 5/50 - Amélioration ou restauration d'image en utilisant plusieurs images, p.ex. moyenne, soustraction
• G06N 3/084 - Rétropropagation, p.ex. suivant l’algorithme du gradient
• G06V 10/44 - Extraction de caractéristiques locales par analyse des parties du motif, p.ex. par détection d’arêtes, de contours, de boucles, d’angles, de barres ou d’intersections; Analyse de connectivité, p.ex. de composantes connectées
• G06F 18/241 - Techniques de classification relatives au modèle de classification, p.ex. approches paramétriques ou non paramétriques
• G06F 18/2413 - Techniques de classification relatives au modèle de classification, p.ex. approches paramétriques ou non paramétriques basées sur les distances des motifs d'entraînement ou de référence
• G06N 3/045 - Combinaisons de réseaux
• G06V 10/764 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant la classification, p.ex. des objets vidéo
• G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux

Abrégé

An auto-exposure control is proposed for high dynamic range images, along with a neural network for exposure selection that is trained jointly, end-to-end with an object detector and an image signal processing (ISP) pipeline. Corresponding method and system for high dynamic range object detection are also provided.

Classes IPC  ?

• G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
• G06T 5/00 - Amélioration ou restauration d'image
• G06T 5/50 - Amélioration ou restauration d'image en utilisant plusieurs images, p.ex. moyenne, soustraction
• G06N 20/00 - Apprentissage automatique
• G06N 3/04 - Architecture, p.ex. topologie d'interconnexion
• G06N 3/08 - Méthodes d'apprentissage
• G06V 10/44 - Extraction de caractéristiques locales par analyse des parties du motif, p.ex. par détection d’arêtes, de contours, de boucles, d’angles, de barres ou d’intersections; Analyse de connectivité, p.ex. de composantes connectées

Abrégé

System and method for joint refinement and perception of images are provided. A learning machine employs an image acquisition device for acquiring a set of training raw images. A processor determines a representation of a raw image, initializes a set of image representation parameters, defines a set of analysis parameters of an image analysis network configured to process the image's representation, and jointly trains the set of representation parameters and the set of analysis parameters to optimize a combined objective function. A module for transforming pixel-values of the raw image to produce a transformed image comprising pixels of variance-stabilized values, a module for successively performing processes of soft camera projection and image projection, and a module for inverse transforming the transformed pixels are disclosed. The image projection performs multi-level spatial convolution, pooling, subsampling, and interpolation.

Classes IPC  ?

• G06N 20/00 - Apprentissage automatique
• G06T 5/00 - Amélioration ou restauration d'image
• G06T 5/50 - Amélioration ou restauration d'image en utilisant plusieurs images, p.ex. moyenne, soustraction
• G06N 3/084 - Rétropropagation, p.ex. suivant l’algorithme du gradient
• G06V 10/44 - Extraction de caractéristiques locales par analyse des parties du motif, p.ex. par détection d’arêtes, de contours, de boucles, d’angles, de barres ou d’intersections; Analyse de connectivité, p.ex. de composantes connectées
• G06F 18/241 - Techniques de classification relatives au modèle de classification, p.ex. approches paramétriques ou non paramétriques
• G06F 18/2413 - Techniques de classification relatives au modèle de classification, p.ex. approches paramétriques ou non paramétriques basées sur les distances des motifs d'entraînement ou de référence
• G06N 3/045 - Combinaisons de réseaux
• G06V 10/764 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant la classification, p.ex. des objets vidéo
• G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux

Abrégé

System and method for joint refinement and perception of images are provided. A learning machine employs an image acquisition device for acquiring a set of training raw images. A processor determines a representation of a raw image, initializes a set of image representation parameters, defines a set of analysis parameters of an image analysis network configured to process the image's representation, and jointly trains the set of representation parameters and the set of analysis parameters to optimize a combined objective function. A module for transforming pixel-values of the raw image to produce a transformed image comprising pixels of variance-stabilized values, a module for successively performing processes of soft camera projection and image projection, and a module for inverse transforming the transformed pixels are disclosed. The image projection performs multi-level spatial convolution, pooling, subsampling, and interpolation.

Classes IPC  ?

• G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
• G06T 5/00 - Amélioration ou restauration d'image
• G06T 5/50 - Amélioration ou restauration d'image en utilisant plusieurs images, p.ex. moyenne, soustraction
• G06N 20/00 - Apprentissage automatique
• G06K 9/46 - Extraction d'éléments ou de caractéristiques de l'image
• G06N 3/04 - Architecture, p.ex. topologie d'interconnexion
• G06N 3/08 - Méthodes d'apprentissage

Abrégé

A learning machine employs an image acquisition device for acquiring a set of training raw images. A processor determines a representation of a raw image, initializes a set of image representation parameters, defines a set of analysis parameters of an image analysis network configured to process the image's representation, and jointly trains the set of representation parameters and the set of analysis parameters to optimize a combined objective function. Processor executable instructions are organized into a module for transforming pixel-values of the raw image to produce a transformed image comprising pixels of variance-stabilized values, a module for successively performing processes of soft camera projection and image projection, and a module for inverse transforming the transformed pixels. The image projection process performs multi-level spatial convolution, pooling, subsampling, and interpolation.

Classes IPC  ?

• G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
• G06T 5/00 - Amélioration ou restauration d'image
• G06T 5/50 - Amélioration ou restauration d'image en utilisant plusieurs images, p.ex. moyenne, soustraction
• G06N 20/00 - Apprentissage automatique
• G06K 9/46 - Extraction d'éléments ou de caractéristiques de l'image
• G06N 3/04 - Architecture, p.ex. topologie d'interconnexion
• G06N 3/08 - Méthodes d'apprentissage

Abrégé

A learning machine employs an image acquisition device for acquiring a set of training raw images. A processor determines a representation of a raw image, initializes a set of image representation parameters, defines a set of analysis parameters of an image analysis network configured to process the image's representation, and jointly trains the set of representation parameters and the set of analysis parameters to optimize a combined objective function. Processor executable instructions are organized into a module for transforming pixel-values of the raw image to produce a transformed image comprising pixels of variance- stabilized values, a module for successively performing processes of soft camera projection and image projection, and a module for inverse transforming the transformed pixels. The image projection process performs multi-level spatial convolution, pooling, subsampling, and interpolation.

Classes IPC  ?

• G06V 10/70 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique
• G06N 20/00 - Apprentissage automatique
• G06T 7/00 - Analyse d'image