Abrégé

An object and camera localization system and localization method for mapping of the real world. The mapping can be done in real-time or near real-time to the detection of the real objects by a camera device which is used to capture one or more images of an object. The localization method can be used to generate an object label of the object and a bounding box of the object in the image. The localization method can be used to generate anchor points in real world coordinates of the real 3D space of the object, a cuboid of the object, and a centroid of the cuboid. A virtual 3D map can be generated which includes the location and pose of the real object in the real-world coordinates.

Classes IPC  ?

• G06T 7/70 - Détermination de la position ou de l'orientation des objets ou des caméras
• G06T 17/05 - Modèles géographiques
• G06V 10/25 - Détermination d’une région d’intérêt [ROI] ou d’un volume d’intérêt [VOI]
• G06V 10/44 - Extraction de caractéristiques locales par analyse des parties du motif, p. ex. par détection d’arêtes, de contours, de boucles, d’angles, de barres ou d’intersectionsAnalyse de connectivité, p. ex. de composantes connectées
• G06V 20/70 - Étiquetage du contenu de scène, p. ex. en tirant des représentations syntaxiques ou sémantiques

Abrégé

A floorplan modelling method and system. The floorplan modelling method includes receiving 2D images of each corner of an interior space from a camera, generating a corresponding camera position and camera orientation in a 3D coordinate system in the interior space for each 2D image, generating a depth map for each 2D image to estimate depth for each pixel, generating a corresponding edge map for each 2D image, and generating a 3D point cloud for each 2D image using the corresponding depth map and parameters of the camera. The floorplan modelling method includes transforming the 3D point clouds with the corresponding edge map into a 2D space in the 3D coordinate system of the camera, regularizing the 3D point clouds into 2D boundary lines, and generating a 2D plan of the interior space from the boundary lines.

Classes IPC  ?

• G06T 11/00 - Génération d'images bidimensionnelles [2D]
• G06F 18/23 - Techniques de partitionnement
• G06F 30/13 - Conception architecturale, p. ex. conception architecturale assistée par ordinateur [CAAO] relative à la conception de bâtiments, de ponts, de paysages, d’usines ou de routes
• G06T 3/06 - Mappage topologique de structures de dimension plus élevée sur des surfaces de dimension moins élevée
• G06T 7/00 - Analyse d'image
• G06T 7/13 - Détection de bords
• G06T 7/30 - Détermination des paramètres de transformation pour l'alignement des images, c.-à-d. recalage des images
• G06T 7/50 - Récupération de la profondeur ou de la forme
• G06T 7/70 - Détermination de la position ou de l'orientation des objets ou des caméras
• G06V 10/44 - Extraction de caractéristiques locales par analyse des parties du motif, p. ex. par détection d’arêtes, de contours, de boucles, d’angles, de barres ou d’intersectionsAnalyse de connectivité, p. ex. de composantes connectées
• G06V 20/10 - Scènes terrestres

Abrégé

An extended reality system and extended reality method for digital twins, in which the digital twin can be a virtual asset of a real asset. The real asset can be a real object. For example, an initiation of an event in relation to the real asset causes the extended reality method to generate one or more predicted virtual states which are predicted to achieve the event in the virtual asset. The event can be initiated through the real asset and through the virtual asset. The extended reality method can receive one or more further real states of the real asset which achieve the event. The extended reality method can generate a reality 3D map in an extended reality application which concurrently displays, in the 3D space, the virtual asset in the one or more predicted virtual states and the real asset in the one or more further real states.

Classes IPC  ?

• G06T 17/05 - Modèles géographiques
• G06T 7/70 - Détermination de la position ou de l'orientation des objets ou des caméras
• G06V 10/25 - Détermination d’une région d’intérêt [ROI] ou d’un volume d’intérêt [VOI]
• G01C 21/36 - Dispositions d'entrée/sortie pour des calculateurs embarqués
• G06V 10/74 - Appariement de motifs d’image ou de vidéoMesures de proximité dans les espaces de caractéristiques
• G06F 16/29 - Bases de données d’informations géographiques

Abrégé

An object and camera localization system and localization method for mapping of the real world. The mapping can be done in real-time or near real-time to the detection of the real objects by a camera device which is used to capture one or more images of an object. The localization method can be used to generate an object label of the object and a bounding box of the object in the image. The localization method can be used to generate anchor points in real world coordinates of the real 3D space of the object, a cuboid of the object, and a centroid of the cuboid. A virtual 3D map can be generated which includes the location and pose of the real object in the real-world coordinates.

Classes IPC  ?

• G01B 11/245 - Dispositions pour la mesure caractérisées par l'utilisation de techniques optiques pour mesurer des contours ou des courbes en utilisant plusieurs transducteurs fixes fonctionnant simultanément
• G06T 7/73 - Détermination de la position ou de l'orientation des objets ou des caméras utilisant des procédés basés sur les caractéristiques
• G06N 3/04 - Architecture, p. ex. topologie d'interconnexion

Abrégé

A floorplan modelling method and system. The floorplan modelling method includes receiving 2D images of each corner of an interior space from a camera, generating a corresponding camera position and camera orientation in a 3D coordinate system in the interior space for each 2D image, generating a depth map for each 2D image to estimate depth for each pixel, generating a corresponding edge map for each 2D image, and generating a 3D point cloud for each 2D image using the corresponding depth map and parameters of the camera. The floorplan modelling method includes transforming the 3D point clouds with the corresponding edge map into a 2D space in the 3D coordinate system of the camera, regularizing the 3D point clouds into 2D boundary lines, and generating a 2D plan of the interior space from the boundary lines.

Classes IPC  ?

• G06T 11/00 - Génération d'images bidimensionnelles [2D]
• G06T 7/13 - Détection de bords
• G06T 7/00 - Analyse d'image
• G06T 7/30 - Détermination des paramètres de transformation pour l'alignement des images, c.-à-d. recalage des images
• G06T 7/50 - Récupération de la profondeur ou de la forme
• G06T 3/00 - Transformations géométriques de l'image dans le plan de l'image
• G06F 30/13 - Conception architecturale, p. ex. conception architecturale assistée par ordinateur [CAAO] relative à la conception de bâtiments, de ponts, de paysages, d’usines ou de routes
• G06T 7/70 - Détermination de la position ou de l'orientation des objets ou des caméras
• G06V 10/44 - Extraction de caractéristiques locales par analyse des parties du motif, p. ex. par détection d’arêtes, de contours, de boucles, d’angles, de barres ou d’intersectionsAnalyse de connectivité, p. ex. de composantes connectées
• G06V 20/10 - Scènes terrestres
• G06F 18/23 - Techniques de partitionnement

Abrégé

An object and camera localization system and localization method for mapping of the real world. The mapping can be done in real-time or near real-time to the detection of the real objects by a camera device which is used to capture one or more images of an object. The localization method can be used to generate an object label of the object and a bounding box of the object in the image. The localization method can be used to generate anchor points in real world coordinates of the real 3D space of the object, a cuboid of the object, and a centroid of the cuboid. A virtual 3D map can be generated that which includes the location and pose of the real object in the real-world coordinates.

Classes IPC  ?

• G06T 19/00 - Transformation de modèles ou d'images tridimensionnels [3D] pour infographie
• G06V 20/70 - Étiquetage du contenu de scène, p. ex. en tirant des représentations syntaxiques ou sémantiques
• G06V 10/22 - Prétraitement de l’image par la sélection d’une région spécifique contenant ou référençant une formeLocalisation ou traitement de régions spécifiques visant à guider la détection ou la reconnaissance
• G06T 7/73 - Détermination de la position ou de l'orientation des objets ou des caméras utilisant des procédés basés sur les caractéristiques
• G06V 10/40 - Extraction de caractéristiques d’images ou de vidéos

Produits et services

Downloadable software for augmented reality, virtual reality, and mediated reality, namely, software for an interactive dynamic digital representation of an indoor space, outdoor space, and physical objects, none of the foregoing in the field of social networking; Downloadable software for augmented reality, virtual reality, and mediated reality, namely, software for processing, analysing, and distributing data associated and generated by an interactive dynamic digital representation of an indoor space, outdoor space, and physical objects, none of the foregoing in the field of social networking; downloadable software for augmented reality, virtual reality, and mediated reality, namely, software for design and delivery of spatial layouts and experiences, none of the foregoing in the field of social networking; downloadable electronic and digital content, namely, video, audio, photos, scans, 2D and 3D objects and 2D and 3D imagery for use with an interactive dynamic digital representation of an indoor space, outdoor space, and physical objects; downloadable software for wayfinding all of the aforementioned for use with maps of physical locations, none of the foregoing in the fields of social networking, photo and video sharing, or photo and video editing. Providing temporary use of on-line non-downloadable software for electronic commerce in an interactive dynamic digital representation of an indoor space, outdoor space, and physical objects; all of the aforementioned for use with maps of physical locations, none of the foregoing in the fields of social networking, photo and video sharing, or photo and video editing.

Produits et services

(1) Downloadable software for augmented reality, virtual reality, and mediated reality, namely, software for an interactive dynamic digital representation of an indoor space, outdoor space, and physical objects, none of the foregoing in the field of social networking; downloadable software for augmented reality, virtual reality, and mediated reality, namely, software for processing, analysing, and distributing data associated and generated by an interactive dynamic digital representation of an indoor space, outdoor space, and physical objects, none of the foregoing in the field of social networking; downloadable software for augmented reality, virtual reality, and mediated reality, namely, software for design and delivery of spatial layouts and experiences, none of the foregoing in the field of social networking; downloadable electronic and digital content being video, audio, photos, scans, 2D and 3D objects, 2D and 3D environments, and 2D and 3D imagery for use with an interactive dynamic digital representation of an indoor space, outdoor space, and physical objects, all of the aforementioned for use with maps of physical locations, none of the foregoing in the fields of social networking, photo and video sharing, or photo and video editing. (1) Advertising the goods and services of others, in maps of physical locations none of the foregoing in the fields of social networking, photo and video sharing, or photo and video editing. (2) Providing temporary use of on-line non-downloadable software for enabling e-commerce in an interactive dynamic digital representation of an indoor space, outdoor space, and physical objects, all of the aforementioned for use with maps or physical locations, none of the foregoing in the fields of social networking, photo and video sharing, or photo and video editing.

Abrégé

A method for sharing a mixed reality experience (mixed reality content, mixed reality event) between one or more computing devices is disclosed. The method includes: determining a spatial location and a spatial orientation (spatial data) of the one or more computing devices each having a camera; mapping the (spatial) location and/or the spatial orientation (spatial data) of each of the one or more computing devices into a mixed reality manager; and presenting an event that is shared among the one or more computing devices, and, the presenting of the event is experienced simultaneously and varies among each of the one or more computing devices depending on the location or the orientation or both.

Classes IPC  ?

• G06T 19/00 - Transformation de modèles ou d'images tridimensionnels [3D] pour infographie
• G06F 3/0481 - Techniques d’interaction fondées sur les interfaces utilisateur graphiques [GUI] fondées sur des propriétés spécifiques de l’objet d’interaction affiché ou sur un environnement basé sur les métaphores, p. ex. interaction avec des éléments du bureau telles les fenêtres ou les icônes, ou avec l’aide d’un curseur changeant de comportement ou d’aspect
• G09G 5/00 - Dispositions ou circuits de commande de l'affichage communs à l'affichage utilisant des tubes à rayons cathodiques et à l'affichage utilisant d'autres moyens de visualisation
• G06T 15/20 - Calcul de perspectives
• A63F 13/65 - Création ou modification du contenu du jeu avant ou pendant l’exécution du programme de jeu, p. ex. au moyen d’outils spécialement adaptés au développement du jeu ou d’un éditeur de niveau intégré au jeu automatiquement par des dispositifs ou des serveurs de jeu, à partir de données provenant du monde réel, p. ex. les mesures en direct dans les compétitions de course réelles
• A63F 13/847 - Jeux coopératifs, p. ex. nécessitant des actions coordonnées de plusieurs joueurs pour atteindre un objectif commun
• A63F 13/213 - Dispositions d'entrée pour les dispositifs de jeu vidéo caractérisées par leurs capteurs, leurs finalités ou leurs types comprenant des moyens de photo-détection, p. ex. des caméras, des photodiodes ou des cellules infrarouges
• A63F 13/35 - Détails des serveurs de jeu
• G06F 3/01 - Dispositions d'entrée ou dispositions d'entrée et de sortie combinées pour l'interaction entre l'utilisateur et le calculateur
• G06F 3/03 - Dispositions pour convertir sous forme codée la position ou le déplacement d'un élément
• G06F 3/0346 - Dispositifs de pointage déplacés ou positionnés par l'utilisateurLeurs accessoires avec détection de l’orientation ou du mouvement libre du dispositif dans un espace en trois dimensions [3D], p. ex. souris 3D, dispositifs de pointage à six degrés de liberté [6-DOF] utilisant des capteurs gyroscopiques, accéléromètres ou d’inclinaison
• G06F 3/14 - Sortie numérique vers un dispositif de visualisation
• G06K 9/46 - Extraction d'éléments ou de caractéristiques de l'image
• G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
• G01S 5/02 - Localisation par coordination de plusieurs déterminations de direction ou de ligne de positionLocalisation par coordination de plusieurs déterminations de distance utilisant les ondes radioélectriques

Abrégé

A method for sharing a mixed reality experience (mixed reality content, mixed reality event) between one or more computing devices is disclosed. The method includes: determining a spatial location and a spatial orientation (spatial data) of the one or more computing devices each having a camera; mapping the (spatial) location and/or the spatial orientation (spatial data) of each of the one or more computing devices into a mixed reality manager; and presenting an event that is shared among the one or more computing devices, and, the presenting of the event is experienced simultaneously and varies among each of the one or more computing devices depending on the location or the orientation or both.

Classes IPC  ?

• G06F 19/00 - Équipement ou méthodes de traitement de données ou de calcul numérique, spécialement adaptés à des applications spécifiques (spécialement adaptés à des fonctions spécifiques G06F 17/00;systèmes ou méthodes de traitement de données spécialement adaptés à des fins administratives, commerciales, financières, de gestion, de surveillance ou de prévision G06Q;informatique médicale G16H)
• H04N 5/30 - Transformation d'informations lumineuses ou analogues en informations électriques