Methods and apparatuses for encoding/decoding an image or a video using neural network are disclosed. In some embodiments, side-information is decoded from a bitstream that allows for adapting a first neural network-based decoder, the decoded side-information and coded data representative of an image or a video obtained from the bitstream or a separate bitstream are provided as inputs to the first neural-network-based decoder and a reconstructed image or video is obtained from an output of the first neural network-based decoder.
H04N 19/50 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif
G06N 3/04 - Architecture, p. ex. topologie d'interconnexion
2.
MOTION FLOW CODING FOR DEEP LEARNING BASED YUV VIDEO COMPRESSION
Video encoding and decoding is implemented with auto encoders using luminance information to derive motion information for chrominance prediction. In one embodiment YUV 4:2:0 video is encoded and decoded in which luminance information is downsampled to generate predictions from chrominance components of a reference frame. In a related embodiment, more than one reference frame is used for predictions. In another embodiment, convolutions and transpose convolutions implement derivation of motion information.
H04N 19/537 - Estimation de mouvement autre que basée sur les blocs
H04N 19/573 - Compensation de mouvement avec prédiction multi-trame utilisant plusieurs trames de référence dans une direction de prédiction donnée
H04N 19/58 - Compensation de mouvement par prédiction à long terme, c.-à-d. que la trame de référence pour une trame courante n’est pas la plus proche temporellement
H04N 19/82 - Détails des opérations de filtrage spécialement adaptées à la compression vidéo, p. ex. pour l'interpolation de pixels mettant en œuvre le filtrage dans une boucle de prédiction
H04N 19/132 - Échantillonnage, masquage ou troncature d’unités de codage, p. ex. ré-échantillonnage adaptatif, saut de trames, interpolation de trames ou masquage de coefficients haute fréquence de transformée
H04N 19/177 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant un groupe d’images [GOP]
H04N 19/186 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une couleur ou une composante de chrominance
H04N 19/52 - Traitement de vecteurs de mouvement par encodage par encodage prédictif
3.
TEMPORAL STRUCTURE-BASED CONDITIONAL CONVOLUTIONAL NEURAL NETWORKS FOR VIDEO COMPRESSION
Video encoding and decoding is implemented with auto encoders using luminance information to derive motion information for chrominance prediction. In one embodiment conditional convolutions are used to encode motion flow information. A current condition, for example, GOP structure, is used as input to a succession of fully connected layers to implement the conditional convolution. In a related embodiment, more than one reference frame is used to encode motion flow information.
H04N 19/537 - Estimation de mouvement autre que basée sur les blocs
H04N 19/573 - Compensation de mouvement avec prédiction multi-trame utilisant plusieurs trames de référence dans une direction de prédiction donnée
H04N 19/58 - Compensation de mouvement par prédiction à long terme, c.-à-d. que la trame de référence pour une trame courante n’est pas la plus proche temporellement
H04N 19/82 - Détails des opérations de filtrage spécialement adaptées à la compression vidéo, p. ex. pour l'interpolation de pixels mettant en œuvre le filtrage dans une boucle de prédiction
4.
LEARNED VIDEO COMPRESSION FRAMEWORK FOR MULTIPLE MACHINE TASKS
Processing of a compressed representation of a video signal is optimized for multiple tasks, such as object detection, viewing of displayed video, or other machine tasks. In one embodiment, multiple analysis stages and a single synthesis is performed as part of a coding/decoding operation with training of an encoder side analysis and, optionally, a corresponding machine task. In another embodiment, multiple synthesis operations are performed on the decoding side, so that respective analysis, synthesis, and task stages are optimized. Other embodiments comprise feeding decoded feature maps to tasks, predictive coding, and using hyperprior-based models.
H04N 19/50 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif
A processing module, or connector, adapts an output of a codec, or a decoded output, to a form suitable for an alternate task. In one embodiment, the output of a codec is used for a machine task and the connector adapts this output to a form suitable for a video display. In another embodiment, metadata accompanies the codec output, which can instruct the connector how to adapt the codec output for an alternate task. In other embodiments, the processing module performs averaging over a NxM window, or convolution.
H04N 19/50 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif
A method and apparatus include receiving a timed‑metadata track identifying point cloud tiles corresponding to one or more spatial regions within a point cloud scene. A decoding device determines one or more point cloud tiles to be used for rendering an image. One or more geometry tile tracks are retrieved, via a communications network, corresponding to the determined one or more point cloud tiles. Each geometry tile track comprises point cloud geometry data for a respective tile. The retrieved geometry tile tracks are processed
H04N 21/218 - Source du contenu audio ou vidéo, p. ex. réseaux de disques locaux
H04N 21/44 - Traitement de flux élémentaires vidéo, p. ex. raccordement d'un clip vidéo récupéré d'un stockage local avec un flux vidéo en entrée ou rendu de scènes selon des graphes de scène du flux vidéo codé
In an embodiment, an adaptive streaming client may be configured to receive a media presentation description (MPD) of a V3C content. The MPD may comprise a plurality of adaptation set elements, where different adaptation set elements may be associated with different spatial regions of the V3C content. The adaptive streaming client may be further configured to select an adaptation set element associated with a spatial region for requesting at least one media file corresponding to the selected adaptation set element.
H04N 19/597 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif spécialement adapté pour l’encodage de séquences vidéo multi-vues
H04N 19/70 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par des aspects de syntaxe liés au codage vidéo, p. ex. liés aux standards de compression
The disclosure relates, according to a first aspect, to a method for compressing data including encoding at least one information representative of a use, during the compression, of a compressed sparse format. The disclosure relates, according to a second aspect, to a method for decompressing input data comprising obtaining information representative of zero or non-zero values in at least a part of the input data, and using only the non-zero values of the zero or non-zero values for a further processing of the part of the input data, based on the representative information. Corresponding devices, system, non-transitory program product, computer storage medium and signal are also disclosed.
H04N 19/13 - Codage entropique adaptatif, p. ex. codage adaptatif à longueur variable [CALV] ou codage arithmétique binaire adaptatif en fonction du contexte [CABAC]
9.
METHODS AND APPARATUS FOR PERFORMING REAL-TIME VVC DECODING
Apparatus and methods for implementing a real-time Versatile Video Coding (VVC) decoder use multiple threads to address the limitation with existing parallelization techniques and fully utilizes the available CPU computation resource without compromising on the coding efficiency. The proposed Multi-threaded (MT) framework uses CTU level parallel processing techniques without compromising on the memory bandwidth. Picture level parallel processing separates the sequence into temporal levels by considering the picture's referencing hierarchy. Embodiments are provided using various optimization techniques to achieve real-time VVC decoding on heterogenous platforms with multi-core CPUs, for those bitstreams generated using a VVC reference encoder with a default configuration.
H04N 19/436 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par les détails de mise en œuvre ou le matériel spécialement adapté à la compression ou à la décompression vidéo, p. ex. la mise en œuvre de logiciels spécialisés utilisant des dispositions de calcul parallélisées
H04N 19/91 - Codage entropique, p. ex. codage à longueur variable ou codage arithmétique
H04N 19/127 - Établissement des priorités des ressources en matériel ou en calcul
H04N 19/157 - Mode de codage attribué, c.-à-d. le mode de codage étant prédéfini ou présélectionné pour être utilisé ultérieurement afin de sélectionner un autre élément ou paramètre
Systems, methods, and instrumentalities are disclosed that relate to the processing of a media container file associated with 3D video data. The media container file may indicate that certain video-based point cloud compression (V-PCC) component tracks may be played together as a playout group. These V-PCG component tracks may represent respective encoded versions of one or more V-PCC components, and a video decoding device may play the tracks together in response to determining that the tracks belong to the same playout track group. The video decoding device may also determine from the media container file that certain PCC component tracks include tile groups that correspond to different objects in a point cloud or different parts of a same object in the point cloud. The video decoding device may decode these tile groups independently from each other so that a subset of the objects or parts of the point cloud may be accessed without also accessing the rest of the objects or parts.
H04N 19/70 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par des aspects de syntaxe liés au codage vidéo, p. ex. liés aux standards de compression
H04N 21/4402 - Traitement de flux élémentaires vidéo, p. ex. raccordement d'un clip vidéo récupéré d'un stockage local avec un flux vidéo en entrée ou rendu de scènes selon des graphes de scène du flux vidéo codé impliquant des opérations de reformatage de signaux vidéo pour la redistribution domestique, le stockage ou l'affichage en temps réel
H04N 21/2343 - Traitement de flux vidéo élémentaires, p. ex. raccordement de flux vidéo ou transformation de graphes de scènes du flux vidéo codé impliquant des opérations de reformatage de signaux vidéo pour la distribution ou la mise en conformité avec les requêtes des utilisateurs finaux ou les exigences des dispositifs des utilisateurs finaux
An apparatus may be configured to determine a reference picture listed in a first reference picture list and a reference picture listed in a second reference picture list, for a coding block. The apparatus may be configured to determine whether to perform bi-directional optical flow (BDOF) for the coding block based at least in part on whether a distance between a picture associated with the coding block and the reference picture listed in the first reference picture list differs from a distance between the picture associated with the coding block and the reference picture listed in the second reference picture list. The apparatus may be configured to decode the coding block based on the determination of whether to perform BDOF for the coding block.
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
H04N 19/577 - Compensation de mouvement avec interpolation de trame bidirectionnelle, p. ex. utilisation d’images B
H04N 19/70 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par des aspects de syntaxe liés au codage vidéo, p. ex. liés aux standards de compression
A filter may be applied to a subset of components associated with a sample in a coding block. The output of the filter may be used to modify values for other component(s). For example, a filter may be applied to a selected (for example, dominant) component(s). The output of the filter may be used to modify a value for one of the other components (for example, non-dominant components). The output of the filter may be used, for example, after a weighting factor is applied to the filter output, to modify a value for another one of the other components. A joint refinement signal may be obtained, for example, as the filtered output signal minus the filter input signal of the selected component(s). A properly weighted version of the joint refinement signal may be applied to modify the other components.
H04N 19/117 - Filtres, p. ex. pour le pré-traitement ou le post-traitement
H04N 19/136 - Caractéristiques ou propriétés du signal vidéo entrant
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
H04N 19/186 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une couleur ou une composante de chrominance
H04N 19/70 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par des aspects de syntaxe liés au codage vidéo, p. ex. liés aux standards de compression
H04N 19/82 - Détails des opérations de filtrage spécialement adaptées à la compression vidéo, p. ex. pour l'interpolation de pixels mettant en œuvre le filtrage dans une boucle de prédiction
H04N 19/86 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le pré-traitement ou le post-traitement spécialement adaptés pour la compression vidéo mettant en œuvre la diminution des artéfacts de codage, p. ex. d'artéfacts de blocs
Described herein are systems, methods, and instrumentalities associated with video coding. The signaling of certain syntax elements may be moved from a slice header to a picture header and/or a layer access unit delimiter (AUD). The dependency between AUD and one or more parameter sets may be explored. Syntax elements may be signaled to enable wrap-around motion compensation for certain sub-picture(s) and specify wrap-around motion compensation offsets for the sub-picture(s).
H04N 19/597 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif spécialement adapté pour l’encodage de séquences vidéo multi-vues
H04N 19/55 - Estimation de mouvement avec contraintes spatiales, p. ex. au niveau des contours de l’image ou des contours des régions
H04N 19/70 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par des aspects de syntaxe liés au codage vidéo, p. ex. liés aux standards de compression
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
H04N 19/105 - Sélection de l’unité de référence pour la prédiction dans un mode de codage ou de prédiction choisi, p. ex. choix adaptatif de la position et du nombre de pixels utilisés pour la prédiction
Systems, methods, and instrumentalities may be used for decoding and/or encoding a coding unit (CD), An intra-prediction mode for a CD may be determined. A split mode may be determined based on the intra-prediction mode, to generate a plurality of sub-partitions in the CU. A prediction for a first sub-partition of the plurality of sub-partitions in the CU may be based on a reference sample in a second sub-partition of the plurality of sub-partitions in the CU. The CU may be decoded and/or encoded, for example, based on the determined split mode.
H04N 19/119 - Aspects de subdivision adaptative, p. ex. subdivision d’une image en blocs de codage rectangulaires ou non
H04N 19/105 - Sélection de l’unité de référence pour la prédiction dans un mode de codage ou de prédiction choisi, p. ex. choix adaptatif de la position et du nombre de pixels utilisés pour la prédiction
H04N 19/157 - Mode de codage attribué, c.-à-d. le mode de codage étant prédéfini ou présélectionné pour être utilisé ultérieurement afin de sélectionner un autre élément ou paramètre
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
H04N 19/70 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par des aspects de syntaxe liés au codage vidéo, p. ex. liés aux standards de compression
H04N 19/82 - Détails des opérations de filtrage spécialement adaptées à la compression vidéo, p. ex. pour l'interpolation de pixels mettant en œuvre le filtrage dans une boucle de prédiction
H04N 19/11 - Sélection du mode de codage ou du mode de prédiction parmi plusieurs modes de codage prédictif spatial
15.
ADAPTIVE INTERPOLATION FILTER FOR MOTION COMPENSATION
A video processing apparatus may comprise one or more processors that are configured to determine an interpolation filter length for an interpolation filter associated with a coding unit (CU) based on a size of the CU. The one or more processor may be configured to determine an interpolated reference sample based on the determined interpolation filter length for the interpolation filter and a reference sample for the CU. The one or more processor may be configured to predict the CU based on the interpolated reference sample. For example, if a first CU has a size that is greater than the size of a second CU, the one or more processors may be configured to use a shorter interpolation filter for the first CU than for the second CU.
H04N 19/117 - Filtres, p. ex. pour le pré-traitement ou le post-traitement
H04N 19/157 - Mode de codage attribué, c.-à-d. le mode de codage étant prédéfini ou présélectionné pour être utilisé ultérieurement afin de sélectionner un autre élément ou paramètre
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
H04N 19/523 - Estimation ou compensation du mouvement avec précision supérieure au sous-pixel
H04N 19/82 - Détails des opérations de filtrage spécialement adaptées à la compression vidéo, p. ex. pour l'interpolation de pixels mettant en œuvre le filtrage dans une boucle de prédiction
16.
CLUSTERING-BASED QUANTIZATION FOR NEURAL NETWORK COMPRESSION
Systems, methods, and instrumentalities are disclosed for clustering-based quantization for neural network (NN) compression. A distribution of weights in weight tensors in NN layers may be analyzed to identify cluster outliers. Cluster inliers may be coded from cluster outliers, for example, using scalar and/or vector quantization. Weight-rearrangement may rearrange weights for higher dimensional weight tensors into lower dimensional matrices. For example, weight rearrangement may flatten a convolutional kernel into a vector. Correlation between kernels may be preserved, for example, by treating a filter or kernels across a channel as a point. A tensor may be split into multiple subspaces, for example, along an input and/or an output channel. Predictive coding may be performed for a current block of weights or weight matrix based on a reshaped or previously coded block or matrix. Arrangement, inlier, outlier, and/or prediction information may be signaled to a decoder for reconstruction of a compressed NN.
G06N 3/063 - Réalisation physique, c.-à-d. mise en œuvre matérielle de réseaux neuronaux, de neurones ou de parties de neurone utilisant des moyens électroniques
A method of encoding or decoding a video comprising a current picture, a first reference picture, and a weight tensor associated with a trained neural network (NN) model are provided. The method includes generating any number of kernel tensors, input channels and output channels associated with the weight tensor, each kernel tensor being associated with any of: a layer type, an input signal type, and a tree partition type, and each kernel tensor including weight coefficients, generating, for each of the any number of kernel tensors, tree partitions for any of a coding tree unit (CTU), a coding unit (CU), a prediction unit (PU), and a transform unit (TU) according to respective tree partition types associated with each of the any number of kernel tensors, and generating a compressed representation of the trained NN model by compressing and coding the any number of kernel tensors
A media content processing device may decode visual volumetric content based on one or more messages, which may indicate which attribute sub-bitstream of one or more attribute sub-bitstreams indicated in a parameter set is active, The parameter set may include a visual volumetric video-based parameter set. The message indicating one or more active attribute sub-bitstreams may be received by the decoder, A decoder may perform decoding, such as determining which attribute sub-bitstream to use for decoding visual media content, based on the one or more messages, The one or more messages may be generated and sent to a decoder, for example, to indicate the deactivation of the one or more attribute sub- bitstreams. The decoder may determine an inactive attribute sub-bitstream and skip the inactive attribute sub-bitstream for decoding the visual media content based on the one or more messages.
H04N 19/597 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif spécialement adapté pour l’encodage de séquences vidéo multi-vues
H04N 19/70 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par des aspects de syntaxe liés au codage vidéo, p. ex. liés aux standards de compression
H04N 21/235 - Traitement de données additionnelles, p. ex. brouillage de données additionnelles ou traitement de descripteurs de contenu
Systems and methods are described for refining motion compensated predictions in block-based video coding. In an example embodiment, motion-compensated prediction is used to generate predicted sample values in a current block of samples. A precision difference value and a motion vector refinement for the current block are signaled in the bitstream. For each sample in the current block, a spatial gradient is calculated at the sample, and a scalar product is calculated between the spatial gradient and the motion vector refinement. The scalar product is scaled (e.g. bit-shifted) by an amount indicated by the precision difference value to generate a sample difference value, and the sample difference value is added to the predicted sample value to generate a refined sample value.
H04N 19/105 - Sélection de l’unité de référence pour la prédiction dans un mode de codage ou de prédiction choisi, p. ex. choix adaptatif de la position et du nombre de pixels utilisés pour la prédiction
H04N 19/147 - Débit ou quantité de données codées à la sortie du codeur selon des critères de débit-distorsion
H04N 19/182 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant un pixel
H04N 19/523 - Estimation ou compensation du mouvement avec précision supérieure au sous-pixel
H04N 19/70 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par des aspects de syntaxe liés au codage vidéo, p. ex. liés aux standards de compression
H04N 19/54 - Estimation de mouvement autre que basée sur les blocs utilisant des points ou des maillages caractéristiques
H04N 19/577 - Compensation de mouvement avec interpolation de trame bidirectionnelle, p. ex. utilisation d’images B
H04N 19/567 - Estimation de mouvement basée sur des critères de distorsion de débit
20.
BLOCK BOUNDARY PREDICTION REFINEMENT WITH OPTICAL FLOW
Systems, methods, and instrumentalities are disclosed for sub-block/block refinement, including sub-block/block boundary refinement, such as block boundary prediction refinement with optical flow (BBPROF). A block comprising a current sub-block may be decoded based on a sample value for a first pixel that is obtained based on, for example, an MV for a current sub-block, an MV for a sub-block adjacent the current sub-block, and a sample value for a second pixel adjacent the first pixel. BBPROF may include determining spatial gradients at pixel(s)/sample location(s). An MV difference may be calculated between a current sub-block and one or more neighboring sub-blocks. An MV offset may be determined at pixel(s)/sample location(s) based on the MV difference. A sample value offset for the pixel in a current sub-block may be determined. The prediction for a reference picture list may be refined by adding the calculated sample value offset to the sub-block prediction.
H04N 19/583 - Compensation de mouvement par blocs se chevauchant
H04N 19/82 - Détails des opérations de filtrage spécialement adaptées à la compression vidéo, p. ex. pour l'interpolation de pixels mettant en œuvre le filtrage dans une boucle de prédiction
H04N 19/86 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le pré-traitement ou le post-traitement spécialement adaptés pour la compression vidéo mettant en œuvre la diminution des artéfacts de codage, p. ex. d'artéfacts de blocs
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
Systems, methods, and instrumentalities are disclosed herein that related to video-based point cloud streams in one or more ISO Base Media File Format (ISOBMFF) container files, A container format for point cloud data is provided and the container format indicates at least a relationship between a 3D region of the point cloud and one or more video-based point cloud compression (V-PCC) tracks. The V-PCC tracks may be grouped together and linked to the 3D region to allow spatial access to the 3D region.
H04N 19/70 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par des aspects de syntaxe liés au codage vidéo, p. ex. liés aux standards de compression
H04N 21/4402 - Traitement de flux élémentaires vidéo, p. ex. raccordement d'un clip vidéo récupéré d'un stockage local avec un flux vidéo en entrée ou rendu de scènes selon des graphes de scène du flux vidéo codé impliquant des opérations de reformatage de signaux vidéo pour la redistribution domestique, le stockage ou l'affichage en temps réel
22.
CONTENT ADAPTIVE TRANSFORM PRECISION FOR VIDEO CODING
Systems, methods, and instrumentalities are disclosed for obtaining coded video data comprising quantized transform coefficients for a plurality of blocks, obtaining a first precision factor associated with a first block for performing at least one decoding function on the first block, obtaining a second precision factor associated with a second block for performing the at least one decoding function on the second block, and performing the at least one decoding function on the quantized transform coefficients for the first block using the first precision factor and on the quantized transform coefficients for the second block using the second precision factor.
H04N 19/126 - Détails des fonctions de normalisation ou de pondération, p. ex. matrices de normalisation ou quantificateurs uniformes variables
H04N 19/14 - Complexité de l’unité de codage, p. ex. activité ou estimation de présence de contours
H04N 19/18 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant un ensemble de coefficients de transformée
H04N 19/60 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant un codage par transformée
23.
METHODS AND APPARATUS FOR PREDICTION REFINEMENT FOR DECODER SIDE MOTION VECTOR REFINEMENT WITH OPTICAL FLOW
Methods, devices, apparatus, systems, architectures and interfaces to improve motion vector (MV) refinement based sub-block (SB) level motion compensated prediction are provided. A decoding method includes receiving a bitstream of encoded video data, the bitstream including at least one block of video data including a plurality of SBs; performing a MV derivation, including a decoder based MV (DMVR) process, for at least one SB in the block to generate a refined MV for each SB; performing SB based motion compensation on the at least one sub-block to generate a SB based prediction within each SB; obtaining a spatial gradient for the prediction within each SB; determining a MV offset for each pixel in each SB; obtaining an intensity change in each SB based on the spatial gradients and MV offsets via an optical flow equation; and refining the prediction within each SB based on the obtained intensity changes.
H04N 19/44 - Décodeurs spécialement adaptés à cet effet, p. ex. décodeurs vidéo asymétriques par rapport à l’encodeur
H04N 19/136 - Caractéristiques ou propriétés du signal vidéo entrant
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
H04N 19/109 - Sélection du mode de codage ou du mode de prédiction parmi plusieurs modes de codage prédictif temporel
24.
INTER PREDICTION MEMORY ACCESS BANDWIDTH REDUCTION METHOD WITH OPTICAL FLOW COMPENSATION
Systems and methods are described for video coding. In some embodiments, inter prediction of a sample in a current block is performed by rounding an initial motion vector and determining a rounding error vector caused by the rounding. An unrefined prediction of the sample is generated using the rounded motion vector. Unrefined predictions are similarly generated for other samples in the current block. Based on the unrefined predictions, a spatial gradient is determined for each sample position in the block. A refined prediction is generated for each sample position by adding, to the unrefined prediction, a scalar product between the spatial gradient and the rounding error vector at the sample position. Example methods can reduce the number of reference pixels used to predict a current block and thus may reduce memory access bandwidth.
Systems and methods are described for video coding using adaptive Hadamard filtering of reconstructed blocks, such as coding units. In some embodiments, where Hadamard filtering might otherwise encompass samples outside the current coding unit, extrapolated samples are generated for use in the filtering. Reconstructed samples from neighboring blocks may be used in the filtering where available (e.g. in a line buffer). In some embodiments, different filter strengths are applied to different spectrum components in the transform domain. In some embodiments, filter strength is based on position of filtered samples within the block. In some embodiments, filter strength is based on the prediction mode used to code the current block.
H04N 19/82 - Détails des opérations de filtrage spécialement adaptées à la compression vidéo, p. ex. pour l'interpolation de pixels mettant en œuvre le filtrage dans une boucle de prédiction
H04N 19/48 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant des techniques de traitement dans le domaine compressé autres que le décodage, p. ex. modification de coefficients de transformées, de données de codage à longueur variable ou de données de codage par longueur de plage
H04N 19/117 - Filtres, p. ex. pour le pré-traitement ou le post-traitement
H04N 19/60 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant un codage par transformée
H04N 19/50 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif
H04N 19/18 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant un ensemble de coefficients de transformée
H04N 19/182 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant un pixel
H04N 19/157 - Mode de codage attribué, c.-à-d. le mode de codage étant prédéfini ou présélectionné pour être utilisé ultérieurement afin de sélectionner un autre élément ou paramètre
Intra sub-partitions (ISP) may be enabled for a current block, for example, based on an ISP indication. The block may be partitioned into multiple sub-partitions, and a sub-partition may belong to a prediction unit (PU). A sub-partition width for the current block and a minimum prediction block width may be obtained. A PU corresponding to a current sub-partition may be determined based on the sub-partition width and the minimum prediction block width. For example, when the sub-partition width is less than the minimum prediction block width, the PU may include multiple sub-partitions. In examples, the minimum prediction block width may be four samples. Reference samples may be determined, and the PU may be predicted using the reference samples.
H04N 19/11 - Sélection du mode de codage ou du mode de prédiction parmi plusieurs modes de codage prédictif spatial
H04N 19/593 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif mettant en œuvre des techniques de prédiction spatiale
H04N 19/105 - Sélection de l’unité de référence pour la prédiction dans un mode de codage ou de prédiction choisi, p. ex. choix adaptatif de la position et du nombre de pixels utilisés pour la prédiction
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
27.
METHODS AND APPARATUS FOR ADAPTIVE STREAMING OF POINT CLOUDS
Methods, apparatus, and systems directed to adaptive streaming of V-PCC (Video-based Point Cloud Compression) data using an adaptive HTTP streaming protocol, such as MPEG DASH. A method includes signaling the point cloud data of the point cloud in a DASH MPD including: a main AdaptationSet for the point cloud, including at least (1) a @codecs attribute that is set to a unique value signifying that the corresponding AdaptationSet corresponds to V-PCC data and (2) an initialization segment containing at least one V-PCC sequence parameter set for a representation of the point cloud; and a plurality of component AdaptationSets, each corresponding to one of the V-PCC components and including at least (1) a VPCCComponent descriptor identifying a type of the corresponding V-PCC component and (2) at least one property of the V-PCC component; and transmitting the DASH bitstream over the network.
H04N 19/70 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par des aspects de syntaxe liés au codage vidéo, p. ex. liés aux standards de compression
28.
METHODS AND APPARATUS FOR SUB-PICTURE ADAPTIVE RESOLUTION CHANGE
Methods and apparatus relate to picture and video coding in communication systems are provided. Included therein is a method comprising determining one or more layers associated with a parameter set, generating a syntax element including an indication indicating whether the one or more layers associated with the parameter set are independently coded, and generating a message including the syntax element.
H04N 19/59 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif mettant en œuvre un sous-échantillonnage spatial ou une interpolation spatiale, p. ex. modification de la taille de l’image ou de la résolution
H04N 19/597 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif spécialement adapté pour l’encodage de séquences vidéo multi-vues
H04N 19/70 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par des aspects de syntaxe liés au codage vidéo, p. ex. liés aux standards de compression
Systems and methods described herein employ a high-level syntax design that supports a sub-picture extraction and reposition process. An input video may be encoded into multiple representations, each representation may be represented as a layer. A layer picture may be partitioned into multiple sub-pictures. Each sub-picture may have its own tile partitioning, resolution, color format and bit depth. Each sub-picture is encoded independently from other sub-pictures of the same layer, but it may be inter-predicted from the corresponding sub-pictures from its dependent layers. Each sub-picture may refer to a sub-picture parameter set where the sub-picture properties such as resolution and coordinate is signaled. Each sub-picture parameter set may refer to a PPS where the resolution of the entire picture is signaled.
H04N 19/70 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par des aspects de syntaxe liés au codage vidéo, p. ex. liés aux standards de compression
Systems, devices, and methods are described herein for symmetric merge mode motion vector coding. Symmetric bi-prediction (bi-pred) motion vectors (MVs) may be constructed from available candidates in a merge candidate list for regular inter prediction merge mode and/or affine prediction merge mode. Available MV merge candidates may be symmetrically extended or mapped in either direction (e.g., between reference pictures before and after a current picture), for example, when coding a picture that allows bi-directional motion compensation prediction (MCP). A symmetric bi-pred merge candidate may be selected among merge candidates for predicting the motion information of a current prediction unit (PU). The symmetric mapping construction may be repeated by a decoder (e.g., based on a coded index of the MV merge candidate list), for example, to obtain the same merge candidates and coded MV at an encoder.
Systems and methods are described for video coding using affine motion prediction. In an example method, motion vector gradients are determined from respective motion vectors of a plurality of neighboring sub-blocks neighboring a current block. An estimate of at least one affine parameter for the current block is determined based on the motion vector gradients. An affine motion model is determined based at least in part on the estimated affine parameter(s), and a prediction of the current block is generated using the affine motion model. The estimated parameter(s) may be used in the affine motion model itself. Alternatively, the estimated parameter(s) may be used in a prediction of the affine motion model. In some embodiments, only neighboring sub-blocks above and/or to the left of the current block are used in estimating the affine parameter(s).
H04N 19/196 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par le procédé d’adaptation, l’outil d’adaptation ou le type d’adaptation utilisés pour le codage adaptatif étant spécialement adaptés au calcul de paramètres de codage, p. ex. en faisant la moyenne de paramètres de codage calculés antérieurement
Method, apparatus and systems are disclosed. In one embodiment, a method of decoding includes obtaining a sub-block based motion prediction signal for a current block of the video; obtaining one or more spatial gradients of the sub-block based motion prediction signal or one or more motion vector difference values; obtaining a refinement signal for the current block based on the one or more obtained spatial gradients or the one or more obtained motion vector difference values; obtaining a refined motion prediction signal for the current block based on the sub-block based motion prediction signal and the refinement signal; and decoding the current block based on the refined motion prediction signal.
H04N 19/577 - Compensation de mouvement avec interpolation de trame bidirectionnelle, p. ex. utilisation d’images B
H04N 19/117 - Filtres, p. ex. pour le pré-traitement ou le post-traitement
H04N 19/139 - Analyse des vecteurs de mouvement, p. ex. leur amplitude, leur direction, leur variance ou leur précision
H04N 19/182 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant un pixel
33.
IMPROVED INTRA PLANAR PREDICTION USING MERGE MODE MOTION VECTOR CANDIDATES
Methods, procedures, architectures, apparatuses, systems, devices, interfaces, and computer program products for encoding/decoding data (e.g. a data stream) are provided. A video coding method for predicting a current block includes identifying a first block adjacent to the current block, the first block having motion information, performing motion compensation using the motion information to generate a set of reference samples adjacent to the current block, identifying a first line of reference samples from the set of generated reference samples to be used for intra prediction of the current block, and performing intra prediction of the current block using at least the first line of reference samples.
H04N 19/105 - Sélection de l’unité de référence pour la prédiction dans un mode de codage ou de prédiction choisi, p. ex. choix adaptatif de la position et du nombre de pixels utilisés pour la prédiction
H04N 19/11 - Sélection du mode de codage ou du mode de prédiction parmi plusieurs modes de codage prédictif spatial
H04N 19/139 - Analyse des vecteurs de mouvement, p. ex. leur amplitude, leur direction, leur variance ou leur précision
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
H04N 19/46 - Inclusion d’information supplémentaire dans le signal vidéo pendant le processus de compression
H04N 19/593 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif mettant en œuvre des techniques de prédiction spatiale
Systems, methods, and instrumentalities are disclosed for a combined inter and intra prediction, A video coding device may receive a motion vector difference (MMVD) mode indication that indicates whether MMVD mode is used to generate inter prediction of a coding unit (CU). The video coding device may receive a combined inter merge/intra prediction (CUP) indication, for example, when the MMVD mode indication indicates that MMVD mode is not used to generate the inter prediction of the CU, The video coding device may determine whether to use triangle merge mode for the CU, for example, based on the MMVD mode indication and/or the CUP indication. On a condition that the CUP indication indicates that CUP is applied for the CU or the MMVD mode indication indicates that MMVD mode is used to generate the inter prediction, the video coding device may disable the triangle merge mode for the CU.
H04N 19/103 - Sélection du mode de codage ou du mode de prédiction
H04N 19/70 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par des aspects de syntaxe liés au codage vidéo, p. ex. liés aux standards de compression
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
Systems, methods, and instrumentalities are disclosed for processing history-based motion vector prediction (HMVP). A video coding device may generate a history-based motion vector prediction (HMVP) list for a current block. The video coding device derive an HMVP candidate from a previously coded block. The HMVP candidate may include motion information associated with a neighboring block of the current block, one or more reference indices, and a bi-prediction weight index. The video coding device may add the HMVP candidate to the HMVP list for motion compensated prediction of a motion vector associated with the current block. The video coding device use one HMVP selected from the HMVP list to perform motion compensated prediction of the current block. The motion compensated prediction may be performed using the motion information associated with the neighboring block of the current block, the one or more reference indices, and the bi-prediction weight index.
H04N 19/52 - Traitement de vecteurs de mouvement par encodage par encodage prédictif
H04N 19/577 - Compensation de mouvement avec interpolation de trame bidirectionnelle, p. ex. utilisation d’images B
H04N 19/70 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par des aspects de syntaxe liés au codage vidéo, p. ex. liés aux standards de compression
36.
METHODS, ARCHITECTURES, APPARATUSES AND SYSTEMS DIRECTED TO IMPROVED LINEAR MODEL ESTIMATION FOR TEMPLATE BASED VIDEO CODING
Procedures, methods, architectures, apparatuses, systems, devices, and computer program products directed to improved linear model estimation for template-based video coding are provided. Included therein is a method comprising determining minimum and maximum ("min/max") values of luma and chroma samples neighboring a coding block, wherein the min/max chroma values correspond to the min/max luma values; determining a first linear model parameter of a template-based video coding technique (i) based on a single look-up table and the min/max chroma values and (ii) at a precision no greater than 16 bits; determining a second linear model parameter of the template-based video coding technique (i) based on the first linear model parameter and the minimum chroma and luma values and (ii) at a precision no greater than 16 bits; and predicting chroma samples of the coding block based on reconstructed luma samples of the coding block and the first and second linear model parameters.
H04N 19/42 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par les détails de mise en œuvre ou le matériel spécialement adapté à la compression ou à la décompression vidéo, p. ex. la mise en œuvre de logiciels spécialisés
H04N 19/186 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une couleur ou une composante de chrominance
H04N 19/593 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif mettant en œuvre des techniques de prédiction spatiale
Bi-directional optical flow (BDOF) may be bypassed, for a current coding block, based on whether symmetric motion vector difference (8MVD) is used in motion vector coding for the current coding block, A coding device (e.g., an encoder or a decoder) may determine whether to bypass BDOF for the current coding block based at least in part on an SMVD indication for the current coding block, The coding device may obtain the SMVD indication that indicates whether SMVD is used in motion vector coding for the current coding block. If SMVD Indication indicates that SMVD is used in the motion vector coding for the current coding block, the coding device may bypass BDOF for the current coding block. The coding device may reconstruct, the current coding block without performing BDOF if it determines to bypass BDOF for the current coding block.
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
H04N 19/577 - Compensation de mouvement avec interpolation de trame bidirectionnelle, p. ex. utilisation d’images B
H04N 19/70 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par des aspects de syntaxe liés au codage vidéo, p. ex. liés aux standards de compression
A system may identify a defined rectangular picture area and render video corresponding to the defined rectangular picture area. The system may receive a video bitstream comprising a picture having a header and may receive data specifying a structure of the picture. The system may parse the data specifying the structure of the picture for an identifier corresponding to a defined rectangular area in the first picture and for a tile index of a top left tile in the defined rectangular area. The system may determine one or more tiles comprised in the defined rectangular area based on the identifier corresponding to the defined rectangular area and the tile index of the top left tile. The system may reconstruct the picture including a sub-picture that comprises the defined rectangular area based upon the identifier corresponding to the defined rectangular area. The computing system may render the sub-picture in the defined rectangular area.
H04N 19/17 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet
H04N 19/70 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par des aspects de syntaxe liés au codage vidéo, p. ex. liés aux standards de compression
H04N 19/174 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant une tranche, p. ex. une ligne de blocs ou un groupe de blocs
H04N 19/46 - Inclusion d’information supplémentaire dans le signal vidéo pendant le processus de compression
Systems, methods, and instrumentalities are disclosed for performing horizontal geometry padding on a current sample based on receiving a wraparound enabled indication that indicates whether a horizontal wraparound motion compensation is enabled. If the horizontal wraparound motion compensation is enabled based on the wraparound enabled indication, a video coding device may determine a reference sample wraparound offset of a current sample in a picture. The reference sample wraparound offset may indicate a face width of the picture. The video coding device may determine a reference sample location for the current sample based on the reference sample wraparound offset, a picture width of the picture, and a current sample location. The video coding device may predict the current sample based on the reference sample location in a horizontal direction. Repetitive padding or clipping may be used in the vertical direction.
H04N 19/597 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif spécialement adapté pour l’encodage de séquences vidéo multi-vues
H04N 19/55 - Estimation de mouvement avec contraintes spatiales, p. ex. au niveau des contours de l’image ou des contours des régions
e.ge.g., generalized bi-prediction (GBi)). A coding system may combine coding modes, coding techniques, and/or coding tools. The coding system may include a wireless transmit/receive unit (WTRU). For example, the coding system may combine BDOF and bi-prediction with GU weights (BCW). BDOF may include refining a motion vector associated with a current CU based at least in part on gradients associated with a location in the current CU. The coding system may determine that BDOF is enabled, and/or that bi-prediction with CU weights is enabled for the current CU. The coding system's determination that bi-prediction with CU weights is enabled and/or that BDOF is enabled may be based on one or more indications.
Methods, apparatus, systems, architectures and interfaces for encoding and/or decoding point cloud bitstreams including coded point cloud sequences are provided. Included among such methods, apparatuses, systems, architectures, and interfaces is an apparatus that may include a processor and memory. A method may include any of: mapping components of the point cloud bitstream into tracks; generating information identifying any of geometry streams or texture streams according to the mapping of the components; generating information associated with layers corresponding to respective geometry component streams; and generating information indicating operation points associated with the point cloud bitstream.
Systems and methods are described for reducing the complexity of using bi-directional optical flow (BIO) in video coding. In some embodiments, bit-width reduction steps are introduced in the BIO motion refinement process to reduce the maximum bit-width used for BIO calculations. In some embodiments, simplified interpolation filters are used to generate predicted samples in an extended region around a current coding unit. In some embodiments, different interpolation filters are used for vertical versus horizontal interpolation. In some embodiments, BIO is disabled for coding units with small heights and/or for coding units that are predicted using a sub-block level inter prediction technique, such as advanced temporal motion vector prediction (ATMVP) or affine prediction.
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
H04N 19/52 - Traitement de vecteurs de mouvement par encodage par encodage prédictif
H04N 19/577 - Compensation de mouvement avec interpolation de trame bidirectionnelle, p. ex. utilisation d’images B
43.
AFFINE MOTION ESTIMATION FOR AFFINE MODEL-BASED VIDEO CODING
Systems, methods, and instrumentalities for affine motion estimation for affine model-based video coding may be disclosed herein. A first motion vector (MV) set including one or more MVs may be derived for a first coding block. The MVs may be control point MVs (CPMVs) and the MVs may be derived by performing affine motion estimation (ME) associated with the first coding block. The first MV set may be added to a recently-estimated MV list. A head of the recently-estimated MV list may be set to the first MV set. The recently-estimated MV list may be empty or may contain one or more previously-added MV sets.
Methods and apparatus for using flexible grid regions in picture or video frames are disclosed. In one embodiment, a method includes receiving a set of first parameters that defines a plurality of first grid regions comprising a frame. For each first grid region, the method includes receiving a set of second parameters that defines a plurality of second grid regions, and the plurality of second grid regions partitions the respective first grid region. The method further includes partitioning the frame into the plurality of first grid regions based on the set of first parameters, and partitioning each first grid region into the plurality of second grid regions based on the respective set of second parameters.
H04N 19/119 - Aspects de subdivision adaptative, p. ex. subdivision d’une image en blocs de codage rectangulaires ou non
H04N 19/167 - Position dans une image vidéo, p. ex. région d'intérêt [ROI]
H04N 19/174 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant une tranche, p. ex. une ligne de blocs ou un groupe de blocs
H04N 19/563 - Estimation de mouvement avec bourrage, c.-à-d. remplissage de valeurs non-objet dans un bloc ou une région de l'image de forme arbitraire à des fins d'estimation
45.
ADAPTIVE MOTION VECTOR PRECISION FOR AFFINE MOTION MODEL BASED VIDEO CODING
Systems and methods are described for video coding using affine motion models with adaptive precision. In an example, a block of video is encoded in a bitstream using an affine motion model, where the affine motion model is characterized by at least two motion vectors. A precision is selected for each of the motion vectors, and the selected precisions are signaled in the bitstream. In some embodiments, the precisions are signaled by including in the bitstream information that identifies one of a plurality of elements in a selected predetermined precision set. The identified element indicates the precision of each of the motion vectors that characterize the affine motion model. In some embodiments, the precision set to be used is signaled expressly in the bitstream; in other embodiments, the precision set may be inferred, e.g., from the block size, block shape or temporal layer.
H04N 19/109 - Sélection du mode de codage ou du mode de prédiction parmi plusieurs modes de codage prédictif temporel
H04N 19/13 - Codage entropique adaptatif, p. ex. codage adaptatif à longueur variable [CALV] ou codage arithmétique binaire adaptatif en fonction du contexte [CABAC]
H04N 19/134 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’élément, le paramètre ou le critère affectant ou contrôlant le codage adaptatif
H04N 19/147 - Débit ou quantité de données codées à la sortie du codeur selon des critères de débit-distorsion
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
H04N 19/184 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant des bits, p. ex. de flux vidéo compressé
H04N 19/52 - Traitement de vecteurs de mouvement par encodage par encodage prédictif
H04N 19/523 - Estimation ou compensation du mouvement avec précision supérieure au sous-pixel
H04N 19/54 - Estimation de mouvement autre que basée sur les blocs utilisant des points ou des maillages caractéristiques
46.
METHODS AND APPARATUS FOR REDUCING THE CODING LATENCY OF DECODER-SIDE MOTION REFINEMENT
Embodiments of video coding systems and methods are described for reducing coding latency introduced by decoder-side motion vector refinement (DMVR). In one example, two non-refined motion vectors are identified for coding of a first block of samples (e.g. a first coding unit) using bi-prediction. One or both of the non-refined motion vectors are used to predict motion information for a second block of samples (e.g. a second coding unit). The two non-refined motion vectors are refined using DMVR, and the refined motion vectors are used to generate a prediction signal of the first block of samples. Such embodiments allow the second block of samples to be coded substantially in parallel with the first block without waiting for completion of DMVR on the first block. In additional embodiments, optical-flow-based techniques are described for motion vector refinement.
H04N 19/436 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par les détails de mise en œuvre ou le matériel spécialement adapté à la compression ou à la décompression vidéo, p. ex. la mise en œuvre de logiciels spécialisés utilisant des dispositions de calcul parallélisées
47.
ADAPTIVE CONTROL POINT SELECTION FOR AFFINE MOTION MODEL BASED VIDEO CODING
Systems, methods, and instrumentalities are disclosed for motion vector clipping when affine motion mode is enabled for a video block. A video coding device may determine that an affine mode for a video block is enabled. The video coding device may determine a plurality of control point affine motion vectors associated with the video block. The video coding device may store the plurality of clipped control point affine motion vectors for motion vector prediction of a neighboring control point affine motion vector. The video coding device may derive a sub-block motion vector associated with a sub-block of the video block, clip the derived sub-block motion vector, and store it for spatial motion vector prediction or temporal motion vector prediction. For example, the video coding device may clip the derived sub-block motion vector based on a motion field range that may be based on a bit depth value.
A video coding device may be configured to perform directional Bi-directional optical flow (BDOF) refinement on a coding unit (CU). The device may determine the direction in which to perform directional BDOF refinement. The device may calculate the vertical direction gradient difference and the horizontal direction gradient difference for the CU. The vertical direction gradient difference may indicate the difference between the vertical gradients for a first reference picture and the vertical gradients for a second reference picture. The horizontal direction gradient difference may indicate the difference between the horizontal gradients for the first reference picture and the horizontal gradients for the second reference picture. The video coding device may determine the direction in which to perform directional BDOF refinement based on the vertical direction gradient difference and the horizontal direction gradient difference. The video coding device may perform directional BDOF refinement in the determined direction.
H04N 19/139 - Analyse des vecteurs de mouvement, p. ex. leur amplitude, leur direction, leur variance ou leur précision
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
H04N 19/103 - Sélection du mode de codage ou du mode de prédiction
H04N 19/577 - Compensation de mouvement avec interpolation de trame bidirectionnelle, p. ex. utilisation d’images B
G06T 7/269 - Analyse du mouvement utilisant des procédés basé sur le gradient
Methods are described herein for signaling information regarding different viewpoints in a multi-viewpoint omnidirectional media presentation. In some embodiments, a container file (which may use the ISO Base Media File Format) is generated containing several tracks. The tracks are grouped using a track-group identifier, where each track-group identifier is associated with a different viewpoint. In some embodiments, a manifest (such as an MPEG-DASFI MPD) is generated, where the manifest includes viewpoint identifiers that identify the viewpoint associated with each stream. In some embodiments, metadata included in a container file and/or in a manifest provides information on the position of each viewpoint, the intervals during which each viewpoint is available, transition effects for transitions between viewpoints, and/or recommended projection formats for corresponding field-of-view ranges.
H04N 13/117 - Transformation de signaux d’images correspondant à des points de vue virtuels, p. ex. interpolation spatiale de l’image les positions des points de vue virtuels étant choisies par les spectateurs ou déterminées par suivi du spectateur
H04N 21/845 - Structuration du contenu, p. ex. décomposition du contenu en segments temporels
H04N 21/235 - Traitement de données additionnelles, p. ex. brouillage de données additionnelles ou traitement de descripteurs de contenu
H04N 21/218 - Source du contenu audio ou vidéo, p. ex. réseaux de disques locaux
50.
TEMPLATE-BASED INTER PREDICTION TECHNIQUES BASED ON ENCODING AND DECODING LATENCY REDUCTION
Video coding methods are described for reducing latency in template-based inter coding. In some embodiments, a method is provided for coding a video that includes a current picture and at least one reference picture. For at least a current block in the current picture, a respective predicted value is generated (e.g. using motion compensated prediction) for each sample in a template region adjacent to the current block. Once the predicted values are generated for each sample in the template region, a process is invoked to determine a template-based inter prediction parameter by using predicted values in the template region and sample values the reference picture. This process can be invoked without waiting for reconstructed sample values in the template region. Template-based inter prediction of the current block is then performed using the determined template-based inter prediction parameter.
H04N 19/43 - Matériel spécialement adapté à l’estimation ou à la compensation de mouvement
H04N 19/436 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par les détails de mise en œuvre ou le matériel spécialement adapté à la compression ou à la décompression vidéo, p. ex. la mise en œuvre de logiciels spécialisés utilisant des dispositions de calcul parallélisées
H04N 19/105 - Sélection de l’unité de référence pour la prédiction dans un mode de codage ou de prédiction choisi, p. ex. choix adaptatif de la position et du nombre de pixels utilisés pour la prédiction
H04N 19/109 - Sélection du mode de codage ou du mode de prédiction parmi plusieurs modes de codage prédictif temporel
H04N 19/159 - Type de prédiction, p. ex. prédiction intra-trame, inter-trame ou de trame bidirectionnelle
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
H04N 19/52 - Traitement de vecteurs de mouvement par encodage par encodage prédictif
Systems and methods described herein provide for rendering and quality monitoring of rendering of a 360-degree video, where the video has a plurality of representations with different levels of quality in different regions. In an exemplary method, a client device tracks a position of a viewport with respect to the 360-degree video and renders to the viewport a selected set of the representations. The client adaptively adds and removes representations from the selected set based on the viewport position. The client also measures and reports a viewport switching latency. In some embodiments, the latency for a viewport switch is a comparable-quality viewport switch latency that represents the time it takes after a viewport switch to return to a quality comparable to the pre-switch viewport quality.
H04N 21/218 - Source du contenu audio ou vidéo, p. ex. réseaux de disques locaux
H04N 21/442 - Surveillance de procédés ou de ressources, p. ex. détection de la défaillance d'un dispositif d'enregistrement, surveillance de la bande passante sur la voie descendante, du nombre de visualisations d'un film, de l'espace de stockage disponible dans le disque dur interne
H04N 21/2343 - Traitement de flux vidéo élémentaires, p. ex. raccordement de flux vidéo ou transformation de graphes de scènes du flux vidéo codé impliquant des opérations de reformatage de signaux vidéo pour la distribution ou la mise en conformité avec les requêtes des utilisateurs finaux ou les exigences des dispositifs des utilisateurs finaux
H04N 21/845 - Structuration du contenu, p. ex. décomposition du contenu en segments temporels
52.
GENERALIZED BI-PREDICTION FOR VIDEO CODING WITH REDUCED CODING COMPLEXITY
Exemplary embodiments include systems and methods for coding a video comprising a plurality of pictures including a current picture, a first reference picture, and a second reference picture, where each picture includes a plurality of blocks. In one method, for at least a current block in the current picture, a number of available bi-prediction weights is determined based at least in part on a temporal layer and/or a quantization parameter of the current picture. From among available bi-prediction weights a pair of weights are identified. Using the identified weights, the current block is then predicted as a weighted sum of a first reference block in the first reference picture and a second reference block in the second reference picture. Encoding techniques are also described for efficient searching and selection of a pair of bi-prediction weights to use for prediction of a block.
H04N 19/577 - Compensation de mouvement avec interpolation de trame bidirectionnelle, p. ex. utilisation d’images B
H04N 19/31 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant des techniques hiérarchiques, p. ex. l'échelonnage dans le domaine temporel
H04N 19/573 - Compensation de mouvement avec prédiction multi-trame utilisant plusieurs trames de référence dans une direction de prédiction donnée
Systems and methods are described for selecting a motion vector (MV) to use in frame-rate up conversion (FRUC) coding of a block of video. In one embodiment, a first set of motion vector candidates is identified for FRUC prediction of the block. A search center is defined based on the first set of motion vector candidates, and a search window is determined, the search window having a selected width and being centered on the search center. A search for a selected MV is performed within the search window. In some embodiments, an initial set of MVs is processed with a clustering algorithm to generate a smaller number of MVs that are used as the first set. The selected MV may be subject to a motion refinement search, which may also be performed over a constrained search range. In additional embodiments, search iterations are constrained to limit complexity.
e.g.,e.g., face layout and/or face rotations parameters) associated with a RAS, The device may receive a plurality of pictures, which may each comprise a plurality of faces. The pictures may be grouped Into a plurality of RASs. The device may select a frame packing configuration with the lowest cost for a first RAS. For example, the cost of a frame packing configuration may be determined based on the first picture of the first RAS. The device may select a frame packing configuration for a second RAS. The frame packing configuration for the first RAS may be different than the frame packing configuration for the second RAS. The frame packing configuration for the first RAS and the frame packing configuration for the second RAS may be signaled in the video bitstream.
H04N 19/597 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif spécialement adapté pour l’encodage de séquences vidéo multi-vues
55.
MOTION COMPENSATED BI-PREDICTION BASED ON LOCAL ILLUMINATION COMPENSATION
Systems, methods, and Instrumentalities are described herein for calculating local Illumination compensation (LIC) parameters for bi-predicted coding unit (CU). The LIC parameters may be used to generate adjusted samples for the current CU and to address local illumination changes that may exist among temporal neighboring pictures. LIC parameters may be calculated based on bi-predicted reference template samples and template samples for a current CU. Bi-predicted reference template samples may be generated based on reference template samples neighboring temporal reference CUs. For example, the bi-predicted reference template samples may be generated based on averaging the reference template samples. The reference template samples may correspond to template samples for the current CU. A CU may be or may include a coding block and/or a sub-block that may be derived by dividing the coding block.
H04N 19/105 - Sélection de l’unité de référence pour la prédiction dans un mode de codage ou de prédiction choisi, p. ex. choix adaptatif de la position et du nombre de pixels utilisés pour la prédiction
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
H04N 19/137 - Mouvement dans une unité de codage, p. ex. différence moyenne de champs, de trames ou de blocs
H04N 19/583 - Compensation de mouvement par blocs se chevauchant
H04N 19/577 - Compensation de mouvement avec interpolation de trame bidirectionnelle, p. ex. utilisation d’images B
56.
FACE DISCONTINUITY FILTERING FOR 360-DEGREE VIDEO CODING
Systems, methods, and instrumentalities are disclosed for discontinuous face boundary filtering for 360-degree video coding, A face discontinuity may be filtered (e.g., to reduce seam artifacts) in whole or in part, for example, using coded samples or padded samples on either side of the face discontinuity. Filtering may be applied, for example, as an in-ioop filter or a post-processing step. 2D positional information related to two sides of the face discontinuity may be signaled In a video bitstream so that filtering may be applied independent of projection formats and/or frame packing techniques.
H04N 19/597 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif spécialement adapté pour l’encodage de séquences vidéo multi-vues
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
H04N 19/134 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’élément, le paramètre ou le critère affectant ou contrôlant le codage adaptatif
H04N 19/117 - Filtres, p. ex. pour le pré-traitement ou le post-traitement
H04N 19/82 - Détails des opérations de filtrage spécialement adaptées à la compression vidéo, p. ex. pour l'interpolation de pixels mettant en œuvre le filtrage dans une boucle de prédiction
H04N 19/86 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le pré-traitement ou le post-traitement spécialement adaptés pour la compression vidéo mettant en œuvre la diminution des artéfacts de codage, p. ex. d'artéfacts de blocs
H04N 19/88 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le pré-traitement ou le post-traitement spécialement adaptés pour la compression vidéo mettant en œuvre la réorganisation de données entre différentes unités de codage, p. ex. redistribution, entrelacement, brouillage ou permutation de données de pixel ou permutation de données de coefficients de transformée entre différents blocs
57.
360-DEGREE VIDEO CODING USING FACE-BASED GEOMETRY PADDING
A frame-packed picture for a 360-degree video content may be received, A group of continuous faces in the frame-packed picture may be identified based on frame packing information for the frame-packed picture. A sample Iocation in the group of continuous faces may be identified. Whether a neighboring sample Iocation associated with the identified sample location is located outside of a discontinuous edge of the group of continuous faces may be determined. If the neighboring sample iocation is located outside of the discontinuous edge of the group of continuous faces, geometry padding on the identified sample Iocation may be performed, if the neighboring sample Iocation is located outside of the discontinuous edge of the group of continuous faces, geometry padding may be skipped. The 360-degree video content may be processed based on the geometry padding.
H04N 19/597 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif spécialement adapté pour l’encodage de séquences vidéo multi-vues
H04N 19/563 - Estimation de mouvement avec bourrage, c.-à-d. remplissage de valeurs non-objet dans un bloc ou une région de l'image de forme arbitraire à des fins d'estimation
H04N 21/218 - Source du contenu audio ou vidéo, p. ex. réseaux de disques locaux
58.
METHODS FOR SIMPLIFYING ADAPTIVE LOOP FILTER IN VIDEO CODING
Systems, methods and instrumentalities are disclosed for adaptively selecting an adaptive loop filter (ALF) procedure for a frame based on which temporal layer the frame is in. ALF procedures may vary in computational complexity. One or more frames including the current frame may be in a temporal layer of a coding scheme. The decoder may determine the current frame's temporal layer level within the coding scheme. The decoder may select an ALF procedure based on the current frame's temporal layer level. If the current frame's temporal layer level is higher within the coding scheme than some other temporal layer levels, an ALF procedure that is less computationally complex may be selected for the current frame. Then the decoder may perform the selected ALF procedure on the current frame.
H04N 19/82 - Détails des opérations de filtrage spécialement adaptées à la compression vidéo, p. ex. pour l'interpolation de pixels mettant en œuvre le filtrage dans une boucle de prédiction
H04N 19/117 - Filtres, p. ex. pour le pré-traitement ou le post-traitement
H04N 19/14 - Complexité de l’unité de codage, p. ex. activité ou estimation de présence de contours
H04N 19/187 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une couche de vidéo échelonnable
External overlapped block motion compensation (OBMC) may be performed for samples of a coding unit (CU) located along an inter-CU boundary of the CU while internal OBMC may be performed separately for samples located along inter-sub-block boundaries inside the CU. External OBMC may be applied based on substantially similar motion information associated with multiple external blocks neighboring the CU. The external blocks may be treated as a group to provide OBMC for multiple boundary samples together in an external OBMC operation. Internal OBMC may be applied using the same sub-block size used for sub-block level motion derivation. Internal OBMC may be disabled for the CU, for example, if the CU is coded in a spatial-temporal motion vector prediction (STMVP) mode.
A block may be identified. The block may be partitioned into one or more (e.g., two) sibling nodes (e.g., sibling nodes BO and B1 ). A partition direction and a partition type for the block may be determined. If the partition type for the block is binary tree (BT), one or more (e.g., two) partition parameters may be determined for sibling node BO. A partition parameter (e.g., a first partition parameter) may be determined for sibling node B1. A decoder may determine whether to receive an indication of a second partition parameter for B1 based on, for example, the partition direction for the block, the partition type for the block, and the first partition parameter for B1. The decoder may derive the second partition parameter based on, for example, the partition direction and type for the block, and the first partition parameter for B1.
H04N 19/96 - Codage au moyen d'une arborescence, p. ex. codage au moyen d'une arborescence quadratique
H04N 19/119 - Aspects de subdivision adaptative, p. ex. subdivision d’une image en blocs de codage rectangulaires ou non
H04N 19/70 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par des aspects de syntaxe liés au codage vidéo, p. ex. liés aux standards de compression
H04N 19/463 - Inclusion d’information supplémentaire dans le signal vidéo pendant le processus de compression par compression des paramètres d’encodage avant la transmission
H04N 19/14 - Complexité de l’unité de codage, p. ex. activité ou estimation de présence de contours
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
61.
SUB-BLOCK MOTION DERIVATION AND DECODER-SIDE MOTION VECTOR REFINEMENT FOR MERGE MODE
Systems, methods, and instrumentalities for sub-block motion derivation and motion vector refinement for merge mode may be disclosed herein. Video data may be coded (e.g., encoded and/or decoded). A collocated picture for a current slice of the video data may be identified. The current slice may include one or more coding units (CUs). One or more neighboring CUs may be identified for a current CU. A neighboring CU (e.g., each neighboring CU) may correspond to a reference picture. A (e.g., one) neighboring CU may be selected to be a candidate neighboring CU based on the reference pictures and the collocated picture. A motion vector (MV) (e.g., collocated MV) may be identified from the collocated picture based on an MV (e.g., a reference MV) of the candidate neighboring CU. The current CU may be coded (e.g., encoded and/or decoded) using the collocated MV.
A device may receive a 360-degree video comprising one or more frames. The frames may comprise multiple faces and/or may be associated with one or more parameterized transform functions. The one or more parameterized transform functions may be associated with a transform function parameter. For example, a transform function parameter and/or parameterized transform function may be defined for each face and/or in each direction. The device may search through a parameter space for a first transform function parameter for a first frame. The device may determine a progressive search range (PSR) which may be relative to the first transform function parameter. For example, the PSR may include a range the surrounds the first transform function parameter. The device may search through the PSR to find a second transform function parameter for a second frame. The device may signal the first and the second transform function parameter in video bitstream.
H04N 19/117 - Filtres, p. ex. pour le pré-traitement ou le post-traitement
H04N 19/167 - Position dans une image vidéo, p. ex. région d'intérêt [ROI]
H04N 19/172 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant une image, une trame ou un champ
H04N 19/46 - Inclusion d’information supplémentaire dans le signal vidéo pendant le processus de compression
A device may be configured to render at least one spatial region of 360-degree media content, which may include two or more spatial regions. The device may include a receiver configured to receive the 360- degree media content and metadata associated with the 360-degree content. The metadata may include a classification of a respective spatial region of the 360-degree media content. The device may further include a memory configured to store a user preference and a sensor configured to detect a user movement. The device may include a processor configured to determine that the user movement is associated with a rendering of the respective spatial region. The processor may further determine whether the classification complies with the user preference and alter the rendering of the respective spatial region if the classification violates the user preference.
H04N 21/218 - Source du contenu audio ou vidéo, p. ex. réseaux de disques locaux
H04N 21/2343 - Traitement de flux vidéo élémentaires, p. ex. raccordement de flux vidéo ou transformation de graphes de scènes du flux vidéo codé impliquant des opérations de reformatage de signaux vidéo pour la distribution ou la mise en conformité avec les requêtes des utilisateurs finaux ou les exigences des dispositifs des utilisateurs finaux
H04N 21/258 - Gestion de données liées aux clients ou aux utilisateurs finaux, p. ex. gestion des capacités des clients, préférences ou données démographiques des utilisateurs, traitement des multiples préférences des utilisateurs finaux pour générer des données collaboratives
H04N 21/262 - Ordonnancement de la distribution de contenus ou de données additionnelles, p. ex. envoi de données additionnelles en dehors des périodes de pointe, mise à jour de modules de logiciel, calcul de la fréquence de transmission de carrousel, retardement de la transmission de flux vidéo, génération de listes de reproduction
H04N 21/41 - Structure de clientStructure de périphérique de client
H04N 21/422 - Périphériques d'entrée uniquement, p. ex. système de positionnement global [GPS]
H04N 21/431 - Génération d'interfaces visuellesRendu de contenu ou données additionnelles
H04N 21/442 - Surveillance de procédés ou de ressources, p. ex. détection de la défaillance d'un dispositif d'enregistrement, surveillance de la bande passante sur la voie descendante, du nombre de visualisations d'un film, de l'espace de stockage disponible dans le disque dur interne
H04N 21/45 - Opérations de gestion réalisées par le client pour faciliter la réception de contenu ou l'interaction avec le contenu, ou pour l'administration des données liées à l'utilisateur final ou au dispositif client lui-même, p. ex. apprentissage des préférences d'utilisateurs pour recommander des films ou résolution de conflits d'ordonnancement
H04N 21/454 - Filtrage de contenu, p. ex. blocage des publicités
H04N 21/4545 - Signaux d'entrée aux algorithmes de filtrage, p. ex. filtrage d'une région de l'image
H04N 21/462 - Gestion de contenu ou de données additionnelles, p. ex. création d'un guide de programmes électronique maître à partir de données reçues par Internet et d'une tête de réseau ou contrôle de la complexité d'un flux vidéo en dimensionnant la résolution ou le débit en fonction des capacités du client
H04N 21/84 - Génération ou traitement de données de description, p. ex. descripteurs de contenu
H04N 21/845 - Structuration du contenu, p. ex. décomposition du contenu en segments temporels
H04N 21/441 - Acquisition de l'identification d'un utilisateur final
H04N 21/475 - Interface pour utilisateurs finaux pour acquérir des données d'utilisateurs finaux, p. ex. numéro d'identification personnel [PIN] ou données de préférences
64.
COMPLEXITY REDUCTION OF OVERLAPPED BLOCK MOTION COMPENSATION
Overlapped block motion compensation (OBMC) may be performed for a current video block based on motion information associated with the current video block and motion information associated with one or more neighboring blocks of the current video block. Under certain conditions, some or ail of these neighboring blocks may be omitted from the OBMC operation of the current block. For instance, a neighboring block may be skipped during the OBMC operation if the current video block and the neighboring block are both uni-directionally or bi-directionally predicted, if the motion vectors associated with the current block and the neighboring block refer to a same reference picture, and if a sum of absolute differences between those motion vectors is smaller than a threshold value. Further, OBMC may be conducted in conjunction with regular motion compensation and may use simplified filters than traditionally allowed.
Systems, methods, and instrumentalities may be provided for discounting reconstructed samples and/or coding information from spatial neighbors across face discontinuities. Whether a current block is located at a face discontinuity may be determined. The face discontinuity may be a face boundary between two or more adjoining blocks that are not spherical neighbors. The coding availability of a neighboring block of the current block may be determined, e.g., based on whether the neighboring block is on the same side of the face discontinuity as the current block. For example, the neighboring block may be determined to be available for decoding the current block if it is on the same side of the face discontinuity as the current block, and unavailable if it Is not on the same side of the face discontinuity. The neighboring block may be a spatial neighboring block or a temporal neighboring block.
H04N 19/597 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif spécialement adapté pour l’encodage de séquences vidéo multi-vues
H04N 19/593 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif mettant en œuvre des techniques de prédiction spatiale
H04N 19/82 - Détails des opérations de filtrage spécialement adaptées à la compression vidéo, p. ex. pour l'interpolation de pixels mettant en œuvre le filtrage dans une boucle de prédiction
H04N 19/86 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le pré-traitement ou le post-traitement spécialement adaptés pour la compression vidéo mettant en œuvre la diminution des artéfacts de codage, p. ex. d'artéfacts de blocs
Systems, methods, and instrumentalities are disclosed for dynamic picture-in-picture (PIP) by a client. The client may reside on any device. The client may receive video content from a server, and identify an object within the video content using at least one of object recognition or metadata. The metadata may include information that indicates a location of an object within a frame of the video content. The client may receive a selection of the object by a user, and determine positional data of the object across frames of the video content using at least one of object recognition or metadata. The client may display an enlarged and time-delayed version of the object within a PIP window across the frames of the video content. Alternatively or additionally, the location of the PIP window within each frame may be fixed or may be based on the location of the object within each frame.
H04N 21/4728 - Interface pour utilisateurs finaux pour la requête de contenu, de données additionnelles ou de servicesInterface pour utilisateurs finaux pour l'interaction avec le contenu, p. ex. pour la réservation de contenu ou la mise en place de rappels, pour la requête de notification d'événement ou pour la transformation de contenus affichés pour la sélection d'une région d'intérêt [ROI], p. ex. pour la requête d'une version de plus haute résolution d'une région sélectionnée
H04N 21/431 - Génération d'interfaces visuellesRendu de contenu ou données additionnelles
H04N 21/44 - Traitement de flux élémentaires vidéo, p. ex. raccordement d'un clip vidéo récupéré d'un stockage local avec un flux vidéo en entrée ou rendu de scènes selon des graphes de scène du flux vidéo codé
When a FRUC mode is enabled for a current coding unit (CU), motion vector (MV) candidates may be derived for the current CU, One or more search MVs may be derived from the MV candidates so that an initiai motion search may be performed for the current CU using the search MVs. The search MVs, which may be fewer than the MV candidates for the CU, may be derived based on one or more attributes of the MV candidates. At the sub-CU level, sub-CU MV candidates may be determined for a current sub-CU. Sub-CU search MVs may be derived from the sub-CU MV candidates for the current sub-CU so that a motion search may be performed for the current sub-CU using the sub-CU search MVs. The number of the sub-CU search MVs may be smaller than the number of the sub-CU MV candidates.
H04N 19/56 - Estimation de mouvement avec initialisation de la recherche par vecteurs, p. ex. estimation d’un bon candidat pour initier une recherche
H04N 19/139 - Analyse des vecteurs de mouvement, p. ex. leur amplitude, leur direction, leur variance ou leur précision
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
H04N 19/70 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par des aspects de syntaxe liés au codage vidéo, p. ex. liés aux standards de compression
H04N 19/109 - Sélection du mode de codage ou du mode de prédiction parmi plusieurs modes de codage prédictif temporel
68.
MOTION-COMPENSATION PREDICTION BASED ON BI-DIRECTIONAL OPTICAL FLOW
A device may determine whether to enable or disable bi-directional optical flow (BIO) for a current coding unit (CU) (e.g., block and/or sub-block). Prediction information for the CU may be identified and may include prediction signals associated with a first reference block and a second reference block (e.g., or a first reference sub-block and a second reference sub-block). A prediction difference may be calculated and may be used to determine the similarity between the two prediction signals. The CU may be reconstructed based on the similarity. For example, whether to reconstruct the CU with BIO enabled or BIO disabled may be based on whether the two prediction signals are similar, it may be determined to enable BIO for the CU when the two prediction signals are determined to be dissimilar. For example, the CU may be reconstructed with BIO disabled when the two prediction signals are determined to be similar.
H04N 19/139 - Analyse des vecteurs de mouvement, p. ex. leur amplitude, leur direction, leur variance ou leur précision
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
H04N 19/103 - Sélection du mode de codage ou du mode de prédiction
H04N 19/577 - Compensation de mouvement avec interpolation de trame bidirectionnelle, p. ex. utilisation d’images B
G06T 7/269 - Analyse du mouvement utilisant des procédés basé sur le gradient
69.
WEIGHTED TO SPHERICALLY UNIFORM PSNR FOR 360-DEGREE VIDEO QUALITY EVALUATION USING CUBEMAP-BASED PROJECTIONS
360-degree video content may be coded. A sampling position in a projection format may be determined to code 360-degree video content. For example, a sampling position in a target projection format and a sampling position in a reference projection format may be identified. The sample position in the target projection format may be related to the corresponding sample position in the reference projection format via a transform function. A parameter weight (e.g., a reference parameter weight) for the sampling position in the reference projection format may be identified. An adjustment factor associated with the parameter weight for the sampling position in the reference projection format may be determined. The parameter weight (e.g., adjusted parameter weight) for the sampling position in the target projection format may be calculated. The calculated adjusted parameter weight may be applied to the sampling position in the target projection format when coding the 360-degree video content.
H04N 19/597 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif spécialement adapté pour l’encodage de séquences vidéo multi-vues
H04N 19/126 - Détails des fonctions de normalisation ou de pondération, p. ex. matrices de normalisation ou quantificateurs uniformes variables
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
H04N 19/16 - Mode de codage attribué, c.-à-d. le mode de codage étant prédéfini ou présélectionné pour être utilisé ultérieurement afin de sélectionner un autre élément ou paramètre pour un mode donné d’affichage, p. ex. pour un mode d'affichage entrelacé ou progressif
H04N 19/46 - Inclusion d’information supplémentaire dans le signal vidéo pendant le processus de compression
G06T 3/00 - Transformations géométriques de l'image dans le plan de l'image
70.
LOCAL ILLUMINATION COMPENSATION USING GENERALIZED BI-PREDICTION
Based on the prediction mode used for the current block, a decoder may determine whether to parse an illumination compensation indication for the current block. The illumination compensation indication may indicate whether to enable an illumination compensation process for the current block. If the prediction mode is indicative of the continuous motion changes between the current block and one or more of the reference blocks, the decoder may bypass parsing the illumination compensation indication. The decoder may disable the illumination compensation process on the current block based on the determination to bypass parsing the illumination compensation indication for the current block.
Systems, procedures, and instrumentalities may be provided for adaptive!y adjusting quantization parameters (QPs) for 360-degree video coding. For example, a first luma QP for a first region may be identified. Based on the first luma QP, a first chroma QP for the first region may be determined. A QP offset for a second region may be identified. A second luma QP for the second region may be determined based on the first luma QP and/or the QP offset for the second region. A second chroma QP of the second region may be determined based on the first chroma QP and/or the QP offset for the second region. An inverse quantization may be performed for the second region based on the second luma QP for the second region and/or the second chroma QP for the second region. The QP offset may be adapted based on a spherical sampling density.
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
A camera may be configured to provide a real-time image in a virtual reality (VR) session. A VR system may discover available external cameras. The VR system may determine positions of the external cameras. The active camera may be selected automatically based on at least one of the positions of the external cameras, a motion or environmental change, or an object detection. The active camera may be updated periodically based on one or more of user movement tracking information, user gesture, or a user input device. The VR system may establish a video connection with the active camera. Images from the active camera may be received and displayed during the VR session. The images may comprise an inset view showing a self-view of the VR user or inset view showing the VR user environment.
H04N 13/344 - Affichage pour le visionnement à l’aide de lunettes spéciales ou de visiocasques avec des visiocasques portant des affichages gauche et droit
Systems, methods, and instrumentalities are disclosed for a 360-degree video streaming. A video streaming device may receive a 360-degree video stream from a network node. The video streaming device may determine a viewport associated with the video streaming device and/or the 360-degree video stream. The video streaming device may determine (e.g., based on the viewport} to request in advance a first segment and a second segment of the 360-degree video stream. The video streaming device may determine a relative priority order for the first segment and the second segment. The video streaming device may generate an anticipated requests message. The anticipated requests message may indicate the determined relative priority order, for example, by listing the first segment and the second segment in decreasing relative priority based on the determined relative priority order. The video streaming device may send the anticipated requests message to the network node.
H04N 21/00 - Distribution sélective de contenu, p. ex. télévision interactive ou vidéo à la demande [VOD]
H04N 21/2343 - Traitement de flux vidéo élémentaires, p. ex. raccordement de flux vidéo ou transformation de graphes de scènes du flux vidéo codé impliquant des opérations de reformatage de signaux vidéo pour la distribution ou la mise en conformité avec les requêtes des utilisateurs finaux ou les exigences des dispositifs des utilisateurs finaux
H04N 21/218 - Source du contenu audio ou vidéo, p. ex. réseaux de disques locaux
H04N 21/4728 - Interface pour utilisateurs finaux pour la requête de contenu, de données additionnelles ou de servicesInterface pour utilisateurs finaux pour l'interaction avec le contenu, p. ex. pour la réservation de contenu ou la mise en place de rappels, pour la requête de notification d'événement ou pour la transformation de contenus affichés pour la sélection d'une région d'intérêt [ROI], p. ex. pour la requête d'une version de plus haute résolution d'une région sélectionnée
H04N 21/6587 - Paramètres de contrôle, p. ex. commande de lecture à vitesse variable ("trick play") ou sélection d’un point de vue
Video tracking systems and methods is performed allows for tracking of one or more objects in video even if the objects are occluded or otherwise unavailable for optical tracking methods. In one such method, video of a scene is captured with a camera-equipped device. A selected object in the captured video is optically tracked to determine an optically-tracked location within the captured video. A position and orientation of the camera is determined. The device wirelessly receives coordinates that indicate the position of the selected object. Based on the position and orientation of the camera, the received coordinates are mapped to a mapped location in the captured video, which may be represented by pixel coordinates. In response to a determination that the selected object is obscured in the captured video, the mapped location is used to track the selected object.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
A system, method, and/or instrumentality may be provided for coding a 360-degree video. A picture of the 360-degree video may be received. The picture may include one or more faces associated with one or more projection formats. A first projection format indication may be received that indicates a first projection format may be associated with a first face. A second projection format indication may be received that indicates a second projection format may be associated with a second face. Based on the first projection format, a first transform function associated with the first face may be determined. Based on the second projection format, a second transform function associated with the second face may be determined. At least one decoding process may be performed on the first face using the first transform function and/or at least one decoding process may be performed on the second face using the second transform function.
H04N 19/597 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif spécialement adapté pour l’encodage de séquences vidéo multi-vues
H04N 19/563 - Estimation de mouvement avec bourrage, c.-à-d. remplissage de valeurs non-objet dans un bloc ou une région de l'image de forme arbitraire à des fins d'estimation
H04N 19/119 - Aspects de subdivision adaptative, p. ex. subdivision d’une image en blocs de codage rectangulaires ou non
H04N 19/593 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif mettant en œuvre des techniques de prédiction spatiale
Systems, methods, and instrumentalities are disclosed for higher-order motion models and graduated motion parameter estimation for video coding. Motion compensated prediction may be performed on a block level using one or more orthogonal basis functions (e.g., Legendre polynomial functions). A motion parameter count indication associated with a current block may be received. An order of an orthogonal basis function for motion modeling associated with the current block may be determined. The order of the orthogonal basis function may be determined based on the motion parameter count indication. Motion parameter values for the orthogonal basis function associated with the current block may be determined, and the current block may be predicted based on the orthogonal basis function having the determined motion parameter values.
H04N 19/105 - Sélection de l’unité de référence pour la prédiction dans un mode de codage ou de prédiction choisi, p. ex. choix adaptatif de la position et du nombre de pixels utilisés pour la prédiction
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
H04N 19/51 - Estimation ou compensation du mouvement
H04N 19/463 - Inclusion d’information supplémentaire dans le signal vidéo pendant le processus de compression par compression des paramètres d’encodage avant la transmission
H04N 19/136 - Caractéristiques ou propriétés du signal vidéo entrant
H04N 19/182 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant un pixel
H04N 19/527 - Estimation de vecteurs de mouvement globaux
H04N 19/537 - Estimation de mouvement autre que basée sur les blocs
A coding device (e.g., that may be or may include encoder and/or decoder) may receive a frame-packed picture of 380-degree video. The coding device may identify a face in the frame-packed picture that the current block belongs to. The coding device may determine that a current block is located at a boundary of the face that the current block belongs to. The coding device may identify multiple spherical neighboring blocks of the current block. The coding device may identify a cross-face boundary neighboring block. The coding device may identify a block in the frame-packed picture that corresponds to the cross-face boundary neighboring block. The coding device may determine whether to use the identified block to code the current block based on availability of the identified block. The coding device may code the current block based on the determination to use the identified block.
H04N 19/597 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif spécialement adapté pour l’encodage de séquences vidéo multi-vues
H04N 19/105 - Sélection de l’unité de référence pour la prédiction dans un mode de codage ou de prédiction choisi, p. ex. choix adaptatif de la position et du nombre de pixels utilisés pour la prédiction
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
H04N 19/61 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant un codage par transformée combiné avec un codage prédictif
H04N 19/593 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif mettant en œuvre des techniques de prédiction spatiale
H04N 19/167 - Position dans une image vidéo, p. ex. région d'intérêt [ROI]
78.
METRICS AND MESSAGES TO IMPROVE EXPERIENCE FOR 360-DEGREE ADAPTIVE STREAMING
A method for receiving and displaying media content may be provided. The method may include requesting a set of DASH video segments that are associated with various viewports and qualities. The method may include displaying the DASH video segments. The method may indue determining a latency metric based on a time difference between the display of a DASH video segment and one of: a device beginning to move, the device ceasing to move, the device determining that the device has begun to move, the device determining that the device has stopped moving, or the display of a different DASH video segment. The different DASH video segment may be associated with one or more of a different quality or a different viewport.
H04L 29/06 - Commande de la communication; Traitement de la communication caractérisés par un protocole
G06F 3/01 - Dispositions d'entrée ou dispositions d'entrée et de sortie combinées pour l'interaction entre l'utilisateur et le calculateur
G06F 3/0481 - Techniques d’interaction fondées sur les interfaces utilisateur graphiques [GUI] fondées sur des propriétés spécifiques de l’objet d’interaction affiché ou sur un environnement basé sur les métaphores, p. ex. interaction avec des éléments du bureau telles les fenêtres ou les icônes, ou avec l’aide d’un curseur changeant de comportement ou d’aspect
H04N 21/442 - Surveillance de procédés ou de ressources, p. ex. détection de la défaillance d'un dispositif d'enregistrement, surveillance de la bande passante sur la voie descendante, du nombre de visualisations d'un film, de l'espace de stockage disponible dans le disque dur interne
H04N 21/4728 - Interface pour utilisateurs finaux pour la requête de contenu, de données additionnelles ou de servicesInterface pour utilisateurs finaux pour l'interaction avec le contenu, p. ex. pour la réservation de contenu ou la mise en place de rappels, pour la requête de notification d'événement ou pour la transformation de contenus affichés pour la sélection d'une région d'intérêt [ROI], p. ex. pour la requête d'une version de plus haute résolution d'une région sélectionnée
H04N 21/6587 - Paramètres de contrôle, p. ex. commande de lecture à vitesse variable ("trick play") ou sélection d’un point de vue
H04N 19/597 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif spécialement adapté pour l’encodage de séquences vidéo multi-vues
H04N 13/344 - Affichage pour le visionnement à l’aide de lunettes spéciales ou de visiocasques avec des visiocasques portant des affichages gauche et droit
H04N 13/117 - Transformation de signaux d’images correspondant à des points de vue virtuels, p. ex. interpolation spatiale de l’image les positions des points de vue virtuels étant choisies par les spectateurs ou déterminées par suivi du spectateur
79.
PREDICTIVE CODING FOR 360-DEGREE VIDEO BASED ON GEOMETRY PADDING
A video coding system (e.g., an encoder and/or a decoder) may perform face-based sub-block motion compensation for 360-degree video to predict samples (e.g., of a sub-block). The video coding system may receive a 360-degree video content. The 360-degree video content may include a current block. The current block may include a plurality of sub-blocks. The system may determine whether a sub-block mode is used for the current block. The system may predict a sample in the current block based on the sub-block level face association. For a first sub-block in the current block, the system may identify a first location of the first sub-block. The system may associate the first sub-block with a first face based on the identified first location of the first sub-block. The system may predict a first sample in the first sub-block based on the first face that is associated with the first sub-block.
H04N 19/563 - Estimation de mouvement avec bourrage, c.-à-d. remplissage de valeurs non-objet dans un bloc ou une région de l'image de forme arbitraire à des fins d'estimation
H04N 19/597 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif spécialement adapté pour l’encodage de séquences vidéo multi-vues
H04N 19/105 - Sélection de l’unité de référence pour la prédiction dans un mode de codage ou de prédiction choisi, p. ex. choix adaptatif de la position et du nombre de pixels utilisés pour la prédiction
H04N 19/176 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une zone de l'image, p. ex. un objet la zone étant un bloc, p. ex. un macrobloc
80.
FLOATING POINT TO INTEGER CONVERSION FOR 360-DEGREE VIDEO PROJECTION FORMAT CONVERSION AND SPHERICAL METRICS CALCULATION
A system, method, and/or instrumentality may convert content of a first projection format to content of a second projection format. A sample position associated with the content of the first projection format may be identified and/or represented as a floating point value. A scaling factor for converting the floating point value to a fixed point value may be identified. The scaling factor may be less than a scaling limit divided by a floating point computation precision limit. The fixed point value may be converted to an integer value. The integer value may be the top-left integer sampling position of the fixed point value. An interpolation filter coefficient may be determined based on a distance between the fixed point value and the integer value. The content of the first projection format may be converted to the content of the second projection format based on the interpolation filter coefficient.
Systems and methods are described for video encoding for devices equipped with two video cameras, particularly where one of the video cameras is a zoom camera. Videos of a scene are simultaneously captured from both video cameras. Motion information (such as a motion field and/or motion vectors) collected from one video stream is used for the encoding of the other. For example, a motion vector from one video may be transformed into a grid of the other video. The transformed motion vector may be used to predict a block of pixels in the other video, or it may be used as a candidate or starting point in an algorithm for selecting a motion vector. The transformation of the motion vector may comprise aligning and scaling the vector, or other linear or nonlinear transformations may be used.
H04N 19/597 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif spécialement adapté pour l’encodage de séquences vidéo multi-vues
H04N 19/56 - Estimation de mouvement avec initialisation de la recherche par vecteurs, p. ex. estimation d’un bon candidat pour initier une recherche
H04N 19/30 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant des techniques hiérarchiques, p. ex. l'échelonnage
H04N 19/194 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par le procédé d’adaptation, l’outil d’adaptation ou le type d’adaptation utilisés pour le codage adaptatif le procédé d’adaptation, l’outil d’adaptation ou le type d’adaptation étant itératif ou récursif ne mettant en œuvre que deux passages
H04N 13/25 - Générateurs de signaux d’images utilisant des caméras à images stéréoscopiques utilisant plusieurs capteurs d’images aux caractéristiques différentes autres que la position ou le point de vue, p. ex. avec des différences dans la résolution ou les propriétés de saisie de couleursCommande des caractéristiques d’un capteur par les signaux d’images d’un autre capteur
82.
ZOOM CODING USING SIMULTANEOUS AND SYNCHRONOUS MULTIPLE-CAMERA CAPTURES
Systems and methods described herein disclose use of simultaneous and synchronous multiple-camera captures for a zoom region. An exemplary method using two field of view (FOV) video streams of a scene, where the second FOV is narrower than the first, comprises: tracking an object captured within the first FOV; responsive to determining that the object is entirely within the second FOV, outputting video corresponding to the second FOV; and responsive to determining that the object is outside the second FOV, outputting a cropped and up-scaled representation of video corresponding to the first FOV. Systems and methods disclosed herein, prior to tracking the object, display video captured for the first FOV and receive user input indicating selection of an object to be tracked in the displayed video for the first FOV.
Systems and methods are described for enabling a consumer of streaming video to obtain different views of the video, such as zoomed views of one or more objects of interest. In an exemplary embodiment, a client device receives an original video stream along with data identifying objects of interest and their spatial locations within the original video. In one embodiment, in response to user selection of an object of interest, the client device switches to display of a cropped and scaled version of the original video to present a zoomed video of the object of interest. The zoomed video tracks the selected object even as the position of the selected object changes with respect to the original video. In some embodiments, the object of interest and the appropriate zoom factor are both selected with a single expanding-pinch gesture on a touch screen.
H04N 21/234 - Traitement de flux vidéo élémentaires, p. ex. raccordement de flux vidéo ou transformation de graphes de scènes du flux vidéo codé
H04N 21/2343 - Traitement de flux vidéo élémentaires, p. ex. raccordement de flux vidéo ou transformation de graphes de scènes du flux vidéo codé impliquant des opérations de reformatage de signaux vidéo pour la distribution ou la mise en conformité avec les requêtes des utilisateurs finaux ou les exigences des dispositifs des utilisateurs finaux
H04N 21/236 - Assemblage d'un flux multiplexé, p. ex. flux de transport, en combinant un flux vidéo avec d'autres contenus ou données additionnelles, p. ex. insertion d'une adresse universelle [URL] dans un flux vidéo, multiplexage de données de logiciel dans un flux vidéoRemultiplexage de flux multiplexésInsertion de bits de remplissage dans le flux multiplexé, p. ex. pour obtenir un débit constantAssemblage d'un flux élémentaire mis en paquets
H04N 21/4402 - Traitement de flux élémentaires vidéo, p. ex. raccordement d'un clip vidéo récupéré d'un stockage local avec un flux vidéo en entrée ou rendu de scènes selon des graphes de scène du flux vidéo codé impliquant des opérations de reformatage de signaux vidéo pour la redistribution domestique, le stockage ou l'affichage en temps réel
H04N 21/4728 - Interface pour utilisateurs finaux pour la requête de contenu, de données additionnelles ou de servicesInterface pour utilisateurs finaux pour l'interaction avec le contenu, p. ex. pour la réservation de contenu ou la mise en place de rappels, pour la requête de notification d'événement ou pour la transformation de contenus affichés pour la sélection d'une région d'intérêt [ROI], p. ex. pour la requête d'une version de plus haute résolution d'une région sélectionnée
H04N 21/845 - Structuration du contenu, p. ex. décomposition du contenu en segments temporels
Intra planar approach(es) may be used to predict a pixel(s) in a current block. The current block may be associated with a reconstructed left reference line, a reconstructed top reference line, and an non- reconstructed reference line to be predicted. The reconstructed reference lines may have been decoded and may be available. The non-reconstructed reference lines to be predicted may include an non-reconstructed right and/or an non-reconstructed bottom reference lines. A pivot reference pixel may be identified and may be located on an extension of the reconstructed left and/or top reference lines. A reference pixel may be determined and may be located on the reconstructed top and/or left reference lines. Pixels on the non- reconstructed reference line(s) may be predicted based on the pivot reference pixel and the reference pixel. Pixels of the current block may be predicted using the predicted pixels on the right and the bottom reference lines.
H04N 19/593 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif mettant en œuvre des techniques de prédiction spatiale
H04N 19/11 - Sélection du mode de codage ou du mode de prédiction parmi plusieurs modes de codage prédictif spatial
H04N 19/182 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant un pixel
H04N 19/59 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif mettant en œuvre un sous-échantillonnage spatial ou une interpolation spatiale, p. ex. modification de la taille de l’image ou de la résolution
H04N 19/105 - Sélection de l’unité de référence pour la prédiction dans un mode de codage ou de prédiction choisi, p. ex. choix adaptatif de la position et du nombre de pixels utilisés pour la prédiction
85.
GEOMETRY CONVERSION AND FRAME PACKING ASSOCIATED WITH 360-DEGREE VIDEOS
Conversion between different projection formats of a 360-degree video may be performed in a uniform way. The geometric characteristics of the different projection formats may be considered when applying 3D-to-2D and 2D-to-3D mapping. Parameters reflective of the geometric characteristics of the different projection formats may be determined and used in the mapping and/or conversion. The parameters may include a normal vector that is perpendicular to a projection plane, a reference point in the projection plane, and/or unit vectors defined in the projection plane. An architecture with consolidated modules for handling the various projection formats may be provided.
A client device adaptively streams a 360-degree video. A first segment is displayed based on a first viewing direction at a first time, where the first viewing direction is associated with a first viewport. The client requests a first base buffer segment based on the first viewport. The first base buffer segment has a presentation time after the first segment. At a second time, the viewing direction changes to a second viewing direction associated with a second viewport. The client requests, prior to the presentation time, a first viewport buffer segment based on the second viewport, with the same presentation time. The client device displays a second segment at the presentation time, wherein the second segment is either the first viewport buffer segment or the first base buffer segment. The client provides reports on viewport switching latency and on the most-requested segments.
Systems and methods are described to enable video clients to zoom in to a region or object of interest without substantial loss of resolution. In an exemplary method, a server transmits a manifest, such as a DASH MPD, to a client device. The manifest identifies a plurality of sub-streams, where each sub-stream represents a respective spatial portion of a source video. The manifest also includes information associating an object of interest with a plurality of the spatial portions. To view high-quality zoomed video, the client requests the sub-streams that are associated with the object of interest and renders the requested sub-streams. In some embodiments, different sub-streams are available with different zoom ratios.
H04N 21/2343 - Traitement de flux vidéo élémentaires, p. ex. raccordement de flux vidéo ou transformation de graphes de scènes du flux vidéo codé impliquant des opérations de reformatage de signaux vidéo pour la distribution ou la mise en conformité avec les requêtes des utilisateurs finaux ou les exigences des dispositifs des utilisateurs finaux
H04L 29/06 - Commande de la communication; Traitement de la communication caractérisés par un protocole
H04N 21/262 - Ordonnancement de la distribution de contenus ou de données additionnelles, p. ex. envoi de données additionnelles en dehors des périodes de pointe, mise à jour de modules de logiciel, calcul de la fréquence de transmission de carrousel, retardement de la transmission de flux vidéo, génération de listes de reproduction
H04N 21/2662 - Contrôle de la complexité du flux vidéo, p. ex. en mettant à l'échelle la résolution ou le débit binaire du flux vidéo en fonction des capacités du client
H04N 21/414 - Plate-formes spécialisées de client, p. ex. récepteur au sein d'une voiture ou intégré dans un appareil mobile
H04N 21/431 - Génération d'interfaces visuellesRendu de contenu ou données additionnelles
H04N 21/4402 - Traitement de flux élémentaires vidéo, p. ex. raccordement d'un clip vidéo récupéré d'un stockage local avec un flux vidéo en entrée ou rendu de scènes selon des graphes de scène du flux vidéo codé impliquant des opérations de reformatage de signaux vidéo pour la redistribution domestique, le stockage ou l'affichage en temps réel
H04N 21/462 - Gestion de contenu ou de données additionnelles, p. ex. création d'un guide de programmes électronique maître à partir de données reçues par Internet et d'une tête de réseau ou contrôle de la complexité d'un flux vidéo en dimensionnant la résolution ou le débit en fonction des capacités du client
H04N 21/4728 - Interface pour utilisateurs finaux pour la requête de contenu, de données additionnelles ou de servicesInterface pour utilisateurs finaux pour l'interaction avec le contenu, p. ex. pour la réservation de contenu ou la mise en place de rappels, pour la requête de notification d'événement ou pour la transformation de contenus affichés pour la sélection d'une région d'intérêt [ROI], p. ex. pour la requête d'une version de plus haute résolution d'une région sélectionnée
H04N 21/6377 - Signaux de commande émis par le client et dirigés vers les éléments du serveur ou du réseau vers le serveur
H04N 21/658 - Transmission du client vers le serveur
H04N 21/6587 - Paramètres de contrôle, p. ex. commande de lecture à vitesse variable ("trick play") ou sélection d’un point de vue
H04N 21/845 - Structuration du contenu, p. ex. décomposition du contenu en segments temporels
H04N 19/70 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par des aspects de syntaxe liés au codage vidéo, p. ex. liés aux standards de compression
H04N 19/46 - Inclusion d’information supplémentaire dans le signal vidéo pendant le processus de compression
H04N 19/10 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif
A normal broadcast video viewing experience may be augmented by providing access to enhanced views, such as zoomed or highlighted views of particular regions of interest, or partial or complete views of content with high resolution, high frame rate, high bit depth, or customized tone mapping. Such enhanced views, or zoom coded streams, may be made available over a source other than broadcast, such as a packet-switched network. Information, such as metadata, identifying the available zoom coded streams may be provided in-band in the broadcast video. A second video stream may be requested over the network using the received metadata. The second video stream may be received over the network and then displayed.
H04N 21/4728 - Interface pour utilisateurs finaux pour la requête de contenu, de données additionnelles ou de servicesInterface pour utilisateurs finaux pour l'interaction avec le contenu, p. ex. pour la réservation de contenu ou la mise en place de rappels, pour la requête de notification d'événement ou pour la transformation de contenus affichés pour la sélection d'une région d'intérêt [ROI], p. ex. pour la requête d'une version de plus haute résolution d'une région sélectionnée
H04N 21/858 - Création de liens entre données et contenu, p. ex. en liant une URL à un objet vidéo en créant une zone active ("hotspot")
H04N 21/236 - Assemblage d'un flux multiplexé, p. ex. flux de transport, en combinant un flux vidéo avec d'autres contenus ou données additionnelles, p. ex. insertion d'une adresse universelle [URL] dans un flux vidéo, multiplexage de données de logiciel dans un flux vidéoRemultiplexage de flux multiplexésInsertion de bits de remplissage dans le flux multiplexé, p. ex. pour obtenir un débit constantAssemblage d'un flux élémentaire mis en paquets
H04N 21/262 - Ordonnancement de la distribution de contenus ou de données additionnelles, p. ex. envoi de données additionnelles en dehors des périodes de pointe, mise à jour de modules de logiciel, calcul de la fréquence de transmission de carrousel, retardement de la transmission de flux vidéo, génération de listes de reproduction
H04N 21/61 - Structure physique de réseauTraitement de signal
H04N 21/43 - Traitement de contenu ou données additionnelles, p. ex. démultiplexage de données additionnelles d'un flux vidéo numériqueOpérations élémentaires de client, p. ex. surveillance du réseau domestique ou synchronisation de l'horloge du décodeurIntergiciel de client
H04N 21/434 - Désassemblage d'un flux multiplexé, p. ex. démultiplexage de flux audio et vidéo, extraction de données additionnelles d'un flux vidéoRemultiplexage de flux multiplexésExtraction ou traitement de SIDésassemblage d'un flux élémentaire mis en paquets
89.
METHODS AND APPARATUS FOR CODED BLOCK FLAG CODING IN QUAD-TREE PLUS BINARY-TREE BLOCK PARTITIONING
Systems and methods are proposed herein for coded block flag (CBF) signaling. In some embodiments, a hierarchical signaling method is used to signal the CBFs of chroma components for the quad-tree plus binary tree (QTBT) structure. A CBF flag may be signaled at each QTBT node level for each chroma component, indicating whether any descendent QTBT leaf node under the current level is associated with a non-zero coefficient. In some embodiments, for inter-coded pictures, a flag at the QTBT root node may indicate whether there are non-zero transform coefficients in the descendent leaf nodes that originate from the current root node. When the flag is equal to 1, the coefficients of the descendent leaf nodes under the current node may be signaled; otherwise, no further residual information is transmitted and all the transform coefficients are inferred to be 0.
H04N 19/70 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par des aspects de syntaxe liés au codage vidéo, p. ex. liés aux standards de compression
H04N 19/96 - Codage au moyen d'une arborescence, p. ex. codage au moyen d'une arborescence quadratique
90.
METHOD AND SYSTEM FOR SIGNALING OF 360-DEGREE VIDEO INFORMATION
Coding techniques for 360-degree video are described. An encoder selects a projection format and maps the 360-degree video to a 2D planar video using the selected projection format. The encoder encodes the 2D planar video in a bitstream and further signals, in the bitstream, parameters identifying the projection format. The parameters identifying the projection format may be signaled in a video parameter set, sequence parameter set, and/or picture parameter set of the bitstream. Different projection formats that may be signaled include formats using geometries such as equirectangular, cubemap, equal-area, octahedron, icosahedron, cylinder, and user-specified polygon. Other parameters that may be signaled include different arrangements of geometric faces or different encoding quality for different faces. Corresponding decoders are also described. In some embodiments, projection parameters may further include relative geometry rotation parameters that define an orientation of the projection geometry.
H04N 19/597 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif spécialement adapté pour l’encodage de séquences vidéo multi-vues
H04N 19/46 - Inclusion d’information supplémentaire dans le signal vidéo pendant le processus de compression
H04N 19/167 - Position dans une image vidéo, p. ex. région d'intérêt [ROI]
A secondary content such as an advertisement may be inserted based on users' interests in 360 degree video streaming. Users may have different interests and may watch different areas within a 360 degree video. The information about area(s) of 360 degree scenes that users watch the most may be used to select an ad(s) relevant to their interests. One or more secondary content viewports may be defined within a 360 degree video frame. Secondaiy content viewport parameter(s) may be tracked. For example, statistics of the user's head orientation for some time leading to tile presentation of the ad(s) may be collected. Secondary content may be determined based on the tracked secondary content viewport parameters).
G06T 19/00 - Transformation de modèles ou d'images tridimensionnels [3D] pour infographie
H04N 21/258 - Gestion de données liées aux clients ou aux utilisateurs finaux, p. ex. gestion des capacités des clients, préférences ou données démographiques des utilisateurs, traitement des multiples préférences des utilisateurs finaux pour générer des données collaboratives
92.
SYSTEMS AND METHODS FOR INTEGRATING AND DELIVERING OBJECTS OF INTEREST IN VIDEO
Systems and methods are described for providing clear areas related to objects of interest in a video display. In accordance with an embodiment, a method includes capturing, with a camera, a video frame of a scene; determining a camera orientation and camera location of the camera capturing the video; determining a location of an object of interest; mapping the location of the object of interest to a location on the video frame; determining an object-of-interest area based on the location of the object of interest on the video frame; determining a clear area on the video frame; transmitting a location of the clear area to a client device; and displaying the video frame and metadata associated with the object of interest in the clear area.
H04N 21/431 - Génération d'interfaces visuellesRendu de contenu ou données additionnelles
H04N 21/44 - Traitement de flux élémentaires vidéo, p. ex. raccordement d'un clip vidéo récupéré d'un stockage local avec un flux vidéo en entrée ou rendu de scènes selon des graphes de scène du flux vidéo codé
H04N 21/858 - Création de liens entre données et contenu, p. ex. en liant une URL à un objet vidéo en créant une zone active ("hotspot")
93.
QUALITY EVALUATION SYSTEM AND METHOD FOR 360-DEGREE VIDEO
Systems and methods are described herein for determining a distortion metric for encoding of spherical video. In spherical video, there is a mapping between a given geometry of samples and respective points on a unit sphere. In some embodiments, distortion is measured at each sample of interest, and the distortion of each sample is weighted by the area on the unit sphere associated with the sample. In some embodiments, a plurality of points on the unit sphere are selected, and the points are mapped to a nearest sample on the given geometry. Distortion is calculated at the nearest sample points and is weighted by a latitude-dependent weighting based on the latitude of the respective nearest sample point. The latitude-dependent weighting may be based on a viewing probability for that latitude.
H04N 19/597 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif spécialement adapté pour l’encodage de séquences vidéo multi-vues
H04N 19/154 - Qualité visuelle après décodage mesurée ou estimée de façon subjective, p. ex. mesure de la distorsion
Processing video data may include capturing the video data with multiple cameras and stitching the video data together to obtain a 360-degree video. A frame-packed picture may be provided based on the captured and stitched video data. A current sample location may be identified in the frame-packed picture. Whether a neighboring sample location is located outside of a content boundary of the frame-packed picture may be determined. When the neighboring sample location is located outside of the content boundary, a padding sample location may be derived based on at least one circular characteristic of the 360-degree video content and the projection geometry. The 360-degree video content may be processed based on the padding sample location.
H04N 19/563 - Estimation de mouvement avec bourrage, c.-à-d. remplissage de valeurs non-objet dans un bloc ou une région de l'image de forme arbitraire à des fins d'estimation
H04N 19/593 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif mettant en œuvre des techniques de prédiction spatiale
G06T 17/10 - Description de volumes, p. ex. de cylindres, de cubes ou utilisant la GSC [géométrie solide constructive]
G06T 17/30 - Description de surfaces, p. ex. description de surfaces polynomiales
Systems and methods are described for providing viewers of adaptive bit rate (ABR) streaming video with the option to view alternative streams in which an alternative tone mapping is applied to one or more regions of interest. The availability of streams with alternative tone mappings may be identified in a media presentation description (MPD) in an MPEG-DASH system. In some embodiments, the streaming video is divided into slices, and alternative tone mappings are applied to regions of interest within the slices. When a server receives a request from a client device for alternative tone mappings of different regions, slices with the appropriate mapping may be assembled on demand and delivered to the requestor as a single video stream. Tone mappings may be used, for example, to highlight particular players in a sporting event.
H04N 21/2343 - Traitement de flux vidéo élémentaires, p. ex. raccordement de flux vidéo ou transformation de graphes de scènes du flux vidéo codé impliquant des opérations de reformatage de signaux vidéo pour la distribution ou la mise en conformité avec les requêtes des utilisateurs finaux ou les exigences des dispositifs des utilisateurs finaux
H04N 19/20 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage d'objets vidéo
Systems and methods described herein relate to providing fast switching between different available video streams. In an exemplary embodiment, a user viewing a selected channel of video content receives a manifest file (such as a DASH MPD) that identifies various representations of the selected channel. The manifest file also identifies channel-change streams for one or more alternate channels. The channel-change streams may have a shorter segment size than regular streaming content. While displaying the selected content, a client also retrieves the channel-change streams of the alternate channels. If the client changes to one of the alternate channels, the client displays the appropriate channel-change stream while a regular representation of the alternate channel is being retrieved.
H04N 21/2343 - Traitement de flux vidéo élémentaires, p. ex. raccordement de flux vidéo ou transformation de graphes de scènes du flux vidéo codé impliquant des opérations de reformatage de signaux vidéo pour la distribution ou la mise en conformité avec les requêtes des utilisateurs finaux ou les exigences des dispositifs des utilisateurs finaux
H04N 21/235 - Traitement de données additionnelles, p. ex. brouillage de données additionnelles ou traitement de descripteurs de contenu
H04N 21/266 - Gestion de canal ou de contenu, p. ex. génération et gestion de clés et de messages de titres d'accès dans un système d'accès conditionnel, fusion d'un canal de monodiffusion de VOD dans un canal multidiffusion
H04N 21/435 - Traitement de données additionnelles, p. ex. décryptage de données additionnelles ou reconstruction de logiciel à partir de modules extraits du flux de transport
H04N 21/438 - Interfaçage de la voie descendante du réseau de transmission provenant d'un serveur, p. ex. récupération de paquets du flux vidéo codé d'un réseau IP
H04N 21/462 - Gestion de contenu ou de données additionnelles, p. ex. création d'un guide de programmes électronique maître à partir de données reçues par Internet et d'une tête de réseau ou contrôle de la complexité d'un flux vidéo en dimensionnant la résolution ou le débit en fonction des capacités du client
H04N 21/4728 - Interface pour utilisateurs finaux pour la requête de contenu, de données additionnelles ou de servicesInterface pour utilisateurs finaux pour l'interaction avec le contenu, p. ex. pour la réservation de contenu ou la mise en place de rappels, pour la requête de notification d'événement ou pour la transformation de contenus affichés pour la sélection d'une région d'intérêt [ROI], p. ex. pour la requête d'une version de plus haute résolution d'une région sélectionnée
H04N 21/61 - Structure physique de réseauTraitement de signal
Processing a 360-degree video content for video coding may include receiving the video content in a first geometry. The video content may include unaligned chroma and luma components associated with a first chroma sampling scheme. The unaligned chroma and luma components may be aligned to a sampling grid associated with a second chroma sampling scheme that has aligned chroma and luma components. A geometric conversion to the video content may be performed. The video content, that may comprise the aligned chroma and luma components, in the first geometry may be converted to a second geometry. The first geometry may be a stitched geometry, and the second geometry may be a coding geometry. The converted video content in the second geometry may include the chroma and luma components aligned to the sampling grid associated with the second chroma sampling scheme.
H04N 19/597 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif spécialement adapté pour l’encodage de séquences vidéo multi-vues
H04N 19/186 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une couleur ou une composante de chrominance
H04N 19/59 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif mettant en œuvre un sous-échantillonnage spatial ou une interpolation spatiale, p. ex. modification de la taille de l’image ou de la résolution
98.
METHODS AND APPARATUS OF VIEWPORT ADAPTIVE 360 DEGREE VIDEO DELIVERY
Systems, methods, and instrumentalities are disclosed for client centric service quality control. A first viewport of a 360 degree video may be determined. The 360 degree video may comprise one or more of an equirectangular, a cube-map, a cylindrical, a pyramidal, and/or a spherical projection mapping. The first viewport may be associated with a spatial region of the 360 degree video. An adjacent area that extends around the spatial region may be determined. A second viewport of the 360 degree video may be determined. A bitstream associated with the 360 degree video may be received. One or more enhanced regions may be included in the bitstream. The one or more enhanced regions may correspond to the first and/or second viewport, A high coding bitrate may be associated with the first viewport and/or the second viewport.
H04N 19/597 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage prédictif spécialement adapté pour l’encodage de séquences vidéo multi-vues
H04N 19/70 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques caractérisés par des aspects de syntaxe liés au codage vidéo, p. ex. liés aux standards de compression
H04N 21/2343 - Traitement de flux vidéo élémentaires, p. ex. raccordement de flux vidéo ou transformation de graphes de scènes du flux vidéo codé impliquant des opérations de reformatage de signaux vidéo pour la distribution ou la mise en conformité avec les requêtes des utilisateurs finaux ou les exigences des dispositifs des utilisateurs finaux
H04N 21/8543 - Création de contenu utilisant un langage de description, p. ex. Groupe expert en codage d'information multimedia et hypermedia [MHEG], langage de balisage extensible [XML]
Systems, methods, and instrumentalities are disclosed for managing a service quality for data consumption with a wireless transmit/receive unit (WTRU), comprising determining a cost associated with obtaining the data, determining an amount of unused data in a monthly data plan, determining a preference for a content type related to the data: determining an amount of congestion in a network over which the data will be received, determining a desired service quality value based upon the cost, unused data, preference, and network congestion, comparing the desired service quality value to a set of representations of the data, wherein each of the representations is associated with a different service quality (for example, each of the representations may have an associated bitrate, and wherein each bitrate may be associated with a different service quality), and requesting the data at a representation having a quality closest to the desired service quality value.
Systems and methods are described for enabling a client device to request video streams with different bit depth remappings for different viewing conditions. In an embodiment, information indicating the availability of additional remapped profiles is sent in a manifest file. Alternative bit-depth remappings may be optimized for different regions of interest in the image or video content, or for different viewing conditions, such as different display technologies and different ambient illumination. Some embodiments based on the DASH protocol perform multiple depth mappings at the encoder and also perform ABR-encoding for distribution. The manifest file contains information indicating additional remapping profiles. The remapping profiles are associated with different transformation functions used to convert from a higher bit-depth to a lower bit-depth.
H04N 21/2343 - Traitement de flux vidéo élémentaires, p. ex. raccordement de flux vidéo ou transformation de graphes de scènes du flux vidéo codé impliquant des opérations de reformatage de signaux vidéo pour la distribution ou la mise en conformité avec les requêtes des utilisateurs finaux ou les exigences des dispositifs des utilisateurs finaux
H04N 21/258 - Gestion de données liées aux clients ou aux utilisateurs finaux, p. ex. gestion des capacités des clients, préférences ou données démographiques des utilisateurs, traitement des multiples préférences des utilisateurs finaux pour générer des données collaboratives
H04N 19/102 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’élément, le paramètre ou la sélection affectés ou contrôlés par le codage adaptatif
H04N 19/16 - Mode de codage attribué, c.-à-d. le mode de codage étant prédéfini ou présélectionné pour être utilisé ultérieurement afin de sélectionner un autre élément ou paramètre pour un mode donné d’affichage, p. ex. pour un mode d'affichage entrelacé ou progressif
H04N 19/179 - Procédés ou dispositions pour le codage, le décodage, la compression ou la décompression de signaux vidéo numériques utilisant le codage adaptatif caractérisés par l’unité de codage, c.-à-d. la partie structurelle ou sémantique du signal vidéo étant l’objet ou le sujet du codage adaptatif l’unité étant une scène ou une prise de vues
H04N 19/98 - Codage de plage-dynamique adaptative [ADRC]
brevets