
Prise en compte des relations spatiales contextuelles dans la recherche d' images par contenu visuel
Embedding contextual spatial relationships in image retrieval by visual content
Hoang, Nguyen Vu (2011), Prise en compte des relations spatiales contextuelles dans la recherche d' images par contenu visuel, doctoral thesis prepared under the supervision of Rukoz, Marta, Université Paris Dauphine, 259 p.
Under the direction of
Rukoz, MartaAbstract (FR)
Cette thèse est consacrée à l'étude de méthodes de recherche par similarité des images dans une collection. Les images auxquelles nous nous intéressons sont quelconques, ce qui implique que les processus que nous utilisons doivent pouvoir s'exécuter sans être contraints par un quelconque modèle d'apparence visuelle. Nous nous sommes appuyés sur les relations spatiales entre les entités présentes dans les images qui peuvent être des objets symboliques ou des descripteurs visuels.La première partie de cette thèse est consacrée à une synthèse des techniques de relations spatiales. Dans la suite de cette étude, nous proposons notre approche Δ-TSR, notre première contribution, qui permet de faire une recherche par similarité de contenu visuel en utilisant les relations triangulaires entre les entités dans les images. Dans nos expériences, les entités sont des caractéristiques visuelles locales basées sur les points saillants représentés dans le modèle Bag-Of-Features. Cette approche améliore non seulement la qualité des images retournées mais aussi le temps d'exécution par rapport à des approches de la littérature.La seconde partie est dédiée à l'étude du contexte de l'image. L'ensemble des relations entre les entités dans une image permet de produire une description globale que nous appelons le contexte. La prise en compte des relations spatiales contextuelles dans la recherche par similarité des images pourraient permettre d'améliorer la qualité de recherche en limitant les fausses alarmes. Dans le cadre de notre travail, nous avons défini le contexte d'image par la présence des catégories d'entité et leurs relations spatiales dans l'image. Nous avons étudié les différentes relations entre les catégories d'entité d'une base d'images symboliques de contenu hétérogène. Cette étude statistique, notre deuxième contribution, nous permet de créer une cartographie de leurs relations spatiales. Elle peut être intégrée dans un graphe de connaissance des relations contextuelles, notre troisième contribution. Ce graphe permet de décrire de façon générale des connaissances sur les catégories d'entité. Le raisonnement spatial sur ce graphe de connaissance peut nous aider à améliorer les tâches dans le traitement d'image comme la détection et la localisation d'une catégorie à l'aide de la présence d'une autre référence. Pour la suite, ce modèle peut être appliqué à représenter le contexte d'une image. La recherche par similarité basée sur le contexte peut être réalisée par la comparaison de graphes. La similarité contextuelle des deux images est la similarité de leurs graphes. Ce travail a été évalué sur la base d'images symboliques LabelMe. Les expériences ont montré sa pertinence pour la recherche d'images par le contexte.Abstract (EN)
This thesis is focused on the study of methods for image retrieval by visual content in collection of heterogeneous contents. We are interested in the description of spatial relationships between the entities present in the images that can be symbolic objects or visual primitives such as interest points. The first part of this thesis is dedicated to a state of the art on the description of spatial relationship techniques. As a result of this study, we propose the approach Δ-TSR, our first contribution, which allows similarity search based on visual content by using the triangular relationships between entities in images. In our experiments, the entities are local visual features based on salient points represented in a bag of features model. This approach improves not only the quality of the images retrieval but also the execution time in comparison with other approaches in the literature. The second part is dedicated to the study of the image context. The spatial relationships between entities in an image allow creating the global description of the image that we call the image context. Taking into account the contextual spatial relationships in the similarity search of images can allow improving the retrieval quality by limiting false alarms. We defined the context of image as the presence of entity categories and their spatial relationships in the image. We studied the relationships between different entity categories on LabelMe, a state of the art of symbolic images databases of heterogeneous content. This statistical study, our second contribution, allows creating a cartography of their spatial relationships. It can be integrated in a graph-based model of the contextual relationships, our third contribution. This graph describes the general knowledge of every entity categories. Spatial reasoning on this knowledge graph can help improving tasks of image processing such as detection and localization of an entity category by using the presence of another reference. Further, this model can be applied to represent the context of an image. The similarity search based on context can be achieved by comparing the graphs, then, contextual similarity between two images is evaluated by the similarity between their graphs. This work was evaluated on the symbolic image database of LabelMe. The experiments showed its relevance for image retrieval by context.Subjects / Keywords
recherche par similarité; relations spatiales; contexte d'image; image; similarity search; spatial relationships; image contextRelated items
Showing items related by title and author.
-
Rukoz, Marta; Hoang, Nguyen Vu; Gouet-Brunet, Valérie; Manouvrier, Maude (2010) Article accepté pour publication ou publié
-
Hoang, Nguyen Vu; Gouet-Brunet, Valérie; Rukoz, Marta (2009) Document de travail / Working paper
-
Gouet-Brunet, Valérie; Hoang, Nguyen Vu; Rukoz, Marta (2012) Document de travail / Working paper
-
Hoang, Nguyen Vu; Gouet-Brunet, Valérie; Rukoz, Marta (2011) Communication / Conférence
-
Gouet-Brunet, Valérie; Hoang, Nguyen Vu; Rukoz, Marta (2013) Communication / Conférence