Consulta d'imatges mitjançant exemple

De Viquipèdia
Dreceres ràpides: navegació, cerca
Esquema del sistema

La Consulta d'imatges mitjançant exemple (Content-based Image Retrieval) és un sistema de recerca per recuperar imatges basant-se en el seu contingut, referint-se en el seu context a colors, formes, textures o qualsevol altra informació que pugui derivar-se de la pròpia imatge.

CBIR és una especificitat de consulta mitjançant exemple (Query by Example) i també són coneguts com a QBIC, ja que és la tecnologia més utilitzada avui dia per a la cerca d'imatges en grans bases de dades. Entre les variants de consultes mitjançant exemple però, també hi trobem diferents especificitats com ara els sistemes de cerca amb audio com per exemple el cercador de veu o la cerca amb text.

Història[modifica | modifica el codi]

Els sistemes CBIR van sorgir al començament de la dècada dels '90 per solucionar els problemes de la indexació manual, que consisteix en l'associació de termes a les imatges. Aquests problemes eren, i segueixen sent, una gran inversió en temps a causa de la inconsistència entre indicadors humans, així com la dificultat d'expressar amb paraules les qualitats gràfiques i les sensacions estètiques que proporciona la percepció d'una representació visual.

L'ús de cerques automàtiques a través d'un conjunt d'imatges sobre la seva base de forma, to, color, textura o ubicació espacial ha estat durant molt de temps i continua sent una àrea de recerca florent, on cada any, apareixen documents en fòrums científics i tècnics.

Configuracio CBIR

Progrés tècnic[modifica | modifica el codi]

Hi ha un creixent interès en CBIR a causa de les limitacions inherents als sistemes basats en metadades, així com l'àmplia gamma de possibles usos per a la recuperació de la imatge de forma eficient. La informació textual sobre les imatges pot ser buscat fàcilment utilitzant la tecnologia existent, però requereix de personal per a descriure cada imatge a la base de dades. Això és poc pràctic per a bases de dades molt grans, o per a imatges que es generen de forma automàtica, per exemple, de les càmeres de vigilància. També és possible perdre imatges que utilitzen sinònims diferents en les seves descripcions. Els sistemes basats en la classificació de les imatges de forma semàntica, com "gat" com una subclasse de "animals" eviten aquest problema, però encara s'enfronten als problemes a gran escala.

Les característiques visuals més extensament manejades per aquests sistemes es refereixen al Color, Textura, i Formes genèriques, encara que a vegades també es treballa amb la posició espacial d'un determinat objecte en una imatge o les diferències tonals. Aquests atributs s'extreuen i es representen automàticament a través d'estructures de dades numèriques, de manera que no necessitem expressar la nostra cerca mitjançant termes sinó emprant, per exemple, paletes de colors, dibuixant o seleccionant imatges a partir de les quals el sistema retornarà altres visualment similars. No obstant això, els sistemes CBIR de caràcter mixt solen combinar aquestes opcions de consulta també amb la tradicional expressió lingüística del que busquem.

Sistemes de programari CBIR i tècniques[modifica | modifica el codi]

Molts són els sistemes CBIR desenvolupats, però el problema de la recuperació de les imatges en base al seu contingut segueixen sent en gran mesura de píxels sense resoldre.

Tècniques de consulta[modifica | modifica el codi]

Diferents implementacions de CBIR fan ús de diferents tipus de consultes dels usuaris.

Opcions d'implementació[modifica | modifica el codi]

Les opcions per proporcionar imatges d'exemple al sistema inclouen:

  • Una imatge preexistent pot ser subministrada per l'usuari, o bé escollir un conjunt aleatori.
  • L'usuari dibuixa una aproximació de la imatge que està buscant, per exemple, amb taques de color o formes generals.

Recuperació semàntica[modifica | modifica el codi]

El sistema CBIR ideal, des de la perspectiva de l'usuari, implicaria el que es coneix com a recuperació semàntica, on l'usuari fa una petició com a "trobar fotos de gossos" o fins i tot "trobar fotos d'Abraham Lincoln". Aquest tipus de composició oberta, és una tasca tediosa per ser portat a terme pels ordinadors. Els sistemes CBIR actuals, generalment fan ús de funcions de menor nivell com la textura, color i forma, encara que alguns sistemes s'aprofitin de característiques comunes d'alt nivell com poden ser les cares (vegeu el sistema de reconeixement facial).

D'altra banda, no tots els sistemes CBIR són genèric. Alguns sistemes estan dissenyats per a un domini específic, per exemple, la cerca per forma es pot utilitzar per trobar les peces dins d'una base de dades de CAD-CAM.

Altres mètodes de consulta[modifica | modifica el codi]

Altres mètodes de consulta inclouen la navegació per imatges d'exemple, navegació personalitzada o categories jeràrquiques, consulta per regions de la imatge (en lloc de tota la imatge), per múltiples imatges d'exemple, per esbós, consulta directa per especificació de les característiques de la imatge, i les consultes multimodal (per exemple, la combinació de tacte, veu, etc).

Els sistemes CBIR també poden fer ús de la retroalimentació pertinent, on l'usuari refina progressivament els resultats de cerca mitjançant el marcatge de les imatges en els resultats com "rellevant", "no rellevant" o "neutral" a la consulta de cerca, després repetir la cerca amb la nova informació.

Tècniques de comparacio de contingut[modifica | modifica el codi]

Color[modifica | modifica el codi]

La recuperació d'imatges basada en la semblança de color, s'aconsegueix mitjançant el càlcul d'un histograma de color per a cada imatge que identifica la proporció de píxels d'una imatge que contenen valors específics en aquest cas, colors. Les recerques actuals estan tractant de divir segments de color per regió i per la relació espacial entre dues regions de colors diferents.

Mostra imatges basant-se en els colors que contenen és una de les tècniques més àmpliament usades perquè no depèn de la mida de la imatge o de la seva orientació. La cerca basada en el color s'executa comunament comparant els histogrames de color de les imatges.

Textura[modifica | modifica el codi]

La mesura de les textures cerca patrons visuals en les imatges i tracta de trobar la manera en què es defineix l'espai. La textura es representa mitjançant Texels que després es col loquen en una sèrie de conjunts depenent en totes les textures s'han detectat a la imatge. Aquests conjunts no només defineixen les textures, sinó també quan en aquesta imatge (en quin punt) es troba aquesta textura.

Formes[modifica | modifica el codi]

La forma no es refereix a la forma d'una imatge com a la forma d'una regió en particular. Les formes sovint són determinades aplicant primer el mètode de segmentació (segmentation) o la detecció de les vores (edge detection) d'una imatge. En alguns casos una acurada detecció de les formes requereix intervenció humana perquè els mètodes com la segmentació són molt difícils per automatitzar.

Determinació de la rellevància de les imatges[modifica | modifica el codi]

Per a la determinació de la rellevància de les imatges dels sistemes CBIR consten de:

  • Funcions de similitud entre imatges:
  • Ponderació de la influència dels diferents tipus de característiques. Els sistemes CBIR consten d'una base de dades de característiques que pugui tenir una imatge.
  • Interpretació semàntica de les imatges, aquest punt requereix la interacció de l'usuari, i amb això que aquest conegui el funcionament del sistema.

Aplicacions[modifica | modifica el codi]

  • Bancs d'imatges en museus (quadres, escultures, etc), ja que mitjançant la recerca de les formes, podem trobar la imatge d'una obra d'art. Aquest tipus de consulta ja està disponible en alguns web sites com per exemple, el del State Hermitage Museum de Saint Petersburg . No obstant això, cal dir que el repte de la utilització d'aquestes tècniques en el context de la història de l'art i la recerca arqueològica presenta el que les persones que treballen en el camp han anomenat la "bretxa semàntica". Es tracta de la recerca de característiques definibles i actualment la impossible tasca de l'automatització de la recerca de l'essencial en l'art, és a dir, l'emoció, la personalitat, la ironia i un nombre d'altres estats o modes d'interpretació àmpliament representats a tot l'àmbit de l'art.
  • Registre d'imatges mèdiques (radiografies, ecografies, mamografies, etc.). Disposant d'una imatge d'un pacient amb una determinada patologia, es pot accedir a un registre d'imatges d'altres casos donats en altres pacients, per trobar, mitjançant el contingut visual, la imatge d'aquesta patologia en un pacient diferent i consultar quin tipus de tractament pot resultar més eficaç. Cal tenir en compte en aquests casos la precisió i la qualitat que han de tenir aquestes imatges, ja que compten amb un gran contingut visual, de color i per tant requereixen un gran espai a la base de dades. Aquest tipus de sistemes, necessiten una gran precisió i un molt baix percentatge d'error. Exemples de bases de dades d'imatges mèdiques a IRMA (Image Retrieval in Medical Applications)
  • Registre d'imatges policials. És una cosa que hem vist moltes vegades al cinema oa la televisió. Mitjançant els sistemes de consulta d'imatges per continguts es pot trobar la fotografia d'un sospitós dins dels arxius policials i així consultar les seves dades personals. En aquests casos s'utilitza la detecció de trets facials, ulls nas i boca, per fer la cerca més eficientment. També s'utilitza per trobar empremtes dactilars entre un registre d'aquestes, pertanyents a sospitosos fitxats per la policia.
  • Altres aplicacions CBIR:
  • Militar
  • Propietat intel·lectual
  • Dissenys arquitectònics i d'enginyeria
  • Informació geogràfica i sistemes de teledetecció

Vegeu també[modifica | modifica el codi]

Enllaços externs[modifica | modifica el codi]

  • Image retrieval querying with text and images. Bit Search
  • Search In Audio Visual Content Using Peer-to-peer IR
  • Interfaz Gráfica de Usuario para la Búsqueda de Imágenes basada en Imágenes, Silvia Cortés Yuste, Universitat Politècnica de Catalunya
  • Interfaz Gráfica de Usuario para la Búsqueda de Imágenes basada en Imágenes“, Silvia Cortés Yuste, Universitat Politècnica de Catalunya
  • "Base de Dades Fotogràfica del Museu de Badalona", Roger Cervantes Guillamat, Universitat Politècnica de Catalunya. «PDF».
  • "Base de Dades Fotogràfica del Museu de Badalona", Roger Trias Comas, Universitat Politècnica de Catalunya. «PDF».
  • "Feature Integration, Multi-image Queries and Relevance Feedback in Image Retrieval", Qasim Iqbal y J. K. Aggarwal. «PDF».
  • "Searching for images by similarity online", Jacsó, P. «Enllaç».
  • "¿Cómo atopa-la imaxe desexada?", Dra. Eva Cernadas, Universidade de Vigo Escola Superior de Enxeñería Informática. «PDF».
  • "Recuperación de Imágenes Médicas por contenido: arquitectura, técnicas y aproximaciones", Juan Carlos Caicedo Rueda. «PDF».
  • "CBIR: Interaction & Evaluation", Georgy Gimel, University of Auckand. «PDF».
  • "Bases de datos para Multimedia: Recuperación por Contenido", Manuel Agustí i Melchor, Jose Miguel Valiente González, Universidad Politécnica de Valencia. «Enllaç».