Visão por Computador Aplicada à Robótica Industrial. Filipe Miguel Silva

Transcrição

1 UNIVERSIDADE DE AVEIRO Dept.. de Electrónica e Telecomunicações Modelização e Controlo de Sistemas Dinâmicos Visão por Computador Aplicada à Robótica Industrial Filipe Miguel Silva fsilva@det.ua.pt IST-ISEP ISEP Mestrado em Engenharia Electrotécnica e de Computadores 23/34 Índice Parte II Visão por Computador Introdução Formação e geometria da imagem Imagem em baio nível Histograma Aplicação de um filtro Operações de suavização, realce e limitação Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 2 1

2 Visão por Computador A visão por computador é o processo de: Etracção Caracterização Interpretação... de informação a partir do mundo tridimensional Trucco e Verri Computing properties of the 3D world from one or more digital image Stockman e Shapiro To make useful decisions about real phsical objects and scenes based on sensed images Ballard e Brown The construction of eplicit, meaningful description of phsical objects from images Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 3 Visão por Computador vs. Gráficos Computação Gráfica Produzir imagens plausíveis... escolhendo os modelos, as condições e os parâmetros da imagem Visão por computador Dadas as imagens reais com ruído, fenómenos de amostragem, etc... estimar quantidades físicas A visão visão é é o inverso inverso da da animação!! Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 4 2

3 Visão por Computador vs. Processamento de Imagem Computação Gráfica Produzir imagens plausíveis... escolhendo os modelos, as condições e os parâmetros da imagem Visão por computador Tem haver com a forma como as imagens reflectem o mundo 3D Filtragem para etracção de propriedades Realce de detalhes para reconhecimento/detecção Compressão que preserva a informação geométrica da imagem Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 5 Aplicações Processos industriais (e.g., inspecção, controlo de qualidade) Navegação em robótica autónoma e móvel Vigilância e segurança Interfaces gráficas homem-máquina Processamento de imagens médicas Formação de bases de dados Engenharia inversa Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 6 3

4 Desafios e Dificuldades O desafio da visão por computador é desenvolver capacidades de nível humano para computadores e robôs: Porque é difícil a visão? A projecção do mundo 3D numa retina 2D significa a perda da terceira dimensão As variações devido ao ruído, à iluminação e múltiplos factores dão origem a confusões e ambiguidades Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 7 Áreas e Níveis da Visão por Computador Que informação pode ser etraída? Como pode ser etraída? Como deve ser representada? Como pode ser usada para atingir o objectivo? Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 8 4

5 Áreas e Níveis da Visão por Computador 1. Percepção Aquisição ou obtenção de imagem 2. Pré-processamento Redução de ruído ou realce de contrastes 3. Segmentação Partição da imagem em zonas de interesse (objectos) 4. Descrição Determinação de propriedades de objectos (tamanho, forma,...) 5. Reconhecimento Identificação de objectos descritos a partir de uma base de dados 6. Interpretação Atribuição de significados a um conjunto de objectos reconhecidos Baio Nível Médio Nível Alto Nível Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 9 Estrutura de um Problema de Visão PROBLEMA Redução de de ruído ruído Realce Realce de de detalhes detalhes Transformações Aquisição de Imagem Préprocessamento Etracção de Propriedades Análise Sensor Sensor Iluminação Linhas Linhas Arestas Contornos Regiões Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 1 5

6 Tipos de Imagem Fotográficas luz reflectida Range Images distância Tomografia densidade de tecidos Infravermelhos calor O objectivo é é concentrar no no primeiro tipo tipo Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 11 Formação da Imagem As imagens formam-se quando um sensor registra radiação que interagiu com objectos físicos Câmara escura As dimensões e definição do orifício definem a nitidez e o plano focal Olho humano A imagem forma-se no plano da retina (superfície sensível à luz) por projecção da luz vinda do mundo 3D através de uma lente O cristalino muda de dimensões (músculos) para mudar o plano focal e ajustar-se à distância dos objectos A íris controla a quantidade de luz que entra, mudando o diâmetro da pupila Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 12 6

7 Imagem através de uma Lente Imagem focada Todos os raios de luz que saem de um dado ponto do objecto em direcção a uma lente convergente vão confluir num outro ponto a uma certa distância do cento da lente Distância focal, focal, Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 13 Obtenção da Imagem Processo básico 1) Os fotões atingem o detector 2) O detector carrega 3) Essa carga é lida como uma intensidade de luz Os sensores modernos baseiam-se nos Charge Coupled Devices Baio custo e consumo de energia Reduzidas dimensões Altas sensibilidades Percepção discretizada em linhas e colunas (5 582, ) Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 14 7

8 Imagem Digital Matriz de números constituída por elementos discretos ou piels piel, piel, Picture Picture Element Os números representam intensidade de luz (brightness) que atinge uma área do sensor Imagens Binárias os piels são representados por um só bit Imagens a Níveis de Cinzento os piels são representados por 1 bte Imagens a Cores à mais que um valor por piel (3 btes) Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 15 Câmara Digital Processo de amostragem da imagem Amostragem espacial: número limitado de pontos (piels) nas duas dimensões Amostragem de amplitude: cada ponto é representado por um número que traduz a intensidade luminosa global (número limitado de níveis) Câmara Sinal analógico Amostragem da imagem Sinal digital Computador central Displa Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 16 8

9 Parâmetros Físicos Envolvidos Parâmetros Ópticos caracterizam o sensor Tipo de lente, distância focal, campo de visão, abertura angular Parâmetros Fotométricos: caracterizam a luz reflectida pelos objectos Tipo, intensidade e direcção de iluminação Propriedades reflectoras do objecto em causa Efeitos da estrutura do sensor na quantidade de luz que atinge os fotoreceptores Parâmetros Geométricos: determinam a posição relativa do objecto em relação ao sensor Tipo de projecção, posição e orientação do sensor, distorções de perspectiva Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 17 Técnicas de Iluminação Qual a importância da iluminação? Simplificar os algoritmos Eliminar sombras, refleões especulares, etc Técnicas de iluminação Iluminação difusa (não directa) As características da superfície são importantes (eliminar sombras) Retro-iluminação (contraluz) Apenas a silhueta do objecto é suficiente (alto contraste em imagens binárias) Luz estruturada Estabelece um padrão de luz no espaço de trabalho (detecção, análise geométrica) Iluminação direccionada Inspecção de superfícies de objectos (realce de propriedades) Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 18 9

10 1 Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 19 Geometria da Imagem Quais são os processos geométricos processos geométricos que determinam a imagem? Z X Z X Z Y Z Y Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 2 Transformação de Perspectiva Como epressar estas equações na forma matricial? Coordenadas homogéneas do ponto real Matriz de transformação de perspectiva P + k kz kz ky kx k kz ky kx W P C h h [ ] T h k kz ky kx W

11 Transformação de Perspectiva Conversão de coordenadas homogéneas para coordenadas cartesianas calculadas na imagem (ponto C): A coordenada z não tem aqui sentido As coordenadas e obtêm-se em função de (X,Y,Z) e de A determinação inversa é obtida pela transformação P W h P 1 C h A transformação não não produz produz pontos pontos no no espaço espaço 3D 3D!!!!!! Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 21 Calibração da Câmara E se os sistemas de coordenadas da câmara e do mundo real são diferentes? Relação de transformações R C p R p T C C Transformação de perspectiva p R 1 R C R ( T ) p T p C R C P R 1 R C R ( T ) p P T p C R Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 22 11

12 Visão Estereoscópica A informação de profundidade pode ser obtida usando visão estereoscópica (duas imagens separadas) Qual a coordenada do ponto real W(X,Y,Z) conhecidos os pontos na imagem C 1 ( 1, 1 ) e C 2 ( 2, 2 )? Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 23 Imagem em Baio Nível Relações básicas entre piels Vizinhança Critérios de distância Pré-processamento Filtros de convolução Detecção de piels isolados Técnicas de suavização Técnicas de realce Detecção de arestas Limitação e binarização Suavização de imagens binárias Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 24 12

13 Relações entre Piels Vizinhança de um piel (número de piels vizinhos) N 4 (horizontal e vertical) N D (diagonal) N 8 N 4 + N D Medida de distância entre piels Euclidiana D 4 (ou cit-block) D 8 (ou chessboard) D D D E ( p, q ) ( p q ) + ( p q ) ( p, q ) p q ( p, q ) ma ( p q, p q ) + p q 2 Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 25 Pré-processamento de imagem Abordagens típicas Espacial: sobre os piels da imagem Frequência: transformadas de Fourier Abordagem ESPACIAL Criação de uma nova imagem g(,) h[ f(,) ] h() é um operador de pré-processamento que opera numa vizinhança de cada piel Uso de máscaras de convolução (janelas ou filtros) Matriz de coeficientes apropriados a determinado tipo de tratamento ou detecção de propriedades Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 26 13

14 Princípio de Utilização de um Filtro Novo piel é função do original e do filtro (, ) i 1 p i pertence à vizinhança do ponto em causa g N w i p i ( ) g, valor directo do novo piel usado de forma indirecta para o definir Coeficientes de um filtro 3 3: Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 27 Filtro para Detecção de Pontos Isolados Aplicando a uma imagem binária o filtro... detecta-se um piel é ponto isolado no meio de outros se g(,) 8 ou 8 o ponto (,) é isolado os valores de 7, -6, -5,..., 6, 7 correspondem a todas as outras possibilidades Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 28 14

15 Técnicas de Suavização (smoothing) As técnicas de suavização dizem respeito, essencialmente, à redução de ruído Média de imagens: N imagens da mesma cena 1 N g, fi, N i 1 Filtros de média: todos os pesos de um filtro 3 3 com valor 1/9 ( ) ( ) Filtros de mediana: substituir cada piel pela mediana da distribuição dos níveis de todos os piels da sua vizinhança incluindo o próprio (filtros 3 3 ou 5 5) Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 29 Técnicas de Realce (enhancement) As técnicas de realce dizem respeito à adaptação ou compensação face a alterações de iluminação da cena Histograma da Imagem 12 1 Eemplo Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 3 15

16 Operações no Histograma Equalização Alteração do valor de cada piel para uniformizar a distribuição de níveis de cinzento na imagem Histogramas locais em vez de globais Afectar a imagem parcialmente Aplicação de um histograma pré-definido Realçar as partes mais escuras tornando-as mais claras e escurecendo as partes mais intensas Epansão de contraste Alteração da imagem para varrer toda a gama dinâmica de cinzentos com B bits: g [ ] [ f (, ) ] min [ f (, ) ] B f ( ) ( ) (, ) min f (, ), 2 1 ma Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 31 Detecção de Arestas (edge detection) Importante para a detecção de objectos numa cena A técnica consiste em detectar variações de intensidade usando um operador derivativo local Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 32 16

17 17 Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 33 Operador de Gradiente Definição Variante discreta... e filtros correspondentes T f f G G G r G G G G G r ( ) ( ) ( ) ( ) 1,, 1,, f f G f f G Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 34 Outros Filtros de Gradiente Filtros de Sobel Alternativa mais eficiente para detectar arestas Laplaciano Muito sensível ao ruído (pouco usado!!!) G G ( ) [ ] , f f f L + L

18 Eemplos de Filtros de Arestas rice.tif Gradiente simples: G+G Filtro de Sobel Limitação (valor médio) Gradiente simples: G+G Filtro de Sobel Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 35 Limitação (thresholding) Processo de redução dos níveis de cinzento da imagem Em geral para dois níveis imagem binária g (, ) 1 f f (, ) (, ) > T T Esta é a técnica mais usada em visão aplicada à robótica Primeira operação para separar o objecto do fundo Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 36 18

19 Limitação Dinâmica Qual o threshold que mais informação preserva? O valor médio...? Nem sempre!! T128 A melhor solução é obtida após análise do histograma T8 Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 37 Suavização de Imagens Binárias Quais as situações que requerem suavização? Pontos isolados ou buracos em imagens Cavidades em troços rectos Vértices de objectos (cantos) ausentes Operações lógicas (binárias) sobre os piels Filipe M. Silva Modelização e Controlo de Sistemas Dinâmicos 38 19