Reconhecimento de Linguagem de Sinais e
Tecnologia Adaptativa

Dr. Hemerson Pistori †

† GPEC - Universidade Católica Dom Bosco (UCDB) - Campo Grande, MS Brasil

www.gpec.ucdb.br

Imagens extraídas de www.dicionariolibras.com.br

Sumário

Língua Brasileira de Sinais e Configuração de mãos

Autômatos de Estados Finitos Adaptativos

Tecnologia Adaptativa e Árvores de Decisão Adaptativas

Protótipo de um Tradutor Sinal->Texto

Segmentação e Rastreamento da Pele Humana

Extração de Parâmetros

Experimentos e Resultados

Conclusões e Trabalhos Futuros

Língua Brasileira de Sinais

166.000 Surdos no Brasil (4 milhões – deficiência auditiva)

LIBRAS – Língua Brasileira de Sinais

Importante para desenvolvimento intelectual de crianças surdas

Diferentes partes do corpo, movimento e configuração

4000 – 20000 línguas no mundo (LIBRAS != ASL)

Tão importante quanto reconhecimento da fala

Trabalho atual: reconhecimento de configurações de mão.

Reconhecimento da Língua de Sinais

Página do Instituto Nacional de Educação de Surdos:

http://www.ines.org.br/libras/

Objetivos de Pesquisa

Novos algoritmos para reconhecimento de configurações de mão.

Integrar Algoritmos e Técnicas de Aprendizagem Computacional e Processamento Digital de Imagens

Explorar utilização da Tecnologia Adaptativa no Domínio do Reconhecimento de Sinais

Autômatos de Estados Finitos Adaptativos

Autômato de Estados Finitos Adaptativos

Tecnologia Adaptativa

q0

a

b

Mecanismo Subjacente

(Autômatos, Gramáticas,

Tabelas de Decisão,

Cadeias de Markov, …)

Mecanismo Adaptativo

[?|+|-][ Transições | Produções |

Linhas da Tabela, …)

q2

q1

A

q0

a

b

q2

q1

q*

q**

a

b

A

FSA

Pesquisas fora do Brasil: Rubinstein, Burshteyn, Christiansen, Cabasino,

Boullier, Quinn Tyler, Kutrib, Shutt.

AdapTree

Árvore de Decisão não Determinística + Funções Adaptativas.

Discretização Global baseada em Ganho de Informação (como C4.5)

Substituição Global de Valores Ausentes( Média e Moda)

Protótipo de um Tradutor Sinal->Texto

Protótipo de um Tradutor Sinal->Texto

Segmentação - Detecção de Pele Humana

Binarização

Extração de Parâmetros – Momentos Estatísticos

Aprendizagem Supervisionada - AdapTree

Rastreamento – Momentos Estatísticos

Segmentação – Detecção da Pele Humana

RGB >>>> HSV

[ μH–σH μH +σH]

[ μS–σS μS +σS ]

^

^

^

^

^

^

^

^

Extração de Parâmetros

Centro de Massa (Momento de Primeiro Ordem - Média)

“Direção” (Momento de Segunda Ordem – Desvio Padrão)

Quatro Sub-Regiões

P

V

Extração de Parâmetros - Momentos

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 105 110 115

80

75

70

65

60

55

50

45

40

35

30

25

20

15

10

5

0

(57.5 , 42.5)

σx=32.46

σy=15.13

Cuidado !!! Não se trata da direção do eixo principal

Extração de Parâmetros

5561 0

0 13

[

]

2857 -755

-755 220

[

]

1797 0

0 448

[

]

1453 -202

-202 588

[

]

Direção do Eixo Principal: Autovetor correspondente ao maior autovalor da matriz de covariância.

Excentricidade:

Maior Autovalor dividido pelo Menor Autovalor

Experimentos e Resultados

N/A

95.23%

(0.29s)

N/A

N/A

N/A

95.02%

(0.17s)

Hand Shape

- 9 Sings

- 180/90

82.39%

(10.5s)

80.75%

(0.06s)

81.13%

(0s)

84.15%

(0s)

70.75%

(1.12s)

76.7%

(0.1s)

Hepatit.

94.57%

(830.67s)

93.41%

(4.37s)

93.28%

(0.07s)

92.78%

(0.17s)

90.12%

(29.05s)

92.22%

(5.18s)

Hypoth.

93.84%

(74.66s)

87.39%

(0.48s)

89.58%

(0.01s)

90.76%

(0.03s)

84.29%

(2.09s)

86.72%

(0.66s)

Ionosph.

93.08%

(1.83s)

94.31%

(0.01s)

92.75%

(0s)

93.33%

(0s)

89.22%

(0.88s)

93.92%

(0.03s)

Iris

BackP.

C4.5

KNN

Nbayes

Id3

AdapT.

Dataset

WEKA – Percent_Correct (Training Time) - 10 x 10 Fold Stratified Cross-Valid.

Datasets: UCI Machine Learning Repository

Conclusões

Formalismo Adaptativo: Inferência em Árvores de Decisão e Teoria dos Autômatos.

AdapTree – Desempenho (Taxa de Acerto, Tempo de Treinamento e Teste) Comparável a Algoritmos Clássicos: ID3, NBayes, KNN, C4.5, ML-FF-Neural Network with Backprop. (Menor Taxa de Acerto mas Menor Tempo de Treinamento)

Trabalhos Futuros

SIGUS: Plataforma para Desenvolvimento Integrando Processamento Digital de Imagens (ImageJ), Aprendizagem Computacional (Weka) e Tecnologia Adaptativa (AdapTools).

Interfaces Baseadas na Detecção da Direção do Olhar

Autômatos de Estados Finitos e Algoritmos Genéticos

Projeto SIGUS

WebCam

JMF

ImageJ

Weka

Convers.

J-I

Adap-

Tree-E

Filtros

PDS

Monitor

Teclado/Mouse

Convers.

I-W

Treinamento

Teste

Olhar

LIBRAS

Projeto TOPOLINO

Segmentação e Rastreamento de Camundongos, em Ambientes Controlados, utilizando Visão Computacional

Projeto COURO

Detecção Automática de Defeitos em Couro Bovino utilizando Visão Computacional, Aprendizagem Automátic e Tecnologia Adaptativa

AdapTools - http://www.ucdbnet.com.br/adaptools/

www.ec.ucdb.br/~pistori : Minha página
www.gpec.ucdb.br : GPEC (Grupo de
Pesquisa em Engenharia e Computação
da UCDB)
www.pcs.usp.br/~lta : LTA (Grupo de
Pesquisa em Linguagens e Tecnologias
Adaptativas

Visite

.

Apresentação do PowerPoint

1600-12-31T20:00:00