REVISÃO SISTEMÁTICA

Metodologia para avaliação de aquisição de Habilidades Sensório-Motoras em ambientes de Realidade Virtual utilizadas na área de treinamento médico: uma revisão sistemática

Alexandre M. dos Anjos^1,2, Fátima L. S. Nunes^1,3

¹Interlab – Laboratório de Tecnologias Interativas – Escola Politécnica/USP

Av. Prof. Luciano Gualberto, nº 380 – 05508-010 – São Paulo – fone (11) 3091-5282

²Universidade Federal de Mato Grosso (UFMT)

Av. Fernando C. da Costa, n^o 2367 – 78060-900 – Cuiabá-MT – fone: (65) 3615-8028

³LApIS - Laboratório de Aplicações de Informática em Saúde Programa de Pós-graduação em Sistemas de Informação – Escola de Artes, Ciências de Humanidades/USP

Av. Arlindo Béttio, 1000 - Ermelino Matarazzo - São Paulo - CEP: 03828-000

{dinteralexandre,fatima.nunes}@usp.br

Resumo  Estudos sobre as contribuições oriundas do campo de desenvolvimento de Habilidades Sensório-Motoras (HSM) são imprescindíveis para a área de treinamento médico. Considerando experiências encontradas especialmente nesse contexto, a proposta deste trabalho consiste em uma investigação que utiliza um processo de Revisão Sistemática (RS) para recuperar o estado da arte sobre metodologias de avaliação de aquisição de HSM. Com a RS foi possível identificar metodologias, técnicas ou métodos que são usadas em estratégias de avaliação de aquisição de HSM. Após a identificação e seleção de trabalhos, desenvolveu-se uma análise de trabalhos correlatos que pudessem contribuir a pesquisa em questão. Nesse sentido, o estudo revela estudos sobre metodologias, técnicas ou métodos encontrados que contribuirão para criação de uma nova metodologia de avaliação de aquisição de HSM para ambientes de Realidade Virtual para contextos de treinamento médico.

Palavras-chave: Treinamento médico; Técnica de avaliação; Método de avaliação; Metodologia de Avaliação; Habilidades sensório-motoras; Aquisição de Habilidades; Destreza.

1.            Introdução

Nos últimos anos, há relatos de experiências que usam Realidade Virtual (RV) para simulações cirúrgicas em áreas de treinamento médico, acompanhadas de uma significativa melhora no desempenho das atividades desses profissionais (SEYMOUR, et al. 2002).

 Não obstante a utilização de simulações, observa-se também que é possível efetuar a transferência de conhecimentos ou habilidades técnicas por meio da utilização de salas virtuais em ambientes de aprendizagem voltados para a área de treinamento médico (SEYMOUR, et al. 2002).

 Nesse sentido, com o crescimento de aplicações da área de RV para aquisição de habilidades por meio de estratégias de simulação, configura-se um novo método de apoio à aprendizagem, que utiliza recursos de educação virtual para a área de treinamento médico.

 Essa nova maneira de ensinar trouxe à tona desafios inéditos, no sentido de refletir sobre a implementação de modelos que pudessem ser alternativos a contextos reais de aprendizagem.

 Essas alternativas merecem destaque quando se observa que a motivação para estratégias virtuais de ensino-aprendizagem é notória, especialmente por apresentar soluções que minimizam a necessidade de experiências com alto custo, como aquelas em que são exigidos materiais e recursos físicos em ambientes educacionais presenciais e reais (TORI; NUNES; GOMES E TOKUNAGA, 2009).

Com objetivo de identificar e analisar metodologias que existem para avaliação de aquisição de HSM, e, ao mesmo tempo, verificar que métodos ou técnicas estão presentes nessas metodologias e podem ser adaptados ou reconstruídos em contextos de treinamento médico virtual, para esse estudo,  serão apresentados em uma primeira seção aspectos introdutórios seguidos de aspectos metodológicos, execução da pesquisa, resultados e discussões e conclusão.

2.    Metodologia

Como estratégia metodológica, procurou-se alicerçar o processo de investigação a partir das concepções de Kitchenham (2004) e Biolchini et al.  (2005) sobre RS conforme descreve-se a seguir.

 De acordo com Kitchenham (2004), uma revisão sistemática de literatura é uma forma de identificar, avaliar e interpretar todas as pesquisas disponíveis relevantes para uma questão específica, área temática, ou fenômeno de interesse.

 Para Biolchini et al. (2005) RS trata-se de um método de pesquisa explícito e rigoroso, que procura identificar o conhecimento científico em uma determinada área, por meio da coleta, combinação e avaliação crítica de descobertas de diversas abordagens já realizadas.  Segundo esses autores, a importância do estabelecimento de um processo de RS, é também notória, quando verifica-se a definição de fases, a saber: a) Planejamento da revisão; b) Procedimentos de condução e extração da RS e, ao final, c) Procedimentos de elaboração de relatórios da RS.

 Durante a fase de planejamento da RS define-se primeiramente um protocolo, no qual constam o problema de pesquisa, de forma a delimitar a natureza essencial e a eficiência de determinadas práticas ou métodos no domínio em pauta, bem como aspectos como fontes de pesquisa, Strings de busca utilizadas (sequência ou combinação de palavras-chaves para a pesquisa), critérios de inclusão e exclusão de trabalhos encontrados na literatura e forma de sumarização dos resultados.

 Na fase de condução da RS executa-se a formalização de um processo de pesquisa conforme o protocolo estabelecido. Nessa etapa, de forma sumarizada, devem ser listados todos os trabalhos encontrados na literatura e aplicados os critérios de inclusão e exclusão definidos no protocolo.

 O resultado final é uma lista de artigos que devem ser incluídos na fase seguinte.

 Inicia-se então a fase de extração que consiste em um detalhamento das informações por meio da extração de variáveis e anotações específicas de referências que podem agregar valor ou alterar os rumos do processo de pesquisa desenvolvido até então. Ao final, desenvolve-se um relatório incluindo-se todas as etapas do processo de RS, conclusões e resultados encontrados.

Para desenvolvimento do processo de RS de forma eficiente foi utilizado uma ferramenta eletrônica denominada StArt (State of the Art through Systematic Review), que tem como objetivo dar suporte ao pesquisador apoiando a aplicação dessa técnica conforme se descreve nas etapas a seguir. (Disponível em:<http://lapes.dc.ufscar.br/ferramentas>. Acesso em: 10 Jun. 2012).

 2.1 – Planejamento da RS

 Para planejamento da revisão formulou-se inicialmente um protocolo de RS, no qual se delineou os objetivos, questões da pesquisa e fontes de buscas no Portal de Periódicos da CAPES (IEEE journals, IEEE conferences, ACM journals, ACM conferences, Web of knowledge; SCOPUS, referências acadêmicas presentes no Google Scholar e Biblioteca de teses da Universidade de São Paulo.

Como questão de pesquisa, definiu-se para o processo investigatório em questão um estudo sobre duas dimensões: a) que metodologias são concebidas para a finalidade de avaliar a aquisição de Habilidades Sensório-Motoras em ambientes reais ou de Realidade Virtual? e b) que métodos ou técnicas estão presentes nessas metodologias?

 Para responder essas duas dimensões, consolidaram-se termos de buscas formuladas em inglês, em dois segmentos de pesquisa com a definição das seguintes palavras-chaves: Pesquisa I (“avaliação” e “aquisição de habilidades, habilidades motoras, destreza e sensório-motor” e "Medical Training") e Pesquisa II (“método de avaliação, técnicas de avaliação, metodologia de avaliação” e “aquisição de habilidades, habilidades motoras, destreza, sensório-motor”).

  A justificativa de segmentos de palavras-chave em dois procedimentos de recuperação de informação é feita considerando-se a necessidade de avaliar as informações presentes no campo de treinamento médico (especificamente) e de forma mais abrangente não excluir as contribuições de metodologias de avaliação de aquisição de HSM em outras áreas do conhecimento.

 Nesse sentido, foram delineados dois procedimentos de pesquisa e, após avaliação interseccionou-se as fontes encontradas da pesquisa I e II e foram eliminados os trabalhos recuperados em redundância.

 Para executar os procedimentos de busca, foram definidas strings para as fontes de busca identificadas, conforme descreve-se a seguir:

SCOPUS:

Pesquisa I:

(TITLE-ABS-KEY((evaluation OR assessment)) AND TITLE-ABS-KEY(("skill acquisition" OR "motor skill" OR dexterity OR sensorimotor OR "sensory motor" OR sensomotor)) AND TITLE-ABS-KEY(("medical training")))  AND PUBYEAR > 2006 AND PUBYEAR < 2013 AND (LIMIT-TO(LANGUAGE, "English"))

Pesquisa II:

(TITLE-ABS-KEY(("evaluation method" OR "assessment method" OR "assessment technique" OR "evaluation technique" OR "assessment methodology" OR "evaluation methodology")) AND TITLE-ABS-KEY(("skill acquisition" OR "motor skill" OR dexterity OR sensorimotor OR "sensory motor" OR sensomotor))) AND PUBYEAR > 2006 AND PUBYEAR < 2013 AND (LIMIT-TO(LANGUAGE, "English"))

web of science

Pesquisa I:

TS=(evaluation OR assessment) AND TS=("skill acquisition" OR "motor skill" OR dexterity OR sensorimotor OR “sensory motor” OR sensomotor) AND TS= (“medical training”)

Databases=SCI-EXPANDED, SSCI, A&HCI Timespan=2007-2012

Pesquisa II:

TS=(“evaluation method” OR “assessment method” OR "assessment technique" OR "evaluation technique" OR "assessment methodology" OR "evaluation methodology”) AND TS=("skill acquisition" OR "motor skill" OR dexterity OR sensorimotor OR “sensory motor” OR sensomotor)

Databases=SCI-EXPANDED, SSCI, A&HCI Timespan=2007-2012

IEEE

Pesquisa I:

((evaluation OR assessment) AND ("skill acquisition" OR "motor skill" OR dexterity OR sensorimotor OR "sensory motor" OR sensomotor) AND ("medical training"))

Pesquisa II:

 (("evaluation method" OR "assessment method" OR "assessment technique" OR "evaluation technique" OR "assessment methodology" OR "evaluation methodology") AND ("skill acquisition" OR "motor skill" OR dexterity OR sensorimotor OR "sensory motor" OR sensomotor))

You Refined by: Publication Year: 2007 - 2009

ACM

Pesquisa I:

(Abstract:(evaluation OR assessment) OR
Title:(evaluation OR assessment)) AND
(Abstract:("skill acquisition" OR  "motor skill" OR dexterity OR sensorimotor OR “sensory motor” OR sensomotor) OR
Title:("skill acquisition" OR  "motor skill" OR dexterity OR sensorimotor OR “sensory motor” OR sensomotor)) AND (Abstract:(“medical training”) OR Title:( “medical training”)

Pesquisa II:

Abstract:(“evaluation method” OR “assessment method” OR "assessment technique" OR "evaluation technique" OR "assessment methodology" OR "evaluation methodology") OR Title:(“evaluation method” OR “assessment method” OR "assessment technique" OR "evaluation technique" OR "assessment methodology" OR "evaluation methodology") AND (Abstract: ("skill acquisition" OR "motor skill" OR dexterity OR sensorimotor OR “sensory motor” OR sensomotor) OR ("skill acquisition" OR "motor skill" OR dexterity OR sensorimotor OR “sensory motor” OR sensomotor)

BASE DE DADOS BIBLIOGRÁFICAS DA USP

Pesquisa I:

(evaluation OR assessment) AND
("skill acquisition" OR "motor skill" OR dexterity OR sensorimotor OR “sensory motor” OR sensomotor) AND

(“medical training”)

Pesquisa II:

(“evaluation method” OR “assessment method” OR "assessment technique" OR "evaluation technique" OR "assessment methodology" OR "evaluation methodology”)

AND

("skill acquisition" OR "motor skill" OR dexterity OR sensorimotor OR “sensory motor” OR sensomotor)

google scholar

Pesquisa I:

(intitle:evaluation OR intitle:assessment) AND (intitle:"skill acquisition" OR intitle:"motor skill" OR intitle:dexterity OR intitle:sensorimotor OR intitle:“sensory motor” OR intitle:sensomotor) AND (intext:“medical training”)

Pesquisa II:

Para desenvolvimento da pesquisa II, utilizando-se o Google schoolar, observou-se uma limitação na quantidade de strings permitida no mecanismo de busca. Para isso foi necessário subdividir em cadeias de strings, para execução da pesquisa de forma equivalente a outras bases, conforme se detalha a seguir:

a) Sinônimos de métodos de avaliação, técnicas de avaliação e metodologias de avaliação especializados em “Skill Acquisition”

(intitle:“evaluation method” OR intitle:“assessment method” OR intitle:"assessment technique" OR intitle:"evaluation technique" OR intitle:"assessment methodology" OR intitle:"evaluation methodology") AND (intext:"skill acquisition")

b) Sinônimos de métodos de avaliação, técnicas de avaliação e metodologias de avaliação especializados em “motor Skill”

(intitle:“evaluation method” OR intitle:“assessment method” OR intitle:"assessment technique" OR intitle:"evaluation technique" OR intitle:"assessment methodology" OR intitle:"evaluation methodology") AND (intext:"motor skill")

c) Sinônimos de métodos de avaliação, técnicas de avaliação e metodologias de avaliação especializados em “dexterity ”

(intitle:“evaluation method” OR intitle:“assessment method” OR intitle:"assessment technique" OR intitle:"evaluation technique" OR intitle:"assessment methodology" OR intitle:"evaluation methodology") AND (intext:"dexterity")

d) Sinônimos de métodos de avaliação, técnicas de avaliação e metodologias de avaliação especializados em “sensorimotor ”

(intitle:“evaluation method” OR intitle:“assessment method” OR intitle:"assessment technique" OR intitle:"evaluation technique" OR intitle:"assessment methodology" OR intitle:"evaluation methodology") AND (intext:"sensorimotor")

f) Sinônimos de métodos de avaliação, técnicas de avaliação e metodologias de avaliação especializados em “sensory motor ”

(intitle:“evaluation method” OR intitle:“assessment method” OR intitle:"assessment technique" OR intitle:"evaluation technique" OR intitle:"assessment methodology" OR intitle:"evaluation methodology") AND (intext:"sensory motor")

g) Sinônimos de métodos de avaliação, técnicas de avaliação e metodologias de avaliação especializados em “sensomotor - 0

(intitle:“evaluation method” OR intitle:“assessment method” OR intitle:"assessment technique" OR intitle:"evaluation technique" OR intitle:"assessment methodology" OR intitle:"evaluation methodology") AND (intext:"sensomotor")

 A fim de estabelecer os interesses da pesquisa, o protocolo construído definiu os seguintes critérios de inclusão de trabalhos: artigos publicados nos últimos 5 anos; trabalhos que apresentam metodologias para avaliação  de (HSM); trabalhos que usem ou referenciem metodologias para avaliação de HSM;  trabalhos que apresentem parâmetros relevantes para uma metodologia de avaliação de HSM e trabalhos que apresentem fundamentos teóricos ou técnicas relevantes para uma metodologia de avaliação de HSM.

De maneira semelhante, foram elaborados os seguintes critérios de exclusão: trabalhos nos quais o(s) aprendiz(es) ou treinando(s) não houver(em) executado na prática a aquisição de HSM; trabalhos cuja avaliação é feita apenas com o foco na observação de especialistas; trabalhos que não apresentem métodos, técnicas ou metodologias de avaliação de aquisição de HSM relevantes para o trabalho; trabalhos que já foram eleitos e considerados para leitura anteriormente.

3. Execução da pesquisa

Após encerrado a etapa de planejamento, iniciou-se o processo de execução da RS. O processo de execução da RS, inicia-se no momento em que os trabalhos são recuperados por meio das strings delineadas anteriormente no protocolo de RS. Utilizando-se da ferramenta StArt, os trabalhos são exportados a partir de cada base de pesquisa em formato apropriado e armazenados por meio de um processo de um processo de importação eletrônico, todas as  informações sobre o trabalho como: autor, título, palavras-chaves, resumo, ano e as referências bibliográficas de cada obra.

 Os termos de busca elaborados no processo de planejamento foram executados e exportados em cada uma das máquinas de busca das fontes selecionadas para um formato de importação compatível com a ferramenta StArt, em estrutura de pastas.

Foram identificados um montante de 145 artigos, dos quais  em cada base totalizaram: ACM (30 artigos), IEEE (04 artigos), SCOPUS (67 artigos), USP (2 artigos) e Web of Science (13 artigos).

Os artigos foram identificados em um repositório de informações eletrônico para sua avaliação na segunda fase da RS, conforme se descreve a seguir.

3.1 Procedimentos de condução e extração

           

Uma vez que o protocolo de RS foi definido e os artigos foram identificados e armazenados a etapa de condução passa a ser executada, iniciando-se por uma seleção de informações e encerrando-se com a submissão dos trabalhos para a próxima fase da RS.

 Nessa etapa, utilizando-se de um formulário eletrônico os pesquisadores efetuaram a leitura do resumo de cada artigo disponibilizado. Nesse momento, houve o julgamento dos critérios de inclusão e exclusão dos artigos por meio de um processo de seleção, conforme se observa na Tabela 1.

Tabela 1 – Critérios de Inclusão e Exclusão atendidos

Artigos		Id paper	Critérios de Inclusão	Critérios de Exclusão
1.	[Paal, P. et al 2012]	120		2
2.	[Solis, J.a, et al. 2009]	119	1
3.	[Albert, D. et al. 2007]	59		3
4.	[Combe, N.A. et al. 2012 ]	60		3
5.	[Hagler, S., Jimison, H., Pavel, M. 2011]	62		3
6.	Harwin, W.S., Murgia, A., Stokes, E.K. 2011]	63		3
7.	[Denoual, T. et al. 2011]	64		3
8.	[2011 IEEE World Haptics Conference]	65		4
9.	[Kitabayashi, T., Demura, S., Murase, H. 2011]	66		3
10.	[Harwin, W.S., Murgia, A., Stokes, E.K. 2011]	67		3
11.	[Raphael, G., Behneman, A., Tan, V., Pojman, N., Berka, C. 2011]	68		4
12.	[Domellöf, E., Johansson, A.-M., Rönnqvist, L. 2011]	187		3
13.	[Scott, S.H., Dukelow, S.P. 2011]	69		3
14.	[Charlier, N. 2011]	70		3
15.	[Bellows, L. et al., 2011]	71		3
16.	[Van Lierde, K.M., 2011]	72		3
17.	[Hielkema, T. et al. 2011]	73		3
18.	[Penfornis, A. 2011]	74		3
19.	[Johansson, B.B. 2011]	75		3
20.	[Venetsanou, F. et al. 2011]	76		2
21.	[Clark, E. et al. 2010]	77		3
22.	[Carswell, C.M. et al. 2010]	78		3
23.	[Gamache, P.-L. et al. 2010]	79		3
24.	[Chen, W. et al. 2010]	80	3
25.	[Galli, M. et al. 2010]	81		3
26.	[Satava, R.M. 2010]	191		3
27.	[Temple, V. et al. 2010]	82		3
28.	[Huegel, J.C., O'Malley, M.K. 2010]	188		3
29.	[Adcock, A.B. et al. 2010]	83		3
30.	[Menzel, H.-J. 2010]	84		2
31.	[George, S., Crotty, M. 2010]	85		3
32.	[Raphael, G. et al. 2009	86		4
33.	[Raphael, G. et al. 2009	87	1
34.	[Chalmers, N. et al. 2009]	88	1
35.	[Chalmers, N. et al. 2009]	89		4
36.	[Cunningham, L.M. et al. 2009]	90		3
37.	[Sánchez-González, P. et al. 2009]	91		3
38.	[Van Heest, A. et al. 2009]	92		3
39.	[Lemaitre, G. et al. 2009]	93		3
40.	[Ogg, R.J. et al. 2009]	94		3
41.	[King, R.C. et al. 2009]	95	1
42.	[Adams, J., Zaskand, A., Dietrich, U. 2009]	96		3
43.	[Vuillermot, S. et al. 2009]	97	4
44.	[Radell, U, et al. 2008]	98		3
45.	[Tanaka, Y. et al. 2008]	99	1
46.	[Tanaka, Y. et al. 2008]	100		4
47.	[Sekir, U, et al. 2008]	101		2
48.	[Borghuis, J., Hof, A.L., Lemmink, K.A.P.M. 2008]	190		3
49.	[Souvestre, P.A., Landrock, C.K., Blaber, A.P. 2008]	102		3
50.	[Souvestre, P.A., Landrock, C.K., Blaber, A.P. 2008]	103		3
51.	[Ohtoshi, T., Muraki, T., Takada, S. 2008]	104		3
52.	[Drinkwater, E. 2008]	105		3
53.	[Barnett, A.L. 2008]	106		3
54.	[Iwasaki, A., Moriyama, S., Shirakusa, T. 2008]	107		3
55.	[Brydges, R. et al. 2008]	189		3
56.	[Poole, D., Chaudry, F., Jay, W.M. 2008]	108		3
57.	[Colombo, R. et al. 2008]	109	3
58.	[Ackerman, P.L., Beier, M.E. 2007]	110	4
59.	[Yoshikawao, T., Koeda, M., Sugihashi, M. 2007]	111	4
60.	[Ohwada, H., Nakayama, T. 2007]	112		3
61.	[Hatanaka, T. et al. 2007]	113		3
62.	[Van Zoest, G.G.J.M., Staes, F.F.G.M., Stappaerts, K.H. 2007]	114		3
63.	[Hartzler, B. et al. 2007]	115		3
64.	[Stylopoulos, N., Vosburgh, K.G. 2007]	116	1
65.	[Stefanidis, D. et al. 2007]	117	1
66.	[Fawcett, J.W. et al. 2007]	118		3
67.	[Park, S.B., Lin, C.S.-Y., Kiernan, M.C. 2012]	61		3
68.	[Paal. P. et al. 2010 ]	125		4
69.	[Denoual, T. et al. 2011]	126		4
70.	[Domellöf, E., Johansson, Anna-Maria., Rönnqvist, L. 2011]	127		4
71.	[Carswell, C. M. et al. 2010]	128		4
72.	[Chen, W. et al. 2010]	129		4
73.	[Adcock, A.B. et al. 2010]	130		4
74.	[Dukelow, S. P. et al. 2010]	131		4
75.	[King, R.C. et al. 2009]	122		4
76.	[Ohtoshi, T., Muraki, T., Takada, S. 2008]	133		4
77.	[Souvestre, P A; Landrock, C K; Blaber, A P. 2008]	134		4
78.	[Iwasaki, A., Moriyama, S., Shirakusa, T. 2008]	135		4
79.	[Hatanaka, T.A.B. et al. 2007]	136		4
80.	[Gerrit G.J.M. van Zoest, Filip F.G.M. Staes, Karel H. Stappaerts. 2007]	137		4
81.	[Solis, J. et al. 2009]	121		4
82.	[King, R.C. et al. 2009]	132		4
83.	[Yoshikawa, T.; Koeda, M.; Sugihashi, M. 2007]	123		4
84.	[Guidali, M. et al. 2009]	124		3
85.	[Baldas, V. et al. 2010]	158	1
86.	[Furnham, Adrian, et al. 2008]	159		3
87.	[Raud, Z. 2010]	161		3
88.	[Roseth J. C.; Pellegrini A D. 2010]	163		3
89.	[Piro, K. 2001]	162		3
90.	[Antona, M., Mourouzis, A., Stephanidis C. 2007]	160		3
91.	[GUO Bo, ZHANG Xiao-dong, DUAN Shuang-yue. 2009]	165		3
92.	[Xu Chong-gao, LIU Qing, CHEN Bing. 2008]	166		3
93.	[Crutch, S.J. et al. 2007]	164		3
94.	[Hatanaka, T.A.B. et al.2007]	169		4
95.	[Yoshikawa, T.; Koeda, M.; Sugihashi, M. 2007]	173		4
96.	[Huang, Y.Y.; Low, K.H.; Lim, H.B. 2009]	168		3
97.	[Widmann, G. et al. 2009]	171		3
98.	[Kent R. Van Sickle. et al. 2008]	167		2
99.	[Oleksy, L. Mika,  A. Marek PieniąŜek, M. Marchewka, A. 2010]	177		3
100.	[Matthew Green; Carolyn Conner Seepersad,; Katja Holtta-Otto. 2010]	176		3
101.	[Adamus, W. 2009]	175		3
102.	[Adamus, W. 2009]	172		4
103.	[R, Fallows;  K McCoy. Grand Rounds. 2011]	174		3
104.	[Kathleen J. Price and Andrew Sears. 2009]	170		3
105.	[Onozawa, A. Kikukawa, A.Miyamoto, Y. 2008]	183		3
106.	[Di Loreto Ines; Gouaich Abdelkader.2010]	179		3
107.	[Turskis, Z. Zavadskas, E.  K. 2010]	178		3
108.	[Crutch, S.J. 2007]	180		4
109.	[Zlatko, M.  Klemen, B. Cikajlo, Imre. 2010]	181		3
110.	[R, Fallows.  K McCoy. Grand Rounds. 2011]	182		4
111.	[Zlatko, M.  Klemen, B. Cikajlo, Imre. 2010]	184		4
112.	[Hilla Sarig-Bahat. 2009]	186		3
113.	[R, Fallows.; K McCoy. Grand Rounds. 2011]	185		4
114.	[Corrêa, C. G., 2009]	138		3
115.	[Oliveira, A.C. M. T. G., Nunes, F.L.S..2009]	140		3
116.	[Reid, P.; Plimmer, B. 2008]	210		3
117.	[Eid, M.; Orosco, M.; Saddik, A. E. 2007]	211		3
118.	[Yudelson, M. V.; Medvedeva, O.; Crowley,R. S. 2008]	217		3
119.	[Durati, L. et sl. 2008]	204		3
120.	[Choi, Kup-Sze.; Soo, S.; Chung,Fu-Lai.2008]	214	3
121.	[Ziemke, T.2009].	198		3
122.	[Crowley, R. S.; Medvedeva, O.2005]	215		3
123.	Rissanen, M.et al. 2006]	193	3
124.	[Luciani, D.; Stefnini, F. M. 2011]	199		3
125.	[Patel, V. et al. 2009]	201		3
126.	[Dietrich, A. et al. 2007]	203		4
127.	[Gupta, A. et al.2008	200		3
128.	[Payne,V. L. et al. 2009]	207		3
129.	[Shamus, S.;todd, S. 2007]	196		3
130.	[Orozco, M. et al.2007]	194		3
131.	[Papastergiou, M.2009]	208		3
132.	[Zhu,S. et al. 2011]	205		3
133.	[Blavier,A. et al. 2008]	209		3
134.	[Plimmer, B. et al. 2008]	220		3
135.	[Crossan, A.; Brewster, S. 2008]	212		3
136.	[Gerovichev, O.;Marayong,P.; Okamura, A. M.2002]	197		3
137.	[Moreno-Ger, P. et al. 2008]	202	1
138.	[Solis, J. et al. 2009]	216		4
139.	[Bridge, P. et al. 2007]	206		3
140.	[Shing, Chang-0Yih, et al. 2002]	213	3
141.	[Brelsaft, G. et al. 2005]	218		3
142.	[Uberle,M.; Mock, N.; Buss, M. 2004]	195		3
143.	[Chitarro, L.;Ranon, R. 2007]	219		3
144.	[King, R.C. et al. 2009]	221		4
145.	[Malinverni, B. L. S. et al. 2012]	222		3

Dos 145 artigos selecionados no processo de identificação, 28 trabalhos foram aceitos para serem avaliados na etapa de extração da RS, 85 foram excluídos pelos critérios definidos no protocolo e 32 trabalhos excluídos por estarem duplicados no repositório de informações.

Gráfico 1: Artigos Duplicados, Inseridos e Excluídos

Na etapa de extração, foram coletadas informações pré-definidas no protocolo de RS como: resumo do trabalho, objetivo do trabalho, resumo do experimento realizado, local do experimento, participantes, material, descrição da metodologia de avaliação, descrição de técnicas ou métodos de avaliação, técnicas de ensino, escopo do trabalho, objetos centrais de avaliação, parâmetros ou métricas de avaliação utilizadas, hipóteses ou questão problema evidenciada, natureza do método ou técnica de avaliação de HSM, área de aplicação/domínio, classificação do ambiente, resultados, referências relevantes, observações e trabalhos futuros.

Dos 28 trabalhos eleitos na etapa de condução, após a leitura completa conclui-se que 17 trabalhos atendiam plenamente os critérios estabelecidos no protocolo de RS e 11 trabalhos, foram excluídos pelo processo de análise mais criteriosa da etapa de extração.

Gráfico 2: Artigos Inseridos e Excluídos

4 – Resultados e discussões

A partir dos resultados do processo de extração foi possível discutir aspectos específicos de cada trabalho, envolvendo os objetivos, aspectos metodológicos, métodos ou técnicas, parâmetros, ambiente de aplicação e resultados.

            Os dados foram sumarizados e apresentados nas Tabela II e III a seguir. Na próxima sessão iremos destacar alguns aspectos que procuram responder as questões apresentadas no protocolo de RS.

Tabela II – Tabela com sumários dos artigos analisados

Artigos	Objetivo do trabalho	Descrição da metodologia	Descrição de técnicas ou métodos de avaliação	Parâmetros
[Chen, W. et al. 2010]	Desenvolver método de análise de desempenho cinemático tridimenssional de membros superiores a fim de avaliar quantitativamente a distribuição da destreza e qualitativamente a capacidade de movimento dos membros UE em posturas diferentes durante as atividades de vida diária - Activities of Daily Living  - (ADL).	Análise de medida destreza – Dexterity Measure (DM) e a manipulabilidade elipsoide – Manipulability Ellipsoid (ME)	(*) Sistema de captura de movimento - VICON (Oxford Metrics Ltd., UK) foi usado para medir o movimento dos membros superiores. (*) Sistema de marcadores (*) Indices de desempenho cinemático dos membros superiores extraidos em Matriz jacobiana de um modelo cinemático. (*) Análise estatística - média e variança	(*) Torção de movimento da articulação esternoclavicular (*) Torção de movimento da articulação acromioclavicular (*) Torção de movimento da articulação glenohumeral (*) Torção de movimento da articulação do cotovelo (*) Velocidade espacial (*) Velocidade de articulação (*) captura dos movimentos dos membros de extremidades superiores (*) Trajetória da postura capturada - inicial a postura final; (*) Suavidade do movimento (*) Aceleração do movimento (*) Desesaceleração do movimento.
[Raphael, G. et al. 2009	Caracterizar o perfil psicofisiológico e fornecer feedbacks para moldar os aprendizes novatos no estado psicofisiológico de especialistas.	Desenvolvimendo de um sistema de avaliação e feedback I-NET baseado em neurociência com o objetivo de aumentar a assimilação de HSM e habilidades cognitivas.	(*) Informações coletadas a partir dos estados mentais derivados do EEG e outros leitores de sinais fisiológicos; (*) Gravação de métricas psicofisiológicas associadas ao desempenho de especialistas em uma versão do Adaptive Peak Performance Trainer (APPT); (*) Algoritmo de processamento de coeficientes de desempenho - pré e pós desempenho a partir dos resultados dos sinais fisiológicos e psicofisiológicos.	(*) Sobrecarga cognitiva de pre-shot - usada para analisar quão bem um atirador está processando novas informações e acolhendo novas demandas de tarefas (*) EEG - Alpha e Theta - Usado como um indicador para análisar o estado mental de foco e relaxamento do aprendiz (*) Ansiedade - Usado para medir o gradu de stress experimentado pelo atirador (*) Precisão - Usado para caracterizar o grau de dispersão dos tiros (*) Acuracidade - Usado para caracterizar a distância da dispersão dos tiros (*) Respiração - Usada para medir inalações e exalações (*) Engatilhamento - Usado como ponto de sincronização para todas as medidas (*) Disparo do gatilho - Usado para examinhar a qualidade - rapidez e lentidão (*) Mira - Usada para medir os movimentos de mira em relação ao alvo. (*) Dados de entrada de sensores ECG - alterações da frequência cardiaca (refletem foco de atenção e as pectos relacionados a HSM durante a preparação para uma tarefa) (*) Dados do nível de condutancia da pele eletrodérmica; (*) Dados de respiração; (*) Dados de rastreamento ocular; (*)  Captura de informações visuais, auditivas, hápticas ou combinados;
[Chalmers, N. et al. 2009]	Recombinar técnicas de avaliação de deficiências sensório-motoras usando um comitê de classificadores e métodos de avaliação de deficiencias sensório-motoras em um exoesqueleto robótico - KINARM	Criação de um conjunto de classificadores para produção de avaliações que podem ajudar especialistas no planejamento de processos de reabilitação para pacientes que possuem acidente cerebral vascular usando o KINARM	(*) Captura de dados pelo exoesqueleto KINARM (*) Comparação de desempenho de classificadores utilizando técnicas de redução de dimensionalidade e normalização de dados (*) Algoritmo k-nearest neighbor (KNN)- [3] (*) Algoritmo Support Vetor Machine (SVM) [9] (*) Artificial Neural Network (ANN) [8] (*) Linear Discriminate Analysis (LDA) [13] (*) Teste estatístico Mann-Whitney U-teste (*) Calculo de entropia (Shannon) (*) Método estatistico de calculo de coeficiente de correlação de Spearman	(*)FMTDist - Distância percorrida (*)FMTmaxSP - Velocidade máxima (*)FMTDirErr - Angulo entre a trajetória ótima e a trajetória do paciente (*)FMTDistErr - Distância da mão do alvo durante a parte inicial do alcance da tarefa (*)TotalMT - Tempo de movimento total (*)PathLen - comprimento do percurso (*)MTMaxSP - Velocidade Máxima (*)NumMTmaxSP - Numero da Velocidade Máxima durante todo o curso inteiro atingido (*) PathLenRatio - Razão entre o comprimento do caminho do sujeito e o comprimento otimo (*) FMTMaxSPRatio - Razão entre a velocidade máxima alcançada durante o movimento da mão inicial e o total de movimento da mão
[King, R.C. et al. 2009]	Investigar uma luva de sensores (sensor glove) que pode fornecer uma avaliação contínua não intrusiva do movimento das mãos para cirurgia a partir do qual certo índices de destreza manual e de desempenho podem ser derivados.	Desenvolvimento de uma luva de sensores sem fio para avaliação de habilidades cirurgicas a partir de técnicas de clusterização de padrões entre novatos e especialistas.	(*) Desenvolvimento de uma wireleless lightweight sensor glove - usando sensores de corpo com tecnologia BSN - BSN sensor glove; (*) Um novo framework de seleção de sensores baseado em hidden Markov models (HMMs) que proporciona otimas posições para se posicionar sensores para um conjunto de gestos selecionados; (*) O uso da luva com sensores BSN para observação de como um conjunto de novatos e especialistas executam uma tarefa cirúrgica e o uso do framework HMMs proposto para avaliação de habilidades. (*) Geração e análise de cluster  a partir de padrões de movimentos realizados; (*) Segmentação de tarefas	(*) Gestos capturados a partir dos sensores de uma luva com tecnologia BSN
[Vuillermot, S. et al. 2009]	Desenvolver um sistema de testes computadorizados expandido Extented Drawing Test (EDT) com o objetivo de melhorar a avaliação e a reabilitação de pacientes com AVC.	Implementação de graphonomic test por meio da captura em um tablet gráfico com caneta e base transparente e processamento eletrônico com um computador apoiando-se em métodos estatisticos	(*)Graphonomic test (*)Teste de desenho expandido - Computatorized Extended Drawing Test (EDT) (*)Comparação de desempenho de mãos dominantes e não dominantes (*)Comparação de desempenho entre gurpos de várias faixas etárias (*)Análise de gráficos de dispersão utilizando-se de coeficiente de (*)Pearson, de correlação e de significancia.	(*) Tempo (*) Desvio padrão de uma reta ideal - distância de curvatura para vários grupos e diversas faixas etárias e Desvio padrão em relação ao tempo
[Tanaka, Y. et al. 2008]	Desenvolver um sistema de tênis virtual utilizando dispositivos robóticos de reabilitação dos movimentos do braço e discutir um método de avaliação de habilidades motoras para pessoas com AVC	Criação de uma metodologia para gerar um índice de avaliação de habilidades motoras para  um jogo de tenis virtual.	(*)Gravação de trajetória dos movimentos executados pelos indivíduos a partir da manipulação da raquete; (*)Captura de parâmetros como: acertos cometidos em função do circulo do alvo e deste para fora com uma pontuação que decresce a medida que a bola acerta posições mais periféricas em relação ao alvo, e Análise matemática com a projeção de um gráfico que analisa os movimentos dos usuários em função a média dos acertos ideais. (*)Criação de um índice de avaliação matemática quantitativa  "I" tendo como base os parâmetros coletados.	(*) Velocidade inicial da bola (*) Posição inicial da bola (*) Angulo inicial da raquete (*) Centro de alvo do circulo
[Colombo, R. et al. 2008]	Qualificar e quantificar componentes diferentes de recuperação  motora de um grupo de pacientes com Acidente Vascular Cerebral tratados (AVC) por técnicas auxiliadas por robô.	Criação de uma metodologia avaliação motora em um dispositivo - Elbow-shoulder manipulator -  Manipulador de cotovelo-ombro  -  conhecido como  MEMOS (Mechatronic system for Motor recover after Stroke) a partir de um protocolo de treinamento estabelecido.	(*) Teste t student (*) Analise de variança (*) Ajuste logaritmico  (*) Lei de fitts	(*) Eficácia de movimento (*) Precisão do movimento (*) Eficiência do movimento (*) Suavidade do movimento (*) Velocidade do movimento (*) Controle da força
[Ackerman, P.L., Beier, M.E. 2007]	Estudo sobre a percepção da capacidade de velocidade em um contexto de métodos de avaliação, habilidades cognitivas e diferenças individuais durante a aquisição de habilidades.	Desenvolvimento de uma metodologia de testes para análise de propriedades perceptuais a partir de critérios de definição de tarefas para uma avaliação de habilidades utilizando-se do sistema ATC - Air Traffic Controller de forma articulada com o sistema TRACON - Terminal Radar Approach Control - (*) devido os objetivos do estudo, centrou-se a análise com ênfase apenas no experimento 3.	(*) Métodos estatísticos - Desvio Padrão, média, estimativa de confiabilidade são utilizados para analise de velocidade perceptual em testes desenvolvidos durante a realização de tarefas (*) captura e processamento de informações utilizando-se dos sistemas TRACON e ATC. (*) Análise estatistica de sobre a confiabilidade de dados originadas a partir de testes de habilidades apresentados.	(*) Análise espacial (*)Conhecimento de similaridade (*)Matriz de aproximação de objetos (*)Testes verbais ou de variáveis espaciais (*)Orientação espacial - entre outros citados na tabela 8 do presente estudo
[Yoshikawao, T., Koeda, M., Sugihashi, M. 2007]	Propor um método para avaliar quantitativamente o grau de destreza de uma pessoa utilizando-se de meios hápticos e tecnologias de RV.	Criação de um método para avaliação quantitativa da lateralidade e da destreza de uma pessoa em seu desempenho de algumas tarefas realizadas utilizando-se de RV e dispositivos hápticos.	(*) análise fatorial (*) Calculo de quiralidade (*) Avaliação quantiativa de lateralidade - Método 1 - LQ (Laterality quotient) - quociente de lateralidade (específico para o dominio)	(*) Informações sobre posição de objetos (*) Força
[Stylopoulos, N., Vosburgh, K.G. 2007]	Desenvolver um novo método quantitativo para avaliar o desempenho de cirurgiões por meio de interfaces robóticas nas áreas de laparoscopia e endoscopia.	Método de avaliação de desempenho C-PASS (Performance Assessment and Scoring System)	(*)Método de avaliação de desempenho C-PASS (Performance Assessment and Scoring System) (*)Modelagem de distribuições cinemáticas por distribuições de Gaus Desvio padrão (*) Teoria de análise de cinemática (originada nos estudos de habilidades psicomotoras) (*) Gravação de trajetória (*) Comparação de scores de avaliação	(*) Comprimento do caminho (*) Suavidade do movimento (*) Percepção de profundidade (*) Resposta de orientação (*) Ambidestria (*) Agarramento (*) Demanda de esforço mental (*) Demanda de esforço físico (*) Nível de frustração (*) Nível de erros
[Stefanidis, D. et al. 2007]	Avaliar se uma tarefa visual-espacial que mede a capacidade de atenção de um indivíduo seria distinguível entre sujeitos com diferentes níveis de especialização em laparoscopia considerando a teoria da automaticidade durante o processo de aquisição de habilidades.	Implementar testes de automaticidade para avaliar o foco de atenção de um indivíduo durante a realizaçãod e duas tarefas simultâneamente analisando a carga de atenção aplicada na realização de uma tarefa primária e ao mesmo tempo na execução de outra tarefa secundária em um contextos de profissionais novatos e especialistas.	(*)Análise de variança estatistica comparativa entre especialistas, indivíduos treinados, profissionais de residência médica e novatos.	(*) Tempo de sutura (*) Pontuação de sutura (*) Repetições e não repetições (*) Tempo entre a primeira tarefa realizada e a segunda tarefa
[Solis, J.a, et al. 2009]	Desenvolver dispositivo paciente para atuar como  um modelo convencional humano na realização de treinamento de suturas por meio de simulação física e mediada por computadores capurando e pocessando métodos de avaliação quantitativa.	Desenvolver um robô paciente que incorpora sensores e atuadores com base em um modelo convencional humano para realização de treinamento de suturas por meio de simulação física e mediada por computadores capurando e pocessando métodos de avaliação quantitativa.	(*) Captura de dados a partir de sensores incorporadas em um manequim de pele para detectar o movimento artificial da pele durante a realização da tarefa de sutura/ligadura e uma webcam para captura imagens gravadas; (*)Avaliação do procedimento simulado através da aplicação de um método matemático (Função E-suture) envolvendo as dimensões: dimensões eficiência, segurança e qualidade na realização de tarefas. (*) Função linear de predição conhecida como função discriminante - E-suture que projeta curvas de aprendizagem com parâmetros de eficiência, segurança e qualidade observados durante a realização de uma tarefa; (*) Algoritmo de processamento de imagens para medir paramêtros físicos de uma sutura ou uma ferida aberta. (*) Processamento da função E-sutura e captura de dados em um sistema com interface amigável (Borland C++) exibindo gradativamente o resultado de cada indice de desempenho de forma comparativa entre os cirurgiões especialistas e aprendizes.	(*) Força (*) Distância (*) Tempo (*) Task Efficiency (Eficiencia): Parâmetro de avaliação (T - Tempo) (*) Task Safety (Segurança): Força aplicada no tecido (FoT - Force in  tissue)e Avaliação da tensão - (JuT - Judging Tension). (*) Task Quality (Qualidade): (Dbs - Distance between sutures) e (WoD - Wound Dehiscence)
[Baldas, V. et al. 2010]	Desenvolver um sistema computacional automatizado que analisa vídeos de cirurgias de catarata a fim de rastrear a posição do instrumento cirurgico em toda parte da cirurgia e fornecer um feedback sobre a experiência de cirurgiões.	Criar uma metodologia para analise  de vídeos de cirurgias de catarata a fim de rastrear a posição do instrumento cirurgico em toda parte da cirurgia e fornecer um feedback sobre a experiência de cirurgiões.	(*) Gravação de vídeo/trajetória do procedimento e dos intrumentos cirurgicos; (*) Algoritmo de rastreamento e identificação de objetos em vários níveis; (*) Modelo matemático/estatistico para calculo do "Fator de eficiência" considerando parâmetros como: o número de movimentos e o caminho total/trajeto do cirurgião; (*) Feedback automatizado sobre a destreza do cirurgião durante a operação durane a realização dos procedimentos cirurgicos; Analise de correlação entre o nível de experiência do cirurgião e o fator de eficiência; (*) Modelo matemático que preve um "Fator de Eficiência (R)" a partir de uma análise de correlação que utiliza os parâmetros coletados e revela a experiência ou o fator de eficiência entre as categorias de cirurgiões (Novatos a experientes).	(*) Número total de movimentos (*) Comprimento do caminho (*) Tempo necessário para tarefa (*) Velocidade do cirurgião
[Rissanen, M.et al. 2006]	Desenvolver um framework para transferência de habilidades cirúrgicas com base em anotação.	Desenvolvimento de um framework para transferência de habilidades cirúrgicas com base em anotação registrando procedimentos de simulação cirurgica	(*) Algoritmo de escalonamento de trajetórias (*) Gravação de trajetórias (*) Registro de anotações	(*) Agitação da mão (*) Suavidade do movimento (*) Velocidade média do movimento (*) Anotações
[Moreno-Ger, P. et al. 2008]	Descrever um projeto e metodologia de implementação de simulações médicas de baixo custo em uma plataforma educacional e-Adventure, e com sucesso aborda os requisitos de integração com atuais plataformas de e-learning	Prototipação de um jogo educacional em uma plataforma e-Adventure, por meio de um ciclo bem definido de etapas que incluem: A definição de storyboards, planejamento do rastreamento de estudantes e de sua avaliação, implementação do storyboards, implementaçao de um "plano de avaliação", coleta e integração de elementos da arte desenvolvimento do jogo como parte de um programa de treinamento on-line.	(*) Desenvolvimento de storyboard's (roteiros) descrevendo passos, locais, participantes (personagens) ou cenas necessários para a realização de um procedimento; (*) Interação dos ítens presentes no storyboard - objetos, personagens e outros; (*) Implementação de uma rede de cenários para navegação; (*) Técnicas de monitoria e avaliação de desempenho de aprendizes que interagem com diferentes objetos de aprendizagem; (*) Criação de um plano de avaliação caracterizando parâmetros para oq ue se considera um "bom desempenho" em forma de um "cheklist" com os erros, omissões do aprendiz, tempo e outros fatores;	(*)Tempo (*)Erros, (*) Cheklist de parâmetros criados a partir do domínio da aplicação.
[Shing, Chang-0Yih, et al. 2002]	Avaliar a influência de sinais auditivos e táteis sobre o desempenho de manipulação em um sistema reabilitação de mãos baseado em realidade virtual.	Metodologia para avaliação da influência de sinais auditivos e táteis sobre o desempenho de manipulação em um sistema reabilitação de mãos baseado em realidade virtual.	(*) Ambientes virtuais tridimensionais foram desenvolvidos (*) Gravação de trajetória das mãos foram implementadas (*) Análise de resultados de tempo médio na realização de uma tarefa e frequencia de colisão utilizando-se de métodos estatísticos (*) Análise de dificuldade da tarefa utilizanod-se das leis de Fitts - (Fitts Law) (*) Método de análise combinatória -  Latin Squares para propor ordens de apresentação (*) Método estatístico - Análise de variança (ANOVA) (*) Teste Wilcoxon Sign-rank (*) Teste Kruskal-Wallis	(*) Tempo de prova (o período de tempo em segundos de apreender o objeto para liberá-lo) (*) Frequência de colisão (o número de colisões entre objeto e buraco)
[Choi, Kup-Sze.; Soo, S.; Chung,Fu-Lai.2008]	Desenvolvimento de um baixo custo, sistema de formação virtual para para o aprendizado de cirurgias de catarata por facoemulsificação.	Desenvolvimento de um sistema de baixo custo baseado em mãos  cirúrgicas virtuais para o aprendizado da cirurgia de catarata por facoemulsificação.	(*) gravação do desempenho do usuário, capturando métricas quantitativas a fim de acompanhar o progresso de aprendizagem dos aprendizes e para lhes fornecer informações objetivas (*) gravação da cinemática do movimento de ambas as mãos durante a formação (*) Modelo de Massa-mola é utilizado para simular a deformação do tecido (*) calculo de média e desvio padrão sobre as informações capturadas nos procedimentos realizados entre os aprendizes (*) framework que gera informações específicas e quantitativas sobre a destreza manual dos aprendizes	(*) Magnitude de força aplicada (*) Feedback de força gerado (*) Gravação da trajetória (*) Velocidade na manipulação do instrumento (*) Deformação do tecido

            Do ponto de vista metodológico a Tabela III destaca áreas de aplicação e ambientes a partir dos artigos selecionados para a leitura.

           

Tabela III – Artigos encontrados, escopo, áreas e ambiente de aplicação

Artigos	Escopo	Área/dominio	Tipo do ambiente
[Chen, W. et al. 2010]	Rehabilitação	Medicina	Simulação baseada em computadores
[Raphael, G. et al. 2009	Treinamento	Militar	Simuladores híbridos
[Chalmers, N. et al. 2009]	Rehabilitação	Medicina	Simuladores híbridos
[King, R.C. et al. 2009]	Treinamento	Medicina	Simuladores híbridos
[Vuillermot, S. et al. 2009]	Treinamento	Medicina	Simuladores hibridos
[Tanaka, Y. et al. 2008]	Treinamento	Esporte	Simuladores híbridos
[Colombo, R. et al. 2008]	Rehabilitação	Medicina	Simuladores híbridos
[Ackerman, P.L., Beier, M.E. 2007]	Treinamento	Aviação	Simuladores híbridos
[Yoshikawao, T., Koeda, M., Sugihashi, M. 2007]	Rehabilitação	Medicina	Simuladores híbridos
[Stylopoulos, N., Vosburgh, K.G. 2007]	Cirurgia	Medicina	Simuladores híbridos
[Stefanidis, D. et al. 2007]	Treinamento	Medicina	Simuladores hibridos
[Solis, J.a, et al. 2009]	Treinamento	Medicina	Simuladores hibridos
[Baldas, V. et al. 2010]	Treinamento	Medicina	Simuladores hibridos
[Rissanen, M.et al. 2006]	Treinamento	Medicina	Simuladores hibridos
[Moreno-Ger, P. et al. 2008]	Treinamento	Medicina	Simulação baseada em computadores
[Shing, Chang-0Yih, et al. 2002]	Treinamento	Medicina	Simuladores híbridos
[Choi, Kup-Sze.; Soo, S.; Chung,Fu-Lai.2008]	Treinamento	Medicina	Simuladores hibridos

            Dos 17 trabalhos selecionados 88% apresentam são contextualizados em ambientes de simulação híbrida e 12% apresentam processos de simulação baseados em computadores.

            Para compreensão do conceito de simulação híbrida, utilizou-se a taxonomia apresentada por Santos et al (2009) sobre Realidade Virtual (RV) aplicada ao ensino de medicina, conceituando modelos físicos, simulação baseada em computador e simulação híbrida.

            Segundo Santos et al (2009) A simulação híbrida combina modelos físicos com computadores e geralmente são usadas com uma interface real, tal como instrumentos cirúrgicos para fazer a interface entre o manequim e o computador.

            Quanto as áreas/domínios de aplicação, grande parte dos trabalhos predominam na área médica – 88% de representação, seguidos das áreas de esporte – 1% e Militar – 1%.

           

Gráfico 3: Artigos Inseridos e Excluídos

            No que se refere ao escopo de aplicação, grande parte dos trabalhos predominam na área de treinamento – 71%, seguido das áreas de reabilitação motora – 23% e Cirurgia – 6%.

REFERÊNCIAS

ACKERMAN, P.L., BEIER, M.E. Further Explorations of Perceptual Speed Abilities in the Context of Assessment Methods, Cognitive Abilities, and Individual Differences During Skill Acquisition (2007) Journal of Experimental Psychology: Applied, 13 (4), pp. 249-272. Disponível em : <http://www.scopus.com/inward/record.url?eid=2-s2.0-38549110144&partnerID=40&md5=ea48265d16d358de488a37337da64c7b>. Acesso em: 15 Mai 2012.

ADAMS, J.; ZASK, A.; DIETRICH, U. Tooty Fruity Vegie in Preschools: An obesity prevention intervention in preschools targeting children's movement skills and eating behaviours. Health Promotion Journal of Australia,  20 (2), 2009. Disponível em: . Acesso em: 15 Mai. 2012.

ADAMUS, W. A New Method of Job Evaluation. Analele Stiintifice ale Universitatii "Alexandru Ioan Cuza" din Iasi - Stiinte Economice, 56, issue , p. 515-536, 2009. Disponivel em: . Acesso em: 08 Mai. 2012.

ADCOCK, A. B. et al. The impact of content area focus on the effectiveness of a web-based simulation. Jornal  British Journal of Educational Technology. V. 41. Is. 3.  Blackwell Publishing Ltd. SN. 1467-8535. p. 388-402. 2010. Disponível em: . Acesso em: 15 Mai. 2012.

ALBERT, D. et al. Competence assessment for spinal anaesthesia. Journal Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 3rd Symposium of the Workgroup Human-Computer Interaction and Usability Engineering of the Austrian Computer Society. v. 4799 LNCS, p.165-170, 2007.  Disponivel em: . Acesso em: 15 Mai. 2012.

ANTONA, M.; MOUROUZIS, A.; STEPHANIDIS, C. Towards a walkthrough method for universal access evaluation. In Proceedings of the 4th international conference on Universal access in human computer interaction: coping with diversity(UAHCI'07), Constantine Stephanidis (Ed.). Springer-Verlag, Berlin, Heidelberg, 325-334, 2007.

BALDAS, V. et al.  A real-time automatic instrument tracking system on cataract surgery videos for dexterity assessment. Information  Technology and Applications in Biomedicine (ITAB), 2010 10th IEEE International Conference on , p.1-4, 3-5 Nov. 2010. Disponivel em: . Acesso em: 04 Jun. 2012.

BARNETT, A. L. Motor assessment in developmental coordination disorder: From identification to intervention. International Journal of Disability, Development and Education, 55 (2), p. 113-129, 2008. Disponível em: http://www.scopus.com/inward/record.url?eid=2-s2.0-45849116930&partnerID=40&md5=c20fa1fbbe792e7921e4c0d20e55b7e0>. Acesso em: 15 Mai. 2012.

BELLOWS, L. et. al. Parental perception on the efficacy of a physical activity program for preschoolers. Journal of Community Health, v. 36 (2), p. 231-237, 2011. Disponível em: . Acesso em: 15 Mai. 2012. BO, G.; XIAO-DONG, Z.; SHUANG-YUE, D.  An evaluation method of design ability using mental workload assessment. College of Mechanical Engineering,Chongqing University,Chongqing 400030, P.R. China. CNKI:SUN:FIVE.0.2009-03-011.

BIOLCHINI, J.; Mian, P. G.; Natali, A. C. C.; Travassos, G. H. Sytematic review in software  engineering.  Relatório  Técnico,  RT-ES  679/05  System  Engineering  and Computer Science Dept., COOPE/UFRJ. 2005.

BLAVIER, A. et al. Learning with simulations in medical education validity and design of learning settings in particular contexts. In Proceedings of the 8th international conference on International conference for the learning sciences - Volume 3 (ICLS'08), Vol. 3. International Society of the Learning Sciences 198-205, 2008.

BORGHUIS, J.; HOF, A. L.; LEMMINK, K. A. P. M. The Importance of Sensory-Motor Control in Providing Core Stability: Implications for Measurement and Training. Sports Medicine. 38(11):893-916, AN: 00007256-200838110-00002,  November 1, 2008.

BRIDGE P. et al. W. The development and evaluation of a virtual radiotherapy treatment machine using an immersive visualisation environment. Comput. Educ. 49, 2 (September 2007), 481-494, 2007. DOI=10.1016/j.compedu.2005.10.006 http://dx.doi.org/10.1016/j.compedu.2005.10.006

BRELSTAFF, G. et al. Towards a psychophysical evaluation of a surgical simulator for bone-burring. In Proceedings of the 2nd symposium on Applied perception in graphics and visualization (APGV '05). ACM, New York, NY, USA, 139-143, 2005. DOI=10.1145/1080402.1080429 http://doi.acm.org/10.1145/1080402.1080429

BRYDGES, R. et al. Developing Criteria for Proficiency-Based Training of Surgical Technical Skills Using Simulation: Changes in Performances as a Function of Training Year. Journal of the American College of Surgeons, 206 (2), p. 205-211, 2008. Disponível em: . Acesso em: 15 Mai. 2012.

CARSWELL, C. M. et al. Hands-free administration of subjective workload scales: Acceptability in a surgical training environment. Applied Ergonomics, 42 (1), p. 138-145, ISSN 0003-6870, 2010. Disponível em: . Acesso em: 15 Mai. 2012.

CHALMERS, N. et al. Recombination of common sensory-motor impairment evaluation techniques using a committee of classifiers. Conference proceedings : ... Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Conference,  p. 857-860, 2009. Disponível em: . Acesso em: 15 Mai. 2012.

CHARLIER, N. Game-based assessment of first aid and resuscitation skills. Resuscitation, v.  82 (4), p. 442-446, 2011. Disponível em: . Acesso em: 15 Mai. 2012.

CHEN, W. et al. Kinematic analysis and dexterity evaluation of upper extremity in activities of daily living. Gait & Posture, V. 32, Issue 4, October 2010, P.  475-481, ISSN 0966-6362, 10.1016/j.gaitpost, 2010. Disponível em: . Acesso em: 15 Mai. 2012.

CHONG-GAO, X.; QING, L.; BING, C. Coordination and Explosive Strength Performing Measurement and Evaluation Method in Jump Action Coordinative Ability of Track and Field. Xi′an Physical Education University,Xi′an 710068,China) . Journal of Xi'an Physical Education University. CNKI:SUN:XATY.0.2008-06-021, 2008.

CLARK, E. et al. Effects of motor control intervention for children with idiopathic toe walking: A 5-case series. Pediatric Physical Therapy, 22 (4), p. 417-426, 2010. Disponível em: . Acesso em: 15 Mai. 2012.

COLOMBO, R. et al. Assessing mechanisms of recovery during robot-aided neurorehabilitation of the upper limb. Neurorehabilitation and Neural Repair, 22 (1), p. 50-63, 2008. Disponível em: . Acesso em: 15 Mai. 2012.

COMBE, N. et al.  An investigation into usability and exclusivity issues of digital programmable thermostats. Journal of Engineering Design, v. 23 (5), p. 401-417, 2012. Disponível em: . Acesso em: 15 Mai. 2012.

CRUTCH, S. J, et al.  A novel technique for the quantitative assessment of apraxic deficits: Application to individuals with mild cognitive impairment, Journal of Neuropsychology, v.1, n.2, Blackwell Publishing Ltd, issn = 1748-6653, p. 237- 257, 2007. Disponivel em: . Acesso em: 04 Jun. 2012.

CHITTARO, L.; RANON, R. Web3D technologies in learning, education and training: Motivations, issues, opportunities. Comput. Educ. 49, 1 (August 2007), 3-18, 2007. DOI=10.1016/j.compedu.2005.06.002 http://dx.doi.org/10.1016/j.compedu.2005.06.002

CHOI, Kup-Sze.; SOO S.; CHUNG, Fu-Lai. A virtual training simulator for learning cataract surgery with phacoemulsification. Comput. Biol. Med. 39, 11 (November 2009), 1020-1031, 2009. DOI=10.1016/j.compbiomed.2009.08.003 http://dx.doi.org/10.1016/j.compbiomed.2009.08.003

CROSSAN, A.; BREWSTER, S. Multimodal Trajectory Playback for Teaching Shape Information and Trajectories to Visually Impaired Computer Users. ACM Trans. Access. Comput.1, 2, Article 12 (October 2008), 34 pages, 2008. DOI=10.1145/1408760.1408766 http://doi.acm.org/10.1145/1408760.1408766

CROWLEY, R.S.; MEDVEDEVA, O. An intelligent tutoring system for visual classification problem solving. Artificial Intelligence in Medicine (2006) 36, 85—117. doi:10.1016/j.artmed. 2005.01.005.

CUNNINGHAM, L. et al. Identifying fine movement difficulties in Parkinson's disease using a computer assessment tool. Information Technology and Applications in Biomedicine, 2009. ITAB 2009. 9th International Conference on , p.1-4, 4-7 Nov. 2009. Disponível em: . Acesso em: 15 Mai. 2012.

DENOUAL, T. et al. Drivers' Perception of Loss of Adherence in Bends: Influence of Motion Rendering. J. Comput. Inf. Sci. Eng, v. 11 ,  Issue 4, 041004 (7 p.), 2011. Disponivel em: . Acesso em: 15 Mai. 2012.

DI LORETO, I.;  GOUAICH, A. Na Early Evaluation Method for Social Presence In Serious Games. Author manuscript, published in "CSEDU) 2nd International Conference on Computer Supported Education, France , lirmm-00446893, version 1 - 13 Jan 2010.

DOMELÖF, E.; JOHANSSON, A, M.; RONNQVIST, L. Handedness in preterm born children: A systematic review and a meta-analysis, Neuropsychologia, v. 49, Issue 9, July, p. 2299-2310, ISSN 0028-3932, 2011. Disponivel em: . Acesso em: 04 Jun. 2012.

DRINKWATER, E. Effects of peripheral cooling on characteristics of local muscle. Medicine and Sport Science, 53, p. 74-88, 2008. Disponível em: . Acesso em: 15 Mai. 2012.

DURATTI, L.; WANG, F.; SAMUR E.; BLEULER, H. A real-time simulator for interventional radiology. In Proceedings of the 2008 ACM symposium on Virtual reality software and technology (VRST '08). ACM, New York, NY, USA, 105-108, 2008. DOI=10.1145/1450579.1450602 http://doi.acm.org/10.1145/1450579.1450602

DIETRICH, A.; CORD, H.; ZSUZSANNA, K.; SHORTEN, G. Competence assessment for spinal anaesthesia. In Proceedings of the 3rd Human-computer interaction and usability engineering of the Austrian computer society conference on HCI and usability for medicine and health care (USAB'07), Andreas Holzinger (Ed.). Springer-Verlag, Berlin, Heidelberg, 165-170, 2007.

DUKELOW, S P; et al. Quantitative Assessment of Limb Position Sense Following Stroke Neurorehabil Neural. Repair February 2010 24: 178-187, First published on September 30, 2009, doi:10.1177/1545968309345267.

EID, M.; OROZCO, M.; SADDIK A. E. A guided tour in haptic audio visual environments and applications. Int. J. Adv. Media Commun. 1, 3 (June 2007), 265-297,2007. DOI=10.1504/IJAMC.2007.013918 http://dx.doi.org/10.1504/IJAMC.2007.013918

FALLOWS, R.; MCCOY, K. Grand Rounds - Long-Term Sequelae of Cerebellar Cognitive Affective Syndrome: A Case Presentation. Published by Oxford University Press, 2011.

FAWCETT, J. W. et al. Guidelines for the conduct of clinical trials for spinal cord injury as developed by the ICCP panel: Spontaneous recovery after spinal cord injury and statistical power needed for therapeutic clinical trials. Spinal Cord, 45 (3), p. 190-205, 2007. Disponível em: . Acesso em: 15 Mai. 2012.

FRASAT CHAUDRY, D. P.; JAY, W. M. Stroke and Driving. Journal Topics in Stroke Rehabilitation. v. 15. p.  37-41. 2008. Disponível em: . Acesso em: 15. Mai. 2012.

FURNHAM, et al. Ability, demography, learning style, and personality trait correlates of student preference for assessment method, journal Educational Psychology, v 28, n. 1, p. 15-27, 2008.  Disponivel em: . Acesso em: 04 Jun. 2012.

GALLI, M. et al. Quantifying established clinical assessment measures using 3D-movement analysis in individuals with Down syndrome. Disability and Rehabilitation, 32 (21), p. 1768-1774, 2010.  Disponível em: . Acesso em: 15 Mai. 2012.

GAMACHE, P. L. et al. Alternative avenues in the assessment of driving capacities in older drivers and implications for training. Current Directions in Psychological Science, 19 (6), p. 370-374, 2010. Disponível em: . Acesso em: 15 Mai. 2012.

GEORGE, S.; CROTTY, M. Establishing criterion validity of the useful field of view assessment and stroke drivers' screening assessment: Comparison to the result of on-road assessment. American Journal of Occupational Therapy, 64 (1), p. 114-122, 2010. Disponível em: http://www.scopus.com/inward/record.url?eid=2-s2.0-76649138912&partnerID=40&md5=c73013f267bc970edcd2fd34aa9d90b0>. Acesso em: 15 Mai. 2012.

GERRIT, G. J. M. VAN ZOEST.; FILIP, F. G.M.; STAES, K. H. S. Three-Dimensional Manual Contact Force Evaluation of Graded Perpendicular Push Force Delivery by Second-Year Physiotherapy Students During Simple Feedback Training. Journal of Manipulative and Physiological Therapeutics, V. 30, Issue 6, P. 438-449, ISSN 0161-4754, 2007. Disponível em: . Acesso em: 15 Mai. 2012.

GEROVICHEV, O.; MARAYONG, P.; OKAMURA, A.M. The Effect of Visual and Haptic Feedback on Manual and Teleoperated Needle Insertion. In Proceedings of the 5th International Conference on Medical Image Computing and Computer-Assisted Intervention-Part I (MICCAI '02), Takeyoshi Dohi and Ron Kikins (Eds.). Springer-Verlag, London, UK, UK, 147-154, 2002.

GREEN, M.; SEEPERSAD, C. C.; HOLTTA-OTTO, K. Extreme Experience Interviews for Innovative Designs:  Classroom Assessment of a New Needs-Gathering Method. American Society for Engineering Education, 2010.

GUIDALI, M. Assessment and training of synergies with an arm rehabilitation robot," Rehabilitation Robotics. IEEE International Conference on , p.772-776, 23-26 June 2009.  Disponivel em: . Acesso em: 04 Jun. 2012.

GUPTA, A.; O'MALLEY, M. K.; PATOGLU, V.; BURGAR, C. Design, Control and Performance of RiceWrist: A Force Feedback Wrist Exoskeleton for Rehabilitation and Training. Int. J. Rob. Res. 27, 2 (February 2008), 233-251, 2008. DOI=10.1177/0278364907084261 http://dx.doi.org/10.1177/0278364907084261

HAGLER, S.; JIMISON, H.; PAVEL, M. Unobtrusive in-home assessment by means of everyday computer mouse usage. Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society, EMBS, art. no. 6090774, p. 3816-3819, 2001. Disponível em: . Acesso em: 15 Mai. 2012.

HARTZLER, B. et al. What is seen through the looking glass: The impact of training on practitioner self-rating of motivational interviewing skills. Behavioural and Cognitive Psychotherapy, 35 (4), p. 431-445, 2007. Disponível em: . Acesso em: 15 Mai. 2012.

HARWIN, W. S.; MURGIA, A.; STOKES, E. K.  Assessing the effectiveness of robot facilitated neurorehabilitation for relearning motor skills following a stroke. Medical and Biological Engineering and Computing, p. 1-10. Article in Press, 2011. Disponível em: . Acesso em: 15 Mai. 2012.

HARWIN, W. S.; STOKES, E. K.  Assessing the effectiveness of robot facilitated neurorehabilitation for relearning motor skills following a stroke. Medical & biological engineering & computing, 49 (10), p. 1093-1102, 2011. Disponível em: . Acesso em: 15 Mai. 2012.

HATANAKA, T. A. B. et al. A new evaluation method for upper extremity dexterity of patients with hemiparesis after stroke: the 10-second tests. International Journal of Rehabilitation Research. Clinical Medicine. ISSN: 0342-5282  30(3):243-247, September.Lippincott Williams & Wilkins, Inc. 10.1097/MRR.0b013e3282ab961d, 2007.

HIELKEMA, T. et al. Does physiotherapeutic intervention affect motor outcome in high-risk infants? An approach combining a randomized controlled trial and process evaluation. Developmental Medicine and Child Neurology, v. 53 (3), p. e8-e15. Disponível em: . Acesso em: 15 Mai. 2012.

HILLA, SARIG-BAHAT. Motion assessment system and method Application. Publication number:US 2011/0230792 A1, Filing date: 2 Dec 2009.

HUANG, Y. Y.; LOW, K. H.; LIM, H. B. Objective and quantitative assessment methodology of hand functions for rehabilitation, Robotics and Biomimetics. IEEE International Conference on., p.846-851, 22-25 Feb, 2009. Disponivel em: . Acesso em: 04 Jun. 2012.

HUEGEL, J. C.; O'MALLEY, M. K. Progressive haptic and visual guidance for training in a virtual dynamic task. Haptics Symposium, p .343-350, 25-26 March 2010. Disponível em: . Acesso em: 15 Mai. 2012.

IEEE World Haptics Conference, WHC 2011, 510 p. Dispnível em: . Aceso em: 15 Mai. 2012.

IWASAKI, A.; MORIYAMA, S.; SHIRAKUSA, T. New trainer for video-assisted thoracic surgery lobectomy. Thoracic and Cardiovascular Surgeon, 56 (1), p. 32-36, 2008. Disponível em: . Acesso em: 15 Mai. 2012.

JOHANSSON, B. B. Current trends in stroke rehabilitation. A review with focus on brain plasticity. Acta Neurologica Scandinavica, 123 (3), p. 147-159, 2011. Disponível em: . Acesso em: 15 Mai. 2012.

KENT, R.  et al. Construct validity of an objective assessment method for laparoscopic intracorporeal suturing and knot tying, The American Journal of Surgery, v. 196, Issue 1, p. 74-80, ISSN 0002-9610, 10.1016/j.amjsurg. 2007.08.058, July 2008. Disponivel em: . Acesso em: 04 Jun. 2012.

KING, R. C. et al. Development of a Wireless Sensor Glove for Surgical Skills Assessment. Information Technology in Biomedicine, IEEE Transactions on, v. 13, n. 5, p.673-679, Sept. 2009. Disponível em: . Acesso em: 15 Mai. 2012.

KITABAYASHI, T.; DEMURA, S.; MURASE, H. Proposal for a new body sway evaluation method. Perceptual and Motor Skills, 113 (1), p. 127-138, 2011. Disponível em: . Acesso em: 15 Mai. 2012.

KITCHENHAM, B. “Procedures  for  Permorming  Systematic Reviews”,  Joint Technical Report Software Engineering Group, Departament of Computer Sicence keele  University,  United  king  and  Empirical  Software  Engineering, Nacional  ICT Australia Ltd, Australia, 2004.

LEMAITRE, G. et al. Toward the design and evaluation of continuous sound in tangible interfaces: The Spinotron. International Journal of Human Computer Studies, 67 (11), p. 976-993, 2009. Disponível em: . Acesso em: 15 Mai. 2012.

LUCIANI, D.; STEFANINI, F.M. Automated interviews on clinical case reports to elicit directed acyclic graphs. Artif. Intell. Med. 55, 1 (May 2012), 1-11, 2012. DOI=10.1016/j.artmed.2011.11.007 http://dx.doi.org/10.1016/j.artmed.2011.11.007

MALINVERNI, L.; SILVA, B.L.; PARÉS, N. Impact of embodied interaction on learning processes: design and analysis of an educational application based on physical activity. In Proceedings of the 11th International Conference on Interaction Design and Children (IDC '12). ACM, New York, NY, USA, 60-69, 2012. DOI=10.1145/2307096.2307104 http://doi.acm.org/10.1145/2307096.2307104

MENZEL, H. J. et al. Usefulness of the jump-and-reach test in assessment of vertical jump performance.  Perceptual and Motor Skills, 110 (1), p. 150-158, 2010. Disponível em: . Acesso em: 15 Mai. 2012.

MORENO-GER, P. et al. Online learning and clinical procedures: rapid development and effective deployment of game-like interactive simulations. In Transactions on edutainment I, Abdennour El Rhabili (Ed.). Lecture Notes In Computer Science, Vol. 5080. Springer-Verlag, Berlin, Heidelberg 288-304, 2008.

OGG, R. J. et al. Passive range of motion functional magnetic resonance imaging localizing sensorimotor cortex in sedated children: Clinical article. Journal of Neurosurgery: Pediatrics, 4 (4), p. 317-322, 2009. Disponível em: .  Acesso em: 15 Mai. 2012.

OHTOSHI, T., MURAKI, T., TAKADA, S. Investigation of age-related developmental differences of button ability. Pediatrics International, 50 (5), p. 687-689, 2008. Disponivel em:  . Acesso em: 04 Jun. 2012.

OHWADA, H.; NAKAYAMA, T. Survey on the implementation of blood and urine examinations at Japanese institutions and schools for individuals with intellectual disabilities and/or motor disabilities in 1998. Journal of Nutritional Science and Vitaminology, 53 (5), p. 437-440, 2007. Disponível em: . Acesso em: 15 Mai. 2012.

OLEKSY, L. et al. A proposal for the application of the Carpal Tunnel Syndrome  evaluation method using surface electromyography. A pilot study Medical Rehabilitation, 13 (4), 1-8, ISSN 1896-3250  © ELIPSA-JAIM & WSA Bielsko-Biała, 2009.

OROZCO, M.; GRAYDON, M.; SHIRMOHAMMADI, S.; Saddik, A. Experiments in haptic-based authentication of humans. Multimedia Tools Appl. 37, 1 (March 2008), 73-92, 2008. DOI=10.1007/s11042-007-0169-9 http://dx.doi.org/10.1007/s11042-007-0169-9

ONOZAWA, A.; KIKUKAWA, A.; MIYAMOTO, Y. A new evaluation method for +Gz tolerance with loratadine by using a near-infrared spectroscopy. Journal Dynamic Medicine, v.7, n. 1, p. 3, PubMedID 18226263, ISSN 1476-5918, 2008. Disponivel em: . Acesso em: 04 Jun. 2012.     

PAAL, P. et al. Effects of training time and feedback on ventilation  skills in lay rescuers. Emergency Medicine Journal Emerj,  v. 27, n. 4, p. 313-316, 2010. Disponivel em: . Acesso em: 15 Mai. 2012.

PAYNE, V. L. et al.  Effect of a limited-enforcement intelligent tutoring system in dermatopathology on student errors, goals and solution paths. Artif. Intell. Med. 47, 3 (November 2009), 175-197, 2009. DOI=10.1016/j.artmed.2009.07.002 http://dx.doi.org/10.1016/j.artmed.2009.07.002

PAPASTERGIOU, M. Exploring the potential of computer and video games for health and physical education: A literature review. Comput. Educ. 53, 3 (November 2009), 603-622, 2009. DOI=10.1016/j.compedu.2009.04.001 http://dx.doi.org/10.1016/j.compedu.2009.04.001

PARK, S. B.; LIN, C. S-Y.; KIERNAN, M. C. Nerve excitability assessment in chemotherapy-induced neurotoxicity. Journal  of Visualized Experiments, n. 62, n.e3439, 2012. Disponível em: . Acesso em: 15 Mai. 2012.

PATEL, V. L.; YOSKOWITZ, N. A., AROCHA, J.F.; SHORTLIFFE E.H. Methodological Review: Cognitive and learning sciences in biomedical and health instructional design: A review with lessons for biomedical informatics education. J. of Biomedical Informatics 42, 1 (February 2009), 176-197, 2009. DOI=10.1016/j.jbi.2008.12.002 http://dx.doi.org/10.1016/j.jbi.2008.12.002

PENFORNIS, A. Performance of a new reusable insulin pen. Diabetes Technology and Therapeutics, 13 (3), pp. 373-379, 20011. Disponível em: . Acesso em: 15 Mai. 2012.

PIRO, K. Investigating the Impact of a Psychometric Assessment  Technique in the South African Automotive Industry.  Industrial and Organisational Psychology.  Faculty of Business and Economic Sciences. Nelson Mandela Metropolitan University. Port Elizabeth.South Africa, MARCH 2011. Disponivel em: . Acesso em: 04 Jun. 2012.

PLIMMER, B.; CROSSAN, A.; BREWSTER, S. A.;  BLAGOJEVIC, R. Multimodal collaborative handwriting training for visually-impaired people. In Proceedings of the twenty-sixth annual SIGCHI conference on Human factors in computing systems (CHI '08). ACM, New York, NY, USA, 393-402, 2008. DOI=10.1145/1357054.1357119 http://doi.acm.org/10.1145/1357054.1357119

PRINCE, K. J.; SEARS, A. The Development and Evaluation of Performance-Based Functional Assessment: A Methodology for the Measurement of Physical Capabilities. ACM Trans. Access. Comput. 2, 2, Article 10, 31.  Disponivel em: . Acesso em: 04 Jun. 2012.

R, FALLOWS.; K, MCCOY. Grand Rounds - Long-Term Sequelae of Cerebellar Cognitive Affective Syndrome: A Case Presentation. Published by Oxford University Press, 2011.

RADELL,  U. et al. Postnatal cerebral infection leading to hemiplegic cerebral palsy: Functional limitations and disability of 13 children in Sweden. Journal Disability and Rehabilitation, v. 30, n. 25, p. 1910-1919, 2008. Disponível em: . Acesso em: 15 Mai. 2012.

RAPHAEL, G. et al. I-NET®: Interactive neuro-educational technology to accelerate skill learning. Engineering in Medicine and Biology Society, EMBC 2009. Annual International Conference of the IEEE , p.4803-4807, 3-6 Sept. 2009. doi: 10.1109/IEMBS.2009.5332638. Disponível em: . Acesso em: 15 Mai. 2012.

RAPHAEL, G. et al. Interactive Neuro-Educational Technologies (I-NET): Development of a novel platform for neurogaming. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 6780 LNAI, p. 452-461, 2011. Disponível em: . Acesso em: 15 Mai. 2012.

RAUD, Z. "Active learning Power Electronics: A new assessment methodology," Power Electronics and Motion Control Conference (EPE/PEMC),14th International, p.T14-1-T14-5, 6-8 Sept. 2010. Disponivel em:  . Acesso em: 04 Jun. 2012.

REID, P.; PLIMMER, B. A collaborative multimodal handwriting training environment for visually impaired students. In Proceedings of the 20th Australasian Conference on Computer-Human Interaction: Designing for Habitus and Habitat (OZCHI '08). ACM, New York, NY, USA, 195-202, 2008. DOI=10.1145/1517744.1517808 http://doi.acm.org/10.1145/1517744.1517808.

RISSANEN, M.; KURODA Y.; NAKAO M.; KUME N.; KURODA T.; YOSHIHARA H. Annotated surgical manipulation for simulator-based surgical skill-transfer using SiRE – simulation record editor. In Proceedings of the Third international conference on Biomedical Simulation (ISBMS'06), Matthias Harders and Gábor Székely (Eds.). Springer-Verlag, Berlin, Heidelberg, 122-131, 2006. DOI=10.1007/11790273_14 http://dx.doi.org/10.1007/11790273_14

ROSETH J. C.; PELLEGRINI A D. Methods for Assessing Bullying and Victimization in Schools and Other Settings: Some Empirical Comparisons and Recommendations. Cap.7. In: Preventing and Treating Bullying an Victimization. Edited by  Erick  M  Vernberg And  Bridget  K. Biggs. ISBN: 13:978-0-19-533587-3. ISBN-10: 0-19-533587-2. p. 161… Published by Oxford University Press, Inc. 198,  2010. Dispoviel em: . Acesso em: 04 Jun. 2012.

SÁNCHES-GONZÁLES, P. et al. Endoscopic video images analysis for surgical training and image-guided surgery. IFMBE Proceedings, 25 (6), p. 251-254, 2009. Disponível em: . Acesso em: 15 Mai. 2012.

Santos AD, Machado LS. Realidade Virtual Aplicada ao Ensino de Medicina: Taxonomia, Desafios e Resultados. In: Anais do Workshop de Realidade Virtual e Aumentada, Santos, Brazil. CDROM, 2009.

SATAVA, R. M. Emerging trends that herald the future of surgical simulation. Surgical Clinics of North America, 90 (3), p. 623-633, 2010 Disponível em: http://www.scopus.com/inward/record.url?eid=2-s2.0-77953109374&partnerID=40&md5=5e43138d7ba7f17ae65a585e5c03bc60>. Acesso em: 15 Mai. 2010.

SCOTT, S. H.; DUKELOW, S. P. Potential of robots as next-generation technology for clinical assessment of neurological disorders and upper-limb therapy. Journal of Rehabilitation Research and Development, v. 48 (4), p. 335-354, 2011. Disponível em: . Acesso em: 15 Mai. 2012.

SEKIR, U. et al. Reliability of a functional test battery evaluating functionality, proprioception, and strength in recreational athletes with functional ankle instability. European Journal of Physical and Rehabilitation Medicine, 44 (4), p. 407-415, 2008. Disponível em: . Acesso em: 15 Mai. 2012.

SEYMOUR, Neal E.; Gallagher, Anthony G.; Roman, Sanziana A.; O’Brien, Michael K.; Bansal, Vipin K.; Andersen, Dana K.; Satava, Richard M.;Annals of Surgery. V. 236, No. 4, 458 – 464, 2002.

SHING, Chang-Yih. et al. The study of auditory and haptic signals in a virtual reality-based hand rehabilitation system.Robotica 21, 2 (March 2003), 211-218, 2003. DOI=10.1017/S0263574702004708 http://dx.doi.org/10.1017/S0263574702004708

SMITH, S.P.; TODD, S. Evaluating a haptic-based virtual environment for venepuncture training. In Proceedings of the 2007 ACM symposium on Virtual reality software and technology (VRST '07), Stephen N. Spencer (Ed.). ACM, New York, NY, USA, 223-224, 2007. DOI=10.1145/1315184.1315231 http://doi.acm.org/10.1145/1315184.1315231

SOLIS, J. et al. Quantitative assessment of the surgical training methods with the suture/ligature training system. WKS-2RII.  In: ICRA'09 Proceedings of the 2009 IEEE international conference on Robotics and Automation,  Kobe International Conference Center. Kobe, Japan, May 12-17, 2009, p.  4219-4224. Disponível em: . Acesso em: 15 Mai. 2012.

SOLIS, J. et al. Quantitative assessment of the surgical training methods with the suture/ligature training system WKS-2RII. In Proceedings of the 2009 IEEE international conference on Robotics and Automation (ICRA'09). IEEE Press, Piscataway, NJ, USA, 853-858, 2009.

SOUVESTRE, P. A.; BLABER, A. P.; LANDROCK, C. K. Space motion sickness: The sensory motor controls and cardiovascular correlation. Acta Astronautica, 63 (7-10), p. 745-757, 2008. Disponível em: . Acesso em: 15 Mai. 2012.

SOUVESTRE, P. A.; LANDROCK, C. K.; BLABER, A. P. Paradigm for understanding in-flight decision making errors: A neurophysiological model leveraging humanfactors. Hippokratia, 12 (SUPPL. 1), p. 78-83, 2008. Disponível em: . Acesso em: 15 Mai. 2012.

START. State of the Art through Systematic Review . Disponível em:<http://lapes.dc.ufscar.br/ferramentas>. Acesso em: 10 Jun. 2012.

STEFANIDIS, D. et al. Redefining simulator proficiency using automaticity theory. American Journal of Surgery, 193 (4), p. 502-506, 2007. Disponível em: . Acesso em: 15 Mai. 2012.

STYLOPOULOS, N.; VOSBURGH, K. G. Assessing technical skill in surgery and endoscopy: A set of Metrics and an algorithm (C-PASS) to assess skills in surgical and endoscopic procedures. Surgical Innovation, 14 (2), p. 113-121, 2007. Disponível em:. Acesso em: 15 Mai.2012.

TANAKA , Y. et al. deling and evaluation of human motor skills in a virtual tennis task. Proceedings of the 30th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, EMBS'08 - "Personalized Healthcare through Technology", art. n. 4650133, p. 4190-4193, 2008. Disponível em: . Acesso em: 15 Mai. 2012.

TANAKA , Y. et al. deling and evaluation of human motor skills in a virtual tennis task. Proceedings of the 30th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, EMBS'08 - "Personalized Healthcare through Technology", art. n. 4650133, p. 4190-4193, 2008. Disponível em: . Acesso em: 15 Mai. 2012.

TEMPLE, V. et al. A comparison of intellectual assessments over video conferencing and in-person for individuals with ID: preliminary data. Journal of Intellectual Disability Research. v. 54. Is. 6. Blackwell Publishing Ltd. Sn. 1365-2788.  p. 573-577, 2010. Disponível em: < http://dx.doi.org/10.1111/j.1365-2788.2010.01282.x>. Acesso em: 15 Mai. 2012. 

TORI, R.; NUNES, F. L. S.; GOMES, VICTOR, H. P., TOKUNAGA, D. M. VIDA: Atlas Anatômico 3D Interativo para Treinamento a Distância. In:Anais do XXIX Congresso da Sociedade Brasileira de Computação, (WIE 2009 XV Workshop Sobre Informática  na  Escola,  Bento  Gonçalves),  Porto  Alegre:  Sociedade  Brasileira  de Computação,  2009.  p.  1–10.  Disponível  em: . Acesso em: 20 Jul. 2010.

UEBERLE, M.; MOCK, N.; BUSS, M. VISHARD10, a novel hyper-redundant haptic interface. In Proceedings of the 12th international conference on Haptic interfaces for virtual environment and teleoperator systems (HAPTICS'04). IEEE Computer Society, Washington, DC, USA, 58-65, 2004.

VAN HESST, A. et al. Assessment of technical skills of orthopaedic surgery residents performing open carpal tunnel release surgery. Journal of Bone and Joint Surgery - Series A, 91 (12), p. 2811-2817, 2009. Disponível em: . Acesso em: 15 Mai. 2012.

VAN LIERDE, K. M. et al. Impact of anterior single-tooth implants on quality of life, articulation and oromyofunctional behaviour: a pilot study. Journal of Oral Rehabilitation. v 38. IS. 3. PB  - Blackwell Publishing Ltd.  SN  - 1365-2842.  SP. 170 - 175, 2011. Disponível em: . Acesso em: 15 Mai. 2012.

VAN ZOEST, G. G. J. M.;  STAES, F. F. G. M.;  STAPPAERTS,  K. H. Three-Dimensional Manual Contact Force Evaluation of Graded Perpendicular Push Force Delivery by Second-Year Physiotherapy Students During Simple Feedback Training, Journal of Manipulative and Physiological Therapeutics, v. 30, Issue 6, July, p. 438-449, ISSN 0161-4754,  2007. Disponivel em: . Acesso em: 04 Jun. 2012.

VENETSANOU, F. et al. Can the Movement Assessment Battery for Children-Test be the "gold standard" for the motor assessment of children with Developmental Coordination Disorder?. Research in Developmental Disabilities, 32 (1), p. 1-10. Disponível em: . Acesso em: 15. Mai. 2012.

VUILLERMONT, S. et al. An extended drawing test for the assessment of arm and hand function with a performance invariant for healthy subjects. Journal of Neuroscience Methods, 177 (2), p. 452-460, 2009. Disponível em: . Acesso em: 15 Mai. 2012.

ZIEMKE T. Adaptive Behavior in Autonomous Agents. Presence: Teleoper. Virtual Environ. 7, 6 (December 1998), 564-587, 1998. DOI=10.1162/105474698565947 http://dx.doi.org/10.1162/105474698565947

ZHU, S.; KUBER, R.; TRETTER, M.; O'Modhrain,S. Identifying the effectiveness of using three different haptic devices for providing non-visual access to the web. Interact. Comput. 23, 6 (November 2011), 565-581, 2011. DOI=10.1016/j.intcom.2011.08.001 http://dx.doi.org/10.1016/j.intcom.2011.08.001

WESTWOOD, J. et al. Assessment of Laparoscopic Surgical Skill Acquisition and Retention. Medicine Meets Virtual Reality 19: Nextmed, isbn 9781614990215, 2012, @book{westwood2012medicine, LIVRO Medicine Meets Virtual Reality 19, publisher Ios PressInc. Disponível em: . Acesso em: 04 Jun. 2012.

WIDMANN, G. et al. A laboratory training and evaluation technique for computer-aided oral implant surgery. Jornal  The International Journal of Medical Robotics and Computer Assisted Surgery.  Int. J. Med. Robotics Comput. Assist. Surg. v.  5, IS 3,  p. 276-283. John Wiley & Sons, Ltd. SN:1478-596X, 2009.  Disponivel em: 10.1002/rcs.258>. Acesso em: 04 Jun. 2012

YUDELSON, M. V., MEDVEDEVA O.P., CROWLEY R.S. A multifactor approach to student model evaluation. User Modeling and User-Adapted Interaction 18, 4 (September 2008), 349-382, 2008.  DOI=10.1007/s11257-007-9046-5 http://dx.doi.org/10.1007/s11257-007-9046-5

YOSHIKAWAO, T.;  KOEDA, M.; SUGIHASHI, M. A quantitative evaluation method of handedness using haptic virtual reality technology. Proceedings - IEEE International Workshop on Robot and Human Interactive Communication, art. n. 4415098, p. 298-303, 2007. Disponível em: . Acesso em: 15 Mai. 2012.

ZENONAS, T; KAZIMIERAS, E. Z. A new fuzzy additive ratio assessment method (ARAS‐F). Case study: The analysis of fuzzy multiple criteria in order to select the logistic centers location. Journal Transport, v. 25, n. 4, p. 423-432,  ISSN:1648-4142, 2010. Disponivel em: . Acesso em: 04 Jun. 2012.

ZLATKO, M.; KLEMEN, B.; IMRE, C. Development of an objective balance assessment method for purposes of telemonitoring and telerehabilitation in elderly population.  Journal Disability and Rehabilitation, v. 32, n. 3, p.  259-266, note PMID: 19479513, 2010. Disponivel em: . Acesso em: 04 Jun. 2012.

CAPES.  Banco  de  Dados  da  Capes.  Disponível  em: .

GOOGLE  ACADÊMICO.  Disponível  em: http://www..scholar.google.com.br>.

IEEE XPLORE DIGITAL  LIBRARY.  Disponível  em: .

ISI WEB OF KNOWLEDGE. Disponível em: .

SBC  BIBILIOTECA  DIGITAL.  Disponível em: .

SCOPUS. Base de Dados. Disponível. Em: .

UNIVERSIDADE  DE  SÃO  PAULO.  Base  de  Dados.  Disponível em:<www.iee.usp.br/biblioteca/basededados.htm>.