Author(s):
Afonso, Ana Paula Preto Mendes 
Date: 2013
Persistent ID: http://hdl.handle.net/10400.22/3696
Origin: Repositório Científico do Instituto Politécnico do Porto
Subject(s): Perfis de utilizador; Sítio web; Interacção humano-computador (IHC); Heurísticas; Métricas; Acessibilidade; Página web; Evaluación de usabilidad; Heurísticas; Interfaces; Usabilidade; Avaliação de usabilidade; Perfiles de usuario; Interacción humano-ordenador (IHO); Interfaces; Usabilidad; Métricas; Accesibilidad; User Profiles; Website; Human-Computer interaction (HCI); Interfaces; Usability; User testing; Heuristics; Metrics; Accessibility
Description
Para obtenção do grau de Doutor pela Universidade de Vigo
com menção internacional
Departamento de Informática Ao longo de quase trinta nos a IHC tem vindo a integrar os objectivo da engenharia no
melhoramento da usabilidade dos sistemas computacionais e das suas aplicações.
A investigação ‘PAI — Projecto de Avaliação de Interfaces’ explora a avaliação da usabilidade
de interfaces de sítios Web sustentada nos fundamentos da IHC.
A análise realizada da história da usabilidade e da sua avaliação levou a concluir ser
necessário, oportuno e pertinente a criação de um modelo, com base na metodologia do PAI
capaz de sintetizar os métodos e técnicas mais relevantes existentes na literatura desta área
científica da IHC.
O trabalho realizado nesta investigação originou assim um metamodelo universal de avaliação
da usabilidade, aplicável a qualquer interface Web (sítio Web), sendo uma proposta completa e
coerente que representa um novo paradigma de avaliação da usabilidade de interfaces Web.
A aplicação da metodologia desenvolvida tem cinco fases, nomeadamente a fase 1, a avaliação
preliminar do grau de acessibilidade do sítio Web (funciona como um filtro permitindo
detectar e eliminar os problemas mais óbvios), a fase 2, as entrevistas (funcionam como uma
primeira abordagem aos utilizadores de um sítio Web), a fase 3, o teste de usabilidade (consiste
na execução de um conjunto de tarefas: as mais frequentemente executadas), a fase 4, o
questionário (não só mede o grau de satisfação dos utilizadores ao usarem o sítio Web mas
também é um indicador da existência de problemas) e a fase 5, a avaliação heurística (avalia
o grau de conformidade de um conjunto de ecrãs seleccionados, parte de um sítio Web, com
directrizes de usabilidade).
A investigação realizada no PAI foi validada com um estudo de caso. Foi avaliada a
usabilidade da secretaria virtual de uma escola de ensino superior do Porto, com mais de
dezoito mil alunos, um sítio Web dinâmico e complexo. Este estudo validou o método geral
de avaliação de interfaces desenvolvido, como se verifica no extenso trabalho de campo e nos
resultados e respectiva análise estatística.
A investigação revelou que a extensão e nível de recursos necessários na sua aplicação
completa, só o recomendam em casos que constituem uma ‘missão crítica’ onde o custo não é
uma consideração primordial. Caracterizada a arquitectura do PAI e exemplificada em pormenor a sua aplicação num
caso de estudo, termina-se com a consideração de vários cenários de desenvolvimentos
possíveis e a clarificação dos limites e expansões do método. As considerações finais sumariam
a investigação realizada quer ao nível geral conceptual quer ao nível do estudo de caso que
o valida. Equacionam-se ainda trabalhos posteriores para o PAI no contexto dos modernos
desenvolvimentos que a problemática da IHC tem tido nas suas recentes transformações. Durante casi treinta años, la IHO ha formado parte de los objetivos de la ingeniería en lo que
respecta a la mejora de la usabilidad de los sistemas computacionales y sus aplicaciones.
La investigación ‘PAI — Projecto de Avaliação de Interfaces’ explora la evaluación de la
usabilidad de interfaces de páginas Web con base en los fundamentos de la IHO.
El análisis realizado de la historia de la usabilidad y de su evaluación llevó a la conclusión
de que resulta necesaria, oportuna y pertinente la creación de un modelo, con base en la
metodología del PAI, capaz de sintetizar los métodos y técnicas más relevantes existentes en la
literatura de esta área científica de la IHO.
El trabajo llevado a cabo en esta investigación dio origen a un metamodelo universal de
evaluación de usabilidad, aplicable a cualquier interface Web (página Web), y constituye una
propuesta completa y coherente, que representa un nuevo paradigma de evaluación de la
usabilidad de interfaces Web.
La aplicación de la metodología desarrollada tiene cinco fases:
— fase 1, evaluación preliminar del grado de accesibilidad de la página Web (funciona como
un filtro que permite detectar y eliminar los problemas más evidentes);
— fase 2, entrevistas (funcionan como un primer abordaje a los usuarios de una página Web);
— fase 3, prueba de usabilidad (consiste en la ejecución de un conjunto de tareas, aquellas
ejecutadas con mayor frecuencia);
— fase 4, cuestionario (no solo mide el grado de satisfacción de los usuarios de la página
Web, sino también resulta un indicador de la existencia de problemas); y
— fase 5, evaluación heurística (evalúa el grado de conformidad de un conjunto de pantallas
seleccionadas, parte de una página Web, con directrices de usabilidad).
La investigación realizada en el PAI fue validada con un estudio de caso. Se evaluó la
usabilidad de la secretaría virtual de una institución de enseñanza del tercer ciclo en Oporto,
Portugal, con más de dieciocho mil alumnos, que cuenta con una página Web dinámica y
compleja. Este estudio corroboró el método general de evaluación de interfaces desarrollado,
como se observa tanto en el extenso trabajo de campo como en los resultados y respectivo
análisis estadístico. La investigación reveló que, por la extensión y nivel de recursos necesarios para su aplicación
completa, esta evaluación se recomienda en casos que constituyan una ‘misión crítica’, en la
que los costes no sean una consideración primordial.
Después de caracterizada la arquitectura del PAI y ejemplificada en detalle su aplicación
en un caso de estudio, se concluye con la consideración de varios escenarios de desarrollos
posibles y la clarificación de los límites y expansiones del método. Las consideraciones finales
sintetizan la investigación realizada tanto a nivel general conceptual, como a nivel del estudio
de caso que lo valida. Se prevén asimismo trabajos posteriores para el PAI en el contexto de
los modernos desarrollos que ha experimentado la problemática de la IHO en sus recientes
transformaciones. For almost thirty years, the HCI has made its way into being part of the engineering’s
objectives in the improvement of the usability of the computational systems and its applications.
The research ‘PAI* — Interface Assessment Project’, explores the assessment of a website’s
usability based on the foundations of the HCI.
The analysis performed over the history of usability and its evaluations led to conclude
that it is necessary, appropriate and relevant to create a model, based on the methodology of
PAI, capable of synthesizing the most relevant methods and techniques in the literature of the
scientific area of HCI.
The work carried out in this investigation originated a universal meta-model of the user
testing, applicable to any web interface (or website), being a coherent and complete proposal
that represents a new paradigm of user testing a web interface.
The application of the methodology developed is divided into five steps, namely the step 1,
the preliminary evaluation of the website’s level of accessibility ( works as a filter, making it
possible to detect and eliminate the most obvious issues), the step 2, the interviews (they work
as a first approach to a website’s users ), the step 3, the user testing (consists in the execution
of a set of tasks: the ones that are most frequently executed), the step 4, the questionnaire (it
not only measures the degree of the users’ satisfaction while using a website but it serves as an
indicator to the existence of issues) and the step 5, the heuristic evaluation (evaluates the
degree of conformity of a selected set of screens, part of a website with usability guidelines).
The research performed at the PAI was validated with a case-study. The usability of a
complex and dynamic website of a secretariat of a school of higher education in Porto, with
over eighteen thousand students, was evaluated. This study validated the general method of
the evaluation of interfaces developed, as it’s demonstrated in the broad fieldwork and in the
results and respective statistical analysis.
The research unveiled that the extension and the level of resources necessary to its full
application is only recommended to situations which consist a ‘critical mission’ where the cost
is not the main concern. Characterized the PAI’s architecture and exemplified in detail its application on a case‑study,
it has been concluded with the consideration of several scenarios of possible developments and
the clarification of the method’s limits and expansions. The final considerations summarize
the research conducted at both the level of conceptual as at the case-study that validates it.
Subsequent works for PAI are still expected in the context of modern developments that the
problematics of HCI has had in its recent transformations.
