SciTecIN'15

Este artigo descreve o sistema que suporta a escultura Présence, trata-se de um sistema composto por uma aplicação de captura de movimento tridimensional (Localização 3D) e uma aplicação de som que possibilita uma experiência sonora interativa e imersiva através da expressão corporal. O sistema foi desenvolvido para ser utilizado por um público geral, heterogéneo, não especializado quer em tecnologia ou composição sonora. Os utilizadores colocam uns auscultadores sem fios e quando entram numa determinada área sensível iniciam a audição de uma composição sonora criada pelo movimento do seu próprio corpo. Esta composição permanece em constante modelação e organização de acordo com o movimento do utilizador no espaço. Este funcionamento ocorre através da leitura de um conjunto de posições tridimensionais do corpo do utilizador mapeados como parâmetros de controlo para um conjunto de geradores de som. O sistema foi testado em sete exposições públicas no qual participaram e interagiram mais de 500 pessoas comprovando a flexibilidade e expressividade sonora do sistema.

The visual quality of volume rendering images and the contrast between different anatomical structures strongly depends on the type of transfer function that is applied by the volume renderer. While conventional window-icon-menu-pointer approaches refer the user to apply pre-defined transfer functions for isolating specific tissues, these are not always desirable for many clinical and surgical scenarios. This leaves the user with the tedious and time consuming task of manual transfer function design. In order to make this task more natural, we propose a sketch-based interface where touch gestures are used to directly control voxel opacity and colour. We also pre-sent new transfer function design approaches that aim to reduce the number of trial and error iterations, which usually are necessary for finding appropriate transfer functions. By following our approach, users were able to more rapidly explore and understand volume data, as the number iterations necessary to obtain a desirable transfer function where reduced. For both transfer function design and volume manipulation tasks users re-sponded more favourably to our sketch-based interface when compared to standard mouse and keyboard con-trols, as the former approach promotes reduced design iterations and improve the user’s overall understanding of the data.

This paper deals with an interactive multimedia system based on Android OS, where several functional modules were developed to enable the use of low-complexity remote control devices. The system architecture comprises the remote control device with Magnetic, Angular Rate, Gravity (MARG) sensors for 3D motion tracking and an Android set-top-box, integrating a novel Application Programming Interface (API), specifically developed for this purpose. A proper decision whether the most complex functions should run on the remote control device, or on the Android set-top-box, is an open issue and depends on the specific application and the desired portability. Therefore taking into account energy consumption when balancing the computational burden is paramount. Given that the set-top-box has no limitations on energy consumption and has a superior computational power, the propose API can perform all the processing of sensors data, allowing the implementation of complex fusion algorithms with higher precision. The analysis of energy consumption on the remote control device shows that transmitting the raw sensors data, to be processed in the API, results in lower energy consumption in the remote control device, and consequently higher autonomy with good accuracy.

O vídeo está a tornar-se uma meio cada vez mais capturado, publicado e acedido na web, a partir de diferentes plataformas e dispositivos. Os utilizadores podem mais facilmente georeferenciar a informação que capturam e acedem, permitindo enriquecer a sua contextualização. A procura de vídeo tem sido limitada essencialmente a palavras-chave, ou a um conjunto de parâmetros com suporte muito limitado às dimensões espacial e temporal. Propomos novos mecanismos para procurar e aceder a vídeos georeferenciados, onde as dimensões espacial e temporal são centrais, permitindo um acesso baseado na forma e velocidade das trajectórias inerentes a estes vídeos, usando uma interface multimodal num dispositívo móvel, baseada em gestos e movimento, e com o potencial de uma interacção mais natural, um maior envolvimento, sensação de presença e imersão. A avaliação com utilizadores, feita com um protótipo de alta fidelidade teve resultados positivos e encorajadores. Os utilizadores consideraram a maioria das funcionalidades úteis, satisfatórias, por vezes divertidas, e fáceis de usar. As diferentes opções e modalidades foram consideradas interessantes e adequadas a diferentes cenários de utilização que foram identificados e sugeridos. Também foram identificados alguns desafios para serem levados em conta em desenvolvimentos futuros, em direcção a um acesso interactivo mais flexível e eficaz, através de uma interacção mais natural com dispositivos móveis de per se, ou como segundos ecrãs em conjunto com ecrãs de maiores dimensões em TV ou ecrãs públicos.

Este artigo propõe o Living Globe, uma aplicação de visualização de informação tri-dimensional que apresenta dados demográficos mundiais. A aplicação permite a visualização simultânea de vários dados demográficos, tais como a população, a densidade e o crescimento populacional, a esperança de vida, o saldo migratório, a taxa bruta de natalidade/mortalidade e o rácio entre estas duas taxas. O mapeamento dos dados para as estruturas visuais na aplicação é configurável pelo utilizador, introduzindo um aspeto de personalização que incentiva a obtenção somente visual e mais imediata de informação. Adicionalmente, os dados representados são normalizados conforme uma escala configurável, permitindo filtrar amostras muitos dispares (como por exemplo na China e na Índia) e aumentando assim a visibilidade dos restantes dados. Foram realizados testes preliminares que indicam que a filtragem dos dados e a personalização no mapeamento incentivam uma leitura mais rápida de informação relacional e que a pesquisa e seleção de países tornam a navegação mais intuitiva comparado com as visualizações estado-de-arte.

In this paper we present a exploratory study on the physiological responses when experiencing motion sickness in Virtual Reality (VR). To this end, we developed a VR application that can induce motion sickness. Using it, an experiment was performed where a group of users were subject to different types of observable motions, and for each the reported sensations together with a set of bio-signals were registered. The analysis of the collected results enable us to establish a relationship between VR/Motion sickness and the principal elements that may cause it, as well as the existence of some correlation between the discomfort felt by the participants and detectable changes in measurable physiological data. These results can serve both as a guide to designing VR-based applications, complementing the existing ones, and to enable the development of automatically adaptable ones preventing or reducing the discomfort for the users of this type of technology.

This paper proposes an on-line incremental 3D reconstruction framework aimed at fulfilling the needs of telepresence or human machine interaction applications. The research presents a teleconference system that improves and induces the feeling that persons are in the presence of each other. A free viewpoint method, based on realistic user’s appearances, is proposed to simulate a real face-to-face meeting. The contributions are: a new incremental version of Crust algorithm that enables incremental fusion of sensor data and a confidence-based method that automatically decides whether or not to integrate newly acquired data in the existing model based on measure uncertainty and novelty. To avoid the classical stereo vision reconstruction problems, the method bases on hybrid sensors to acquire simultaneous depth information and the corresponding texture image (e.g. kinect). This enables the alignment between acquired data and pre-acquired model by maximizing a criterion that is related with the matching between visual features and between acquired shapes. A mesh based representation enables the use of the surface topological geometric information during the data model integration process.

Neste momento os ambientes virtuais estão a tornar-se numa peça importante nas aplicações centradas no utilizador onde se inclui o treino, design, entretenimento etc. Apesar de percecionarmos o nosso mundo através dos nossos múltiplos sentidos, estas novas aplicações recorrem normalmente principalmente ao estímulo da visão, sendo o som o segundo estímulo mais explorado. Descobertas recentes sugerem que quantos mais sentidos são estimulados num ambiente virtual mais imersivo é a experiência e o desempenho dos utilizadores aumenta (tal como acontece no mundo real). O projeto MASSIVE pretende investigar em detalhe como é que podemos obter um ambiente virtual credível no qual os vários sentidos do utilizador são estimulados de forma a alcançar uma elevada imersividade. Nesse contexto, foi desenvolvido um modelo para a descrição de experiências multissensoriais, a ser usado para representar não só as cenas, como as interações e estímulos do utilizador de forma a suportar contextos de interação multimodal e multissensorial, de forma modular. Esse modelo é apresentado neste artigo, juntamente com um exemplo prático de aplicação, demonstrando a sua relevância.

As a solution to immersive virtual museum visits, we propose an extension upon the platform we previously developed for Setting-up Interactive Virtual Environments (pSIVE) that maintains all of the Virtual Environment creation features of the platform as well as content association (PDF, Video, Text), but also allows gesture-based interaction and one to one navigational input using skeleton tracking with a Kinect that is calibrated in the real world space where the user is located in. In order to validate our new navigation and interaction methods, a comparative study was performed, comparing our gesture-based interaction and positional tracking with a controller button navigation and interaction method.

Augmented Reality (AR) on mobile devices is an expanding area. In the last decade, we have seen a huge growth in the development of applications that use this technology to add useful information to the user concerning the environment that surrounds him. However, the use of AR in small devices is challenging. For example, when visualizing points of interest, there is no prior control over their number and location, thus, the overlapping of several symbols may occur. On the other hand, the addition of information to the real image does not have to be confined to objects in the user's field of view. The inclusion of clues about the existence of relevant objects out-side the field of view (off-screen objects) is an important contribution for navigation through the space of infor-mation available to the user. Another aspect to keep in mind is the ability to express the information’s relevance, this is, adapt the representation according to user’s preferences. This paper presents a prototype developed for Android that proposes new techniques to reduce symbol occlusion, represent object relevance, and include cues for off-screen objects in mobile augmented reality environments.

Os candidatos ao Ensino Superior Público são colocados nas diferentes instituições através do Concurso Nacional de Acesso (CNA), o que pode originar a sua migração para outro distrito ou região autónoma. São propostas três visualizações interativas — representação matricial, diagrama cordal e representação georreferenciada — que permitem a apresentação, exploração e análise dos resultados do CNA, sendo usados os dados relativos aos candidatos colocados na 1a fase dos concursos de 2012, 2013 e 2014. Estas visualizações foram avaliadas por três processos: avaliação heurística, testes de usabilidade supervisionados e recorrendo à utilização do Amazon Mechanical Turk (AMT).

A disponibilidade e utilização de objectos 3D aumentou durante os últimos anos, a par com a redução do custo da impressão tridimensional de objectos. Tal cenário torna necessário que existam ferramentas para a criação e modificação destes objectos de forma eficiente e natural, permitindo que estas possam ser usadas tanto por utilizadores experientes como inexperientes. Com este trabalho, foi nosso objectivo desenvolver uma solução para modelação 3D com foco em posterior impressão, que retira partido de superfícies interactivas, bem como de métodos de recuperação de objectos 3D. De forma a permitir uma experiência de interacção o mais natural possível, criámos e discutimos abordagens que são baseadas apenas em toque, caneta, ou numa combinação de ambas. Depois de uma fase de avaliação com utilizadores, os resultados sugerem que a abordagem baseada em interacção exclusivamente com caneta, apesar de satisfatória e agradável, não é tão eficiente quanto as restantes.

One of the major issues in designing Patient Specific Implants (PSI) is the distance between the “language” of surgeons and the one of computer graphics technicians. This gap can induce mistakes in the process of a PSI design. The work described in this article removes the need for a computer graphics technician by implementing a PSI De-sign Tool that highly automates the PSI design process, and provides a user friendly step-by-step approach. As a result, a surgeon can be responsible for the full process achieving the optimal solution.

If the interactions made on multi-touch surfaces can be moved to the air above them, a user will have access to a powerful tool. The possibility of tracking the hands’ movement in mid-air, creates a world full of interaction possibilities. Despite having been created consolidated solutions for multi-touch interactions, these are limited to a bi-dimensional space, preventing the possibility of direct interactions on the visualization space. Some works were created to try and overcome this problem, however most of them use intrusive techniques, don’t use stereoscopy or virtual reality or are lacking accuracy. This work had the objective to explore and evaluate which techniques allow to manipulate with precision 3D objects in mid-air, on a non intrusive semi-immersive/immersive environment. With this work it was possible to observe that the mid-air interactions in immersive systems are the most efficient and satisfying method for users, due to the direct manipulation of 6 degrees of freedom, which mimics the way with which we interact with physical objects.

A reconstrução de uma superfície triangulada a partir de uma nuvem de pontos é um problema difícil de resolver dado depender da forma do objeto original e da densidade dos pontos obtidos pelo dispositivo de aquisição 3D utilizado (scanner). Em grande medida, os algoritmos baseados em expansão da malha que existem na literatura não são bem-sucedidos porque os triângulos são apensos à malha em expansão com base em intervalos angulares que não podem ser ultrapassados. Por contraposição, propõe-se neste artigo um algoritmo que resolve este problema através da conjunção de funções que quantificam três propriedades geométricas fundamentais: coplanaridade, proximidade e regularidade.

This paper addresses the problem of augmented reality on images acquired from non-central catadioptric systems. We propose a solution which allows us to project textured objects to images of these types of systems in real-time which, depending on the complexity of the objects, can run up to 20 fps with a reasonable resolution (near to a real-time framerate). The main contributions of our solution are related with the differences on the image formation: projection of the 3D segments onto the image of non-central catadioptric cameras; occlusions; and illumination/shading. To validate the proposed solution, we used a non-central catadioptric camera formed with a perspective camera and a spherical mirror. We used three distinct and well known objects in computer graphics: “bunny”, “happy buddha” and “dragon”, from Stanford database.

O desenvolvimento de diversas ferramentas de modelação e captura de objetos 3D tem aumentado o volume de objetos 3D digitais acessíveis na internet. Consequentemente, a área de recuperação de modelos 3D tem sido cada vez mais explorada, como resposta aos desafios decorrentes de pesquisa destes objetos. Contudo, sistemas de pesquisa tradicionais não tiram partido de ambientes imersivos para pesquisar objetos 3D. Neste trabalho apresentamos um sistema de especificação de interrogações em ambiente imersivo, que permitisse uma interação mais natural. A interação com o sistema decorre em ambiente imersivo de realidade virtual, onde definem uma interrogação através de esboços 3D, para obter objetos semelhantes, recorrendo a mecanismos de pesquisa.

As malhas com resolução variável (“multiresolution meshes”) têm sido utilizadas como alternativa à técnica dos LODs em ambientes virtuais e jogos de computador, em que o detalhe da cena depende da distância ao observador, bem como na (des)compressão de malhas em tarefas de transferência e transmissão mais célere de malhas através da Internet e da web, o que permite o carregamento progressivo da malha do lado do cliente, que comec¸a com uma malha mais grosseira e termina com uma malha mais refinada. A principal contribuição deste artigo reside na utilização do conceito de multirresolução em malhas segmentadas, em vez de malhas simples (sem segmentação).

No âmbito do património cultural, os museus são uma peça central. No entanto, carecem de atualização face às necessidades de experiências mais interativas, de forma a cativar um público mais jovem. Tendo como caso de estudo os museus com uma vertente marítima, é objetivo do presente trabalho apresentar uma aplicação móvel com Realidade Aumentada (Aplicação Museu C+) que permite descobrir os barcos e as suas particularidades de forma mais interativa e envolvente. Para tal recorre-se a uma abordagem gamificada sobre um conceito de caderneta de cromos, e integrando realidade aumentada. Uma das questões de investigação solucionada neste trabalho é como integrar nos museus a componente tecnológica numa perspetiva de colecionismo digital. Antes de definir a arquitetura da aplicação foi realizada uma pesquisa de forma a identificar os requisitos mais rele-vantes a introduzir. Neste sentido, é projetada uma caderneta de cromos digital assente em princípios inerentes à gamificação. A mecânica base é o colecionismo, tendo sido desenvolvida uma aplicação móvel que possibilita adquirir um cromo quando se identifica um determinado elemento de um barco, diretamente através de uma funcionalidade de realidade aumentada. Assim, os cromos digitais obtêm-se ao ultrapassar desafios no contexto do museu, despoletando uma conjugação de elementos de realidade mista sob a forma de modelação tridimensi-onal, texto e vídeos. Após a experiência concreta no museu, a caderneta de cromos digital permitirá desbloque-ar os modelos tridimensionais dos barcos cujos cromos foram completados, servindo assim ela própria como uma recompensa tangível, um souvenir. Na avaliação do protótipo desenvolvido, os resultados apontam para o manifesto interesse da aplicação.