A feasibility study on the use of smartphone sensors for development of Advanced Driver Assistance Systems

Abstract

Dissertação de mestrado integrado em Computer Science Technological evolution is impacting several industries, e.g., by allowing them to deliver higher levels of functionality. The automotive industry is an example of how technology is supporting the development of new solutions in vehicle safety and comfort. Advanced Driver Assistance Systems (ADAS) are cases of solutions that evolved significantly in recent years. This is possible not only due to the progress of electronic solutions but also because of higher quality in software. The smartphone is an example of this evolution with a broad range of applicability since these devices have been used to develop ADAS, making them an interesting cost-effective platform to develop such systems. Previous research has shown smartphones’ ability to output sensors data with the necessary quality for a broad number of applications with special focus in inertial sensors. However, such studies tend to be difficult to reproduce or lack the desired detail levels of their experimental methods. Concerns about how good are smartphone sensors and their use to develop ADAS emerge when reading existing literature, particularly, how the context of collecting data is controlled and which variables impact the collection process. In order to assess the feasibility of using smartphones as sensing devices, questions arise on how different parts of the collection setup affect the quality of data collected. Motivated by those questions, a study considering four different hypotheses is proposed to assess the impact of a controlled set of variables, namely: brands of inertial sensors, car mounts, sensor sampling rates, and vehicles. A set of controlled experiments is performed to assess the impact of each variable in the collection process of inertial sensors, more precisely the vertical acceleration. To perform the experiments, three special-purpose tools were developed. Smartphones used in the experiments feature an application to collect and export their sensors data. A researcher of an experiment operates another smartphone application to annotate road anomalies found while driving. A desktop application automates the computation and statistical validation of the vertical acceleration correlation from different setups. Dynamic Time Warping was used to compute the correlation coefficient of vertical acceleration as measured by different devices. Results show a baseline correlation coefficient of 0.892 with a standard configuration of software and hardware. When one of the independent variables is changed, the resulting coefficients range from 0.827 to 0.848. Randomization tests were executed to statistically validate experiments results, making use of a Random Shuffle algorithm on surrogate data. Such tests rejected all four proposed null hypotheses regarding dissimilarities on vertical acceleration sensed by different setups. From the controlled experiment a deeper understanding of the variables influencing data collection with smartphones was obtained. Results showed that varying the inertial sensors, car mounts, rates of sampling, or vehicles had a low impact on vertical acceleration sensed by smartphones. This is a good indicator that smartphones can be used to develop ADAS without the need to standardize every part of the collection setup. Thus, it possible to foresee the deployment of a system to a wider audience by taking advantage of existing equipment. A evolução tecnológica está a afectar várias indústrias, por exemplo, ao capacitá-las para fornecer níveis mais elevados de funcionalidade. A indústria automóvel é um exemplo da forma como a tecnologia está a apoiar o desenvolvimento de novas soluções de conforto e segurança automóvel. Os Sistemas Avançados de Assistência ao Condutor – Advanced Driver Assistance Systems (ADAS) – são casos de soluções que evoluíram significativamente nos últimos anos. Para tal, não só contribuiu o progresso de soluções electrónicas, mas também o aumento de qualidade do software. Os smartphones são um exemplo desta evolução de ampla aplicabilidade, sendo já utilizados para desenvolver ADAS e uma interessante plataforma para desenvolver tais sistemas com baixo custo. Estudos anteriores demostraram a capacidade dos smartphones para fornecer dados de sensores com a qualidade necessária para um grande número de aplicações, com especial foco nos sensores inerciais. No entanto, tais estudos tendem a ser de difícil reprodução ou não possuem o nível de detalhe desejado nos seus métodos experimentais. Questões sobre a qualidade dos sensores dos smartphones e o seu uso para desenvolver ADAS surgem do estudo da literatura existente, particularmente como a recolha de dados pode ser controlada e que variáveis têm impacto nesse processo. Para avaliar a viabilidade do uso de smartphones como dispositivos sensoriais, nascem questões sobre como as diferentes partes do sistema afetam a qualidade dos dados recolhidos por ele. Motivado por essas questões, é proposto o estudo de quatro hipóteses para medir o impacto de um conjunto de variáveis, a saber: sensores inerciais, suportes de telemóvel, taxas de amostragem dos sensores, e veículos. Experiências controladas são realizadas para estudar o impacto de cada variável no processo de recolha de dados de sensores, mais precisamente a aceleração vertical. Foram desenvolvidas três ferramentas de software para a realização das experiências. Os smartphones usados possuem uma aplicação para recolher e exportar os dados dos seus sensores. Durante a experiência, um investigador utiliza outra aplicação de smartphone para anotar as anomalias da estrada encontradas durante a condução. Uma aplicação de desktop automatiza a computação e validação estatistica da correlação da aceleração vertical medida por diferentes dispositivos. O coeficiente de correlação da aceleração vertical medida por diferentes dispositivos fez-se usando o algoritmo Dynamic Time Warping. Os resultados mostram um coeficiente de 0.892 com uma configuração padrão de software e hardware, que serve como base de análise. Quando uma das variáveis independentes é alterada, os coeficientes resultantes variam entre 0.827 e 0.848. Testes de permutação foram executados para validar estatisticamente os resultados experimentais, usando o algoritmo Random Shuffle sobre dados substitutos. Esses testes rejeitaram as quatro hipóteses nulas relativas à diferença de aceleração vertical detetada por diferentes dispositivos. A partir das experiências obteve-se uma compreensão aprofundada das variáveis que influenciam a coleção de dados com smartphones. Os resultados mostram que variar os sensores inerciais, suportes de telemóvel, taxas de amostragem, e veículos tem baixo impacto na aceleração vertical detetada. Isto indica que estes dispositivos podem ser usados para desenvolver ADAS sem a necessidade de padronizar cada peça da recolha de dados. Assim, é possível antever o desenvolvimento de um sistema para um público mais amplo, tirando partido de equipamentos já existentes.

Original document

The different versions of the original document can be found in:

• http://hdl.handle.net/1822/59939