A Sound Idea – A Proposal

(English more your style? I’ve got your covered! Scroll on down, but remember to go back for the images).

Isso é uma continuação do post anterior, parte da pesquisa que eu fiz com a minha dupla Haroldo Olivieri (leia o seu blog aqui). Agora vamos explicar nossa proposta completa para um novo projeto de design de mídia digital que explora o potencial dos sentidos.

Nossa proposta para uma aplicação tecnológica proposta está dentro do âmbito da pesquisa acústica (incluindo o campo recém desenvolvido de sonocytology, o estudo dos sons celulares, discutida no post anterior), o escaneamento de superfícies, pesquisa relacionada com a saúde, e microscopia de escaneamento por sonda (Scanning Probe Microscopy – SPM), um ramo de microscopia que obtém imagens de superfícies utilizando uma sonda física que varre o espécime em questão.

Nossa idéia é de uma luva/interface híbrida montado no pulso que permite o usuário essencialmente escanear uma superfície desejada e receber dados relativos sobre a superfície: tentativamente -intitulado o Sound Contact Device – SCD . Estes dados seriam exibidos em uma tela localizada no pulso (provavelmente e utilizando controle touch-screen). Em suma, o lado da palma da luva seria coberto em sondas microscópicas com membranas flexíveis (semelhantes aos usados ​​em microfones) que captam dados sobre movimento a partir da superfície em contato . Os dados são analisados ​​pelo dispositivo e os resultados relativos são exibidos ao usuário.

Mas como funcionaria? Antes de tudo, é importante nós sublinharmos o fato de que a tecnologia por trás do SCD é, atualmente, muito cara, frágil, não é amplamente acessível, não muito móvel ou flexível, e não tão eficaz ou precisa quanto acreditamos que o SCD seria. Mas essa mesma tecnologia está avançando rapidamente e pode muito bem aproximar-se aos parâmetros das iterações utilizadas no SCD.

O SCD usaria principalmente a tecnologia de microscópios como o Microscópio de Força Atômica (Atomic Force Microscope – AFM) e pontas microscópicas de microscópios alternativas como a sonda FIRAT – Force Sensing Integrated Readout and Active Tip probe. Primeiro vamos explicar estas tecnologias em mais detalhes, e, no final deste post, vamos resumir as suas aplicações com o SCD.

1) Tecnologia do AFM: o SCD seria semelhante às aplicações do AFM (que utiliza sentido tátil) na sonocytology por Jim Gimzewski (como discutimos no último post). A microscopia de força atômica por trás do microscópio pode ser realizada em ambos os modos de contato e sem contato, como é explicado neste artigo do Chemistry World:

“No modo de contato, a ponta de um AFM feita a partir de silício ou nitreto de silício arrasta em cima de uma superfície. A deformação causada na ponta pela força repulsiva da superfície é processada para criar uma imagem da superfície . No modo sem contato, o braço de suporte que contém a ponta é feita para oscilar a uma frequência de ressonância acima da superfície. As forças de van der Waals fracas da superfície diminuem a frequência de ressonância do braço de suporte. Essa alteração na frequência pode então ser processada para revelar a imagem com precisão atómica.”

Em outras palavras, no modo de contato: a ponta se move ao longo de uma superfície , os seus deslocamentos são registrados, e imagens tridimensionais com detalhe moleculares são criadas, geralmente utilizadas para estudar átomos, moléculas, proteínas e células vivas . No modo sem contato, a membrana com a ponta se move em direção à superfície e é puxada por forças atrativas antes que ela toque. Como um diafragma de microfone capta vibrações sonoras, a membrana recebe leituras sensoriais antes da ponta encostar. 

 

Atomic Force Microscope

Um desvantagem de usar o AFM é que (em seu estado atual) ele é lento e, como explicado, a ponta precisa se ​​deslocar na superfície, medindo cada solavanco e oco de sua membrana externa, para “sentir” a sua estrutura. Com o SCD, seria inconveniente de ter de passar a mão sobre a superfície desejada para ser capaz de digitalizá-la. É aí que usamos a pesquisa de Jim Gimzewski.

Gimzewski usou o AFM para uma finalidade diferente. Ele e seus colegas pesquisadores mantiveram a ponta em uma posição fixa, colocando ela levemente na superfície de uma membrana celular de levedura “como a agulha de uma vitrola”, para detectar quaisquer vibrações de geração de som. Eles descobriram que em sua posição fixa sobre uma superfície vibrando, a ponta segue os movimentos – agindo como um ultra-sensível detector de movimento de alta resolução. Os dados de movimento de movimentos celulares em pequena escala (nanômetros para micrômetro)s em suas membranas celulares foram convertidos em som, deixando eles “ouvir” as células.

Image of hydrogen bonds captured by the AFM.

 

A distância que a parede celular se move determina a amplitude (volume) da onda sonora, e a velocidade do movimento para cima e para baixo sua frequência, ou altura. Além disso, eles descobriram que a frequência das células de leveduras testadas foi sempre na mesma faixa de agudos, “mais ou menos um Dó-Sustenido para Ré acima do Dó central, em termos de música.” Aplicando álcool em uma célula de levedura para matá-la aumenta o tom, enquanto as células mortas emitem um som baixo, que Gimzewski acredita que é provavelmente o resultado de movimentos atômicos aleatórios. Os testes também mostraram que as células de leveduras com mutações genéticas fazem um som um pouco diferente do que as células normais de levedura.

Em outras palavras, escaneando superfícies por “ouvir”  as suas células é possível ao mantenr a ponta do AFM em uma posição fixa, convertendo os dados de movimento capturados em som (formato gráfico em um arquivo de som digital), e amplificando o som para que ele esteja dentro da faixa de frequência humana, assim, “sentindo”  uma célula com o AFM e interpretando o seu movimento como som e, portanto, ser capaz de identificar diferentes tipos de células.

AFM cantilever with tip.

2) Sonda Force Sensing Integrated Readout and Active Tip (FIRAT)

Em sumo, a sonda FIRAT agiria como uma extensão das capacidades do AFM. Baseada nas membranas flexíveis como as de microfones, a sonda FIRAT iria substituir a ponta do AFM e ser usada para rápido mapeamentos topográficos, caracterização de materiais quantitativa e medidas de mecânicas única-molécular.

Além do escaneamento topográfico padrão do AFM, a sonda FIRAT inspirado por microfones mede simultaneamente as propriedades dos materiais, incluindo a adesão, rigidez, elasticidade e viscosidade, com apenas um toque. É também mais sensível às características físicas da superfície, até 100 vezes mais rápida do que o AFM normal, e pode captar detalhes não possíveis com o AFM.

 

From one touch, the FIRAT probe scans material properties of a surface like (from upper left to right) topography, adhesion energy, contact time and stiffness.

Na sonda FIRAT a membrana com a ponta afiada se move em direção à amostra e é puxada por forças atrativas antes de toca. Semelhante à maneira como um diafragma microfone capta as vibrações sonoras, a membrana da sonda FIRAT começa a fazer leituras sensoriais antes de entrar em contato com uma superfície. Quando a ponta atingi a superfície, a elasticidade e rigidez da superfície determina o quanto o material empurra contra a ponta. Além de capturar apenas uma leitura de topografia da amostra, pode capturar uma grande variedade de outras propriedades do material.

AFM membrane with FIRAT probe.

>The Sound Contact Device – Um Resumo

O Sound Contact Device combinaria a tecnologia por trás do AFM e a sonda FIRAT numa luva/interface montada no pulso que permite o usuário essencialmente escanear uma superfície desejada e receber uma variedade de informações sobre ela.

O SCD é dividido em duas partes: a parte de escaneamento do lado de palma e o visor montado no pulso.

A parte do lado da palma seria revestida em uma iteração futura mais avançada da combinação membrana+ponta usada no AFM instalado com a sonda FIRAT, que irá ser mais microscópica, flexível e não tão sensível a fatores externos como as versões disponíveis no momento. Várias pontas iriam cobrir a superfície da palma (possivelmente dezenas) para permitir leituras instantâneas máximas e medidas mais precisas.

SCD Blueprint

Acreditamos que as superfícies que podem ser lidas pelo SCD podem ser divididos em duas categorias, a de objetos com células vivas e objetos que serão lidos apenas a um nível atómico. Devido a isso, o SCD iria funcionar em dois modos:

A) Para superfícies com células vivas, a leitura topográfica padrão do AFM seria utilizada na aplicação na sonocytology do Jim Gimzewski de converter os dados de movimento da superfície capturados para som. Dessa forma, o objeto poderia ser simplesmente identificado pelo seu padrão de frequência único. Além de receber informações sobre as propriedades do material do objeto, a análise de som também iria revelar o estado da superfície (sua saúde).

Como a pesquisa de Gimzewski mostrou, as células saudáveis ​​de um tipo particular produzem sons diferentes dos seus homólogos mutantes (cancerosos); células sob estresse produzem sons diferentes. E como já mencionado, há certos padrões presentes entre células do mesmo grupo/estado. Até diríamos que o SCD iria permitir que o usuário veja em qual escala musical (basicamente um arranjo de notas em qualquer sistema de música – um arranjo especifico de frequências) o objeto se encaixa. O usuário poderia saber se as células estão saudáveis ​​(cabem em uma escala  “saudável “) ou apresentam sinais de mutações.

Essa análise seria feita pelo SCD, e os resultados exibidos na tela montada no pulso. O usuário poderia ouvir os dados de som convertidos se desejar, mas o resultado final estaria convenientemente exibido.

scdHumanBody-01

B) O segundo modo do SCD é para o escaneamento de todas as outras superfícies, utilizando a topografia padrão do AFM aumentada pela sonda FIRAT. Quando entra em contato com uma superfície, a luva revestida de pontas do AFM iria identificar propriedades como topografia, energia de adesão, tempo de contato e rigidez.

Agora, um potencial particularmente interessante do SCD é que ele funcionaria tanto com interações de contato com superfícies e interações sem contato.

Como discutimos: no modo de contato: a ponta se move ao longo de uma superfície , os seus deslocamentos são registrados, e imagens tridimensionais com detalhe moleculares são criadas, geralmente utilizadas para estudar átomos, moléculas, proteínas e células vivas . No modo sem contato, a membrana com a ponta se move em direção à superfície e é puxada por forças atrativas antes que ela toque. Como um diafragma de microfone capta vibrações sonoras, a membrana recebe leituras sensoriais antes da ponta encostar. 

Para o usuário, o que isso significaria é que o escaneamento de objetos seria possível mesmo sem totalmente tocar a superfície com o SCD. Em poucos anos os avanços nessas tecnologias podem permitir que a combinação membrana + ponta faça leituras mais detalhadas, precisas e completas de superfícies e a uma distância maior . Não sabemos se as leituras sem contato irão superar a necessidade de leituras com contato, mas é possível que as futuras versões da tecnologia membrana+ ponta possam eliminar a necessidade de leituras de contato completamente.

Talvez até mesmo a função de análise na sonocytology poderia ser possível à uma distância, permitindo que o usuário “ouça” as células sem ter que colocar o SCD  fisicamente na superfície. A processo de conversão e amplificação de coleta de dados de som certamente irá evoluir nos próximos anos.

scdClaridade-01

> Aplicações do SCD

Finalmente, gostaríamos de explicar nossas idéias para alguns usos práticos do Sound Contact Device. Talvez o uso mais importante dessa tecnologia é no diagnóstico de doenças (especialmente câncer) através da função de análise de som. Um usuário comum poderia simplesmente colocar a luva sobre seu corpo (a pele agindo como a superfície alvo) para o SCD ouvir  suas células e exibir informações sobre a sua saúde, revelando se o usuário tem alguma doença.

O grupo considerou como o usuário iria escolher a superfície “alvo” a ser escaneada. Se o SCD pode ser realmente usado sem tocar na superfície e pode ser utilizado a uma distância da superfície desejada, então o usuário poderia obter uma lista de superfícies “legíveis” dentro de sua proximidade na tela do SCD . Em seguida, eles poderiam escolher qual superfície o SCD deve ler selecionando-a na touchscreen e em seguida os resultados das leituras seriam exibidos na mesma tela.

Mas com as múltiplas membranas com pontas sobre a luva permitindo centenas de leituras instantâneas, a possibilidade de escanear superfícies ao redor em todos os momentos é emocionante…e assustadora. Algumas restrições teriam que ser implementadas, a fim de respeitar a privacidade e leituras indesejáveis de qualquer superfície.

Outras aplicações:

– Identificar deficiências estruturais em prédios, etc. Um usuário pode escanear uma parede e determinar se a área é habitável ou está propenso a entrar em colapso.

– Como uma técnica de pseudo-ecolocalização (mas sem a necessidade de sons refletidos) para áreas escuras. Um usuário entra em uma área sem iluminação e usa o SCD para ler superfícies circundantes. Ao analisar rapidamente as propriedades materiais dos objetos ao seu redor, o SCD poderia determinar o que compõe a área apagada e produzir um mapa 3D da área, de modo que o usuário pode andar com segurança. Leituras contínuas subsequentes irão atualizar o mapa, refletindo qualquer alteração no movimento ou estado das superfícies circundantes. O mapa seria exibido na tela montada no pulso e, possivelmente, também em alguma forma de display montado na cabeça (como o Google Glass ou Oculus Rift, mas mais móvel e portátil)  conectado ao SCD.

scdEscuridao-01

Em conclusão , um dispositivo que utiliza tecnologia semelhante à da SCD certamente tem um grande potencial . Em poucas décadas os cenários absurdos apresentados pela ficção científica de um futuro tecnológico altamente avançado podem não ser tão absurdos e estarão bem ao nosso alcance. A base para estas aplicações já existi ; tudo o que resta são refinamentos e saltos significativos em seu funcionamento e design.

-Mateus Da Silva & Haroldo Olivieri

Referências:

http://www.darksideofcell.info/bg.html

http://phys.org/news127559152.html#nRlv

http://phys.org/news11346.html#nRlv

http://phys.org/news10709.html

http://archive.poly.edu/nanosymposium/_doc/FLeventDegertekin.pdf

http://mist.gatech.edu/wordpress/research/firat

http://www.rsc.org/chemistryworld/2013/09/first-pictures-hydrogen-bonds-unveiled-afm

http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3700051/

http://www.smithsonianmag.com/science-nature/signal-discovery-104663195/?page=1

_____________________ // _____________________

This is a continuation of the previous post, part of the research I have done with my group partner Haroldo Olivieri (read his blog here) (leia o seu blog aqui). Now we will explain our full proposal for a new digital media design project which explores the potential of the senses.

Our proposed technological application lies within the realm of acoustic research (including the field of sonocytology, the study of cell sounds, discussed in the previous post), the scanning of surfaces, health-related research, and scanning probe microscopy (SPM), a branch of microscopy that obtains images of surfaces using a physical probe that scans the specimen in question.

Our idea is that of a glove/wrist-mounted interface hybrid that allows the user to essentially scan a desired surface and receive relative data about that surface: the tentatively-titled Sound Contact Device – SCD. This data would be displayed on a screen located on the wrist (possibly utilizing touch-screen control). In short, the palm side of the glove would be covered in microscopic probes with flexible membranes (similar to those used in microphones) which pick up feedback motion data from the surface in contact. That data is analyzed by the device and relative results are fed back to the user on the screen.

But how do we think it would work? First of all, it is important for us to stress the fact that the technology behind the SCD is presently very expensive, fragile, not widely accessible, not very mobile or flexible, and not as effective or accurate as we believe the SCD would be. But this same technology is advancing at a rapid rate and could very well approach the parameters of the iterations used in the SCD.

The SCD would primarily use the technology of microscopes like the Atomic Force Microscope (AFM) and alternative microscopic microscope tips like the Force Sensing Integrated Readout and Active Tip (FIRAT) probe. First we will explain these technologies in more detail, and at the end of this post we will summarize their applications in the SCD. 

1) AFM Technology: the SCD would be similar to the applications of the tactile-sensing AFM in sonocytology by Jim Gimzewski (as we discussed in the last post). The atomic force microscopy behind the microscope can be performed in both contact and non-contact modes, as explained in this article from Chemistry World:

“In contact mode, the tip of an AFM made from silicon or silicon nitride drags on top of a surface. The deflection caused in the tip by the repulsive force of the surface is then processed to create an image of the surface. In the non-contact mode, the cantilever containing the tip is made to oscillate at a resonance frequency just above the surface that is to be imaged. The weak van der Waals forces of the surface decrease the resonance frequency of the cantilever. This change in frequency can then be processed to reveal the image with atomic precision.”

In other words, in contact mode: the tip moves along a surface, its displacements are recorded, and three-dimensional molecular detail images are created, commonly used to study atoms, molecules, proteins, and living cells. In non-contact mode, the membrane with the tip moves toward the surface and is pulled by attractive forces before it touches. Like a microphone diaphragm picks up sound vibrations, the membrane receives sensory readings before the tip touches. 

One setback of using the AFM is that (in its current state) it is slow and, as explained, the tip needs to move around the surface. measuring every bump and hollow of its outer membrane, to “feel” its structure. With the SCD, it would be inconvenient to have to move your hand over the desired surface to be able to scan it. That’s where Jim Gimzewski’s research comes in. 

Gimzewski used the AFM for a different purpose. He and his fellow researchers kept the tip in a fixed position, resting it lightly on the surface of a yeast cell membrane “like a record needle,”  to detect any sound-generating vibrations. They found that in its fixed position over a vibrating surface, the tip bends and follows the motions – acting as an ultra-sensitive, high-resolution motion detector. The motion data on small scale (nanometer to micrometer) cell motions at their cell membranes was converted into sound, allowing them to “listen” to the cells.

The distance the cell wall moves determined the amplitude (volume) of the sound wave, and the speed of the up-and-down movement its frequency, or pitch. The researches also found that the frequency of the yeast cells  tested has always been in the same high range, “about a C-sharp to D above middle C in terms of music.”  Applying alcohol on a yeast cell to kill it raises the pitch, while dead cells give off a low, rumbling sound that Gimzewski believes is probably the result of random atomic motions. The tests also showed that yeast cells with genetic mutations make a slightly different sound than normal yeast cells.

In other words,  scanning surfaces by “listening” to their cells is possible by keeping the AFM tip in a fixed position, converting captured motion data into sound (graphical format into a digital sound file), and amplifying the sound so it is within the human frequency range, thus, “feeling” a cell with AFM and interpreting its motion as sound, and therefore be able to identify different kinds of cells. 
2) Force Sensing Integrated Readout and Active Tip (FIRAT) Probe

For all intents and purposes, the FIRAT probe would act as an extension of the AFM’s capabilities. Based on flexible membranes like the ones in microphones, the FIRAT probe would replace the AFM’s tip and be used for fast topographic imaging, quantitative material characterization and single molecule mechanics measurements. Beyond the standard AFM topography scan, the  microphone-inspired FIRAT probe simultaneously measures material properties including adhesion, stiffness, elasticity and viscosity with just one touch. It is also more sensitive to the physical characteristics of the target surface, up to 100 times faster than the standard AFM, and can capture detail not possible with the AFM. 

In the FIRAT probe the membrane with a sharp tip moves toward the sample and is pulled by attractive forces just before it touches. Similar to the way a microphone diaphragm picks up sound vibrations, the FIRAT probe’s membrane starts taking sensory readings before it comes into contact with a surface. When the tip hits the surface, the elasticity and stiffness of the surface determines how hard the material pushes back against the tip. Besides capturing only a topography scan of the sample, it can pick up a wide variety of other material properties.

>The Sound Contact Device – A Summary

The Sound Contact Device would combine the technology behind the AFM and the FIRAT probe in a glove/wrist-mounted interface that allows the user to essentially scan a desired surface and learn a variety of information about it.

The SCD is divided into two parts: the palm-side scanning part and the wrist-mounted display.

The palm-side scanning part would be coated in a more advanced future iteration of the membrane+tip combination of the AFM installed with the FIRAT probe, which will be more microscopic, flexible and not as sensitive to external factors as the versions currently available. Multiple tips would cover the palm surface (possibly dozens) to allow for maximum instantaneous readings and more precise measurements.

We believe the surfaces that could be scanned by the SCD can be divided into two categories, that of objects with living cells and objects that would be read simply at an atomic level. Because of this, the SCD would function in two modes:

A) For surfaces with living cells, the standard AFM topography scan would be used in the Gimzewski sonocytology application of converting captured motion data of the surface into sound. In this way, the object could be identified simply by its unique frequency pattern. Besides yielding information about the object’s material properties, this sound analysis would also reveal the state of the surface (its health).

As Gimzewski’s research showed, healthy cells of a particular kind produce different sounds from their mutated/cancerous counterparts; cells under stress produce different sounds. And as we’ve mentioned, there are certain patterns present within cells of the group/state. We would as far as to say that the SCD would allow the user to see what musical scale (essentially, an arrangement of notes in any system of music – an arrangement of  frequencies) the object fits into. The user would know if the cells are healthy (fit into the usual “healthy” scale) or display signs of mutations.

This analysis would be done by the SCD, and the results are displayed on the wrist-mounted screen. The user could listen to the converted sound data if desired, but the end result is conveniently shown.

B) The second mode of the SCD is for scanning all other surfaces, using the standard AFM topography augmented by the FIRAT probe. When brought into contact with a surface, the AFM tip-coated glove would identify properties like topography, adhesion energy, contact time,  and stiffness.

Now, one particularly exciting potential of the SCD is that it would function with both contact and non-contact interactions with surfaces.

As we discussed: in contact mode: the tip moves along a surface, its displacements are recorded, and three-dimensional molecular detail images are created, commonly used to study atoms, molecules, proteins, and living cells. In non-contact mode, the membrane with the tip moves toward the surface and is pulled by attractive forces before it touches. Like a microphone diaphragm picks up sound vibrations, the membrane receives sensory readings before the tip touches. 

For the user, this means that scanning objects would be possible even without entirely touching the surface with the SCD. In a few years advances in these technologies could allow the membrane+tip combination to pick up more detailed, precise, and comprehensive readings of surfaces at a greater distance. We don’t know if non-contact readings will ever surpass the need for contact scans, but it is possible that future versions of the membrane +tip technology will eliminate the need for contact readings altogether.

Perhaps even the sonocytology analysis function could be possible at a distance, allowing the user to “hear” cells without having to physically place the SCD on the surface. The conversion and amplification process of gathering sound data is sure to evolve in the coming years.

>Applications of the SCD 

Finally, we would like to explain our ideas for some practical uses of the Sound Contact Device. Perhaps the most significant use of this technology is in diagnosing diseases (especially cancer) through the sound analysis function. An everyday user could simply hold the glove over their body (their skin acting as the targeted surface) to have the SCD listen to their cells and display information about their health, revealing if the user has any diseases.

The group has considered how the user would choose and “target” a surface to be scanned. If the SCD can be truly used without touching the surface at all and can be used at a significant distance from the desired surface, then the user would get a list of readable surfaces within proximity on the SCD’s screen. Then they could choose which surface the SCD is to target by selecting it on the touchscreen and then the results of the readings would be displayed on the same screen.

But with the multiple membranes with tips on the glove allowing for hundreds of instantaneous readings, the possibility of scanning surrounding surfaces at all times is both exciting…and frightening. Some restrictions would have to be in place in order to respect privacy and unwelcome rampant scanning of any surface.

Other applications:

-Identifying structural weaknesses in buildings, etc. A user could scan a wall and determine if the area is habitable or is prone to collapse.

-As a pseudo-echolocation technique (but without the need for reflected sounds) for dark areas. A user walks into an unlit area and uses the SCD to scan surrounding surfaces. By quickly analyzing the material properties of the objects around, the SCD would determine what makes up the unlit area and produce a 3D map of the area so the user can safely walk around. Continuous subsequent readings will update the map, reflecting any change in movement or state of the surrounding surfaces. The map would be displayed on the wrist-mounted screen and possibly also on some form of connected head-mounted display (like Google Glass or the Oculus Rift, but more mobile and portable).

In conclusion, a device that utilizes technology similar to that of the SCD certainly holds great potential. In a few decades the absurd scenarios presented by science fiction of a highly-advanced technological future might just not be that absurd and be well within our reach. The groundwork for these applications has already begun; all that’s left are refinements and significant leaps in their functioning and design.

-Mateus Da Silva & Haroldo Olivieri

 

Standard

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s