A Sound Idea – A Proposal

(English more your style? I’ve got your covered! Scroll on down, but remember to go back for the images).

Isso é uma continuação do post anterior, parte da pesquisa que eu fiz com a minha dupla Haroldo Olivieri (leia o seu blog aqui). Agora vamos explicar nossa proposta completa para um novo projeto de design de mídia digital que explora o potencial dos sentidos.

Nossa proposta para uma aplicação tecnológica proposta está dentro do âmbito da pesquisa acústica (incluindo o campo recém desenvolvido de sonocytology, o estudo dos sons celulares, discutida no post anterior), o escaneamento de superfícies, pesquisa relacionada com a saúde, e microscopia de escaneamento por sonda (Scanning Probe Microscopy – SPM), um ramo de microscopia que obtém imagens de superfícies utilizando uma sonda física que varre o espécime em questão.

Nossa idéia é de uma luva/interface híbrida montado no pulso que permite o usuário essencialmente escanear uma superfície desejada e receber dados relativos sobre a superfície: tentativamente -intitulado o Sound Contact Device – SCD . Estes dados seriam exibidos em uma tela localizada no pulso (provavelmente e utilizando controle touch-screen). Em suma, o lado da palma da luva seria coberto em sondas microscópicas com membranas flexíveis (semelhantes aos usados ​​em microfones) que captam dados sobre movimento a partir da superfície em contato . Os dados são analisados ​​pelo dispositivo e os resultados relativos são exibidos ao usuário.

Mas como funcionaria? Antes de tudo, é importante nós sublinharmos o fato de que a tecnologia por trás do SCD é, atualmente, muito cara, frágil, não é amplamente acessível, não muito móvel ou flexível, e não tão eficaz ou precisa quanto acreditamos que o SCD seria. Mas essa mesma tecnologia está avançando rapidamente e pode muito bem aproximar-se aos parâmetros das iterações utilizadas no SCD.

O SCD usaria principalmente a tecnologia de microscópios como o Microscópio de Força Atômica (Atomic Force Microscope – AFM) e pontas microscópicas de microscópios alternativas como a sonda FIRAT – Force Sensing Integrated Readout and Active Tip probe. Primeiro vamos explicar estas tecnologias em mais detalhes, e, no final deste post, vamos resumir as suas aplicações com o SCD.

1) Tecnologia do AFM: o SCD seria semelhante às aplicações do AFM (que utiliza sentido tátil) na sonocytology por Jim Gimzewski (como discutimos no último post). A microscopia de força atômica por trás do microscópio pode ser realizada em ambos os modos de contato e sem contato, como é explicado neste artigo do Chemistry World:

“No modo de contato, a ponta de um AFM feita a partir de silício ou nitreto de silício arrasta em cima de uma superfície. A deformação causada na ponta pela força repulsiva da superfície é processada para criar uma imagem da superfície . No modo sem contato, o braço de suporte que contém a ponta é feita para oscilar a uma frequência de ressonância acima da superfície. As forças de van der Waals fracas da superfície diminuem a frequência de ressonância do braço de suporte. Essa alteração na frequência pode então ser processada para revelar a imagem com precisão atómica.”

Em outras palavras, no modo de contato: a ponta se move ao longo de uma superfície , os seus deslocamentos são registrados, e imagens tridimensionais com detalhe moleculares são criadas, geralmente utilizadas para estudar átomos, moléculas, proteínas e células vivas . No modo sem contato, a membrana com a ponta se move em direção à superfície e é puxada por forças atrativas antes que ela toque. Como um diafragma de microfone capta vibrações sonoras, a membrana recebe leituras sensoriais antes da ponta encostar. 

 

Atomic Force Microscope

Um desvantagem de usar o AFM é que (em seu estado atual) ele é lento e, como explicado, a ponta precisa se ​​deslocar na superfície, medindo cada solavanco e oco de sua membrana externa, para “sentir” a sua estrutura. Com o SCD, seria inconveniente de ter de passar a mão sobre a superfície desejada para ser capaz de digitalizá-la. É aí que usamos a pesquisa de Jim Gimzewski.

Gimzewski usou o AFM para uma finalidade diferente. Ele e seus colegas pesquisadores mantiveram a ponta em uma posição fixa, colocando ela levemente na superfície de uma membrana celular de levedura “como a agulha de uma vitrola”, para detectar quaisquer vibrações de geração de som. Eles descobriram que em sua posição fixa sobre uma superfície vibrando, a ponta segue os movimentos – agindo como um ultra-sensível detector de movimento de alta resolução. Os dados de movimento de movimentos celulares em pequena escala (nanômetros para micrômetro)s em suas membranas celulares foram convertidos em som, deixando eles “ouvir” as células.

Image of hydrogen bonds captured by the AFM.

 

A distância que a parede celular se move determina a amplitude (volume) da onda sonora, e a velocidade do movimento para cima e para baixo sua frequência, ou altura. Além disso, eles descobriram que a frequência das células de leveduras testadas foi sempre na mesma faixa de agudos, “mais ou menos um Dó-Sustenido para Ré acima do Dó central, em termos de música.” Aplicando álcool em uma célula de levedura para matá-la aumenta o tom, enquanto as células mortas emitem um som baixo, que Gimzewski acredita que é provavelmente o resultado de movimentos atômicos aleatórios. Os testes também mostraram que as células de leveduras com mutações genéticas fazem um som um pouco diferente do que as células normais de levedura.

Em outras palavras, escaneando superfícies por “ouvir”  as suas células é possível ao mantenr a ponta do AFM em uma posição fixa, convertendo os dados de movimento capturados em som (formato gráfico em um arquivo de som digital), e amplificando o som para que ele esteja dentro da faixa de frequência humana, assim, “sentindo”  uma célula com o AFM e interpretando o seu movimento como som e, portanto, ser capaz de identificar diferentes tipos de células.

AFM cantilever with tip.

2) Sonda Force Sensing Integrated Readout and Active Tip (FIRAT)

Em sumo, a sonda FIRAT agiria como uma extensão das capacidades do AFM. Baseada nas membranas flexíveis como as de microfones, a sonda FIRAT iria substituir a ponta do AFM e ser usada para rápido mapeamentos topográficos, caracterização de materiais quantitativa e medidas de mecânicas única-molécular.

Além do escaneamento topográfico padrão do AFM, a sonda FIRAT inspirado por microfones mede simultaneamente as propriedades dos materiais, incluindo a adesão, rigidez, elasticidade e viscosidade, com apenas um toque. É também mais sensível às características físicas da superfície, até 100 vezes mais rápida do que o AFM normal, e pode captar detalhes não possíveis com o AFM.

 

From one touch, the FIRAT probe scans material properties of a surface like (from upper left to right) topography, adhesion energy, contact time and stiffness.

Na sonda FIRAT a membrana com a ponta afiada se move em direção à amostra e é puxada por forças atrativas antes de toca. Semelhante à maneira como um diafragma microfone capta as vibrações sonoras, a membrana da sonda FIRAT começa a fazer leituras sensoriais antes de entrar em contato com uma superfície. Quando a ponta atingi a superfície, a elasticidade e rigidez da superfície determina o quanto o material empurra contra a ponta. Além de capturar apenas uma leitura de topografia da amostra, pode capturar uma grande variedade de outras propriedades do material.

AFM membrane with FIRAT probe.

>The Sound Contact Device – Um Resumo

O Sound Contact Device combinaria a tecnologia por trás do AFM e a sonda FIRAT numa luva/interface montada no pulso que permite o usuário essencialmente escanear uma superfície desejada e receber uma variedade de informações sobre ela.

O SCD é dividido em duas partes: a parte de escaneamento do lado de palma e o visor montado no pulso.

A parte do lado da palma seria revestida em uma iteração futura mais avançada da combinação membrana+ponta usada no AFM instalado com a sonda FIRAT, que irá ser mais microscópica, flexível e não tão sensível a fatores externos como as versões disponíveis no momento. Várias pontas iriam cobrir a superfície da palma (possivelmente dezenas) para permitir leituras instantâneas máximas e medidas mais precisas.

SCD Blueprint

Acreditamos que as superfícies que podem ser lidas pelo SCD podem ser divididos em duas categorias, a de objetos com células vivas e objetos que serão lidos apenas a um nível atómico. Devido a isso, o SCD iria funcionar em dois modos:

A) Para superfícies com células vivas, a leitura topográfica padrão do AFM seria utilizada na aplicação na sonocytology do Jim Gimzewski de converter os dados de movimento da superfície capturados para som. Dessa forma, o objeto poderia ser simplesmente identificado pelo seu padrão de frequência único. Além de receber informações sobre as propriedades do material do objeto, a análise de som também iria revelar o estado da superfície (sua saúde).

Como a pesquisa de Gimzewski mostrou, as células saudáveis ​​de um tipo particular produzem sons diferentes dos seus homólogos mutantes (cancerosos); células sob estresse produzem sons diferentes. E como já mencionado, há certos padrões presentes entre células do mesmo grupo/estado. Até diríamos que o SCD iria permitir que o usuário veja em qual escala musical (basicamente um arranjo de notas em qualquer sistema de música – um arranjo especifico de frequências) o objeto se encaixa. O usuário poderia saber se as células estão saudáveis ​​(cabem em uma escala  “saudável “) ou apresentam sinais de mutações.

Essa análise seria feita pelo SCD, e os resultados exibidos na tela montada no pulso. O usuário poderia ouvir os dados de som convertidos se desejar, mas o resultado final estaria convenientemente exibido.

scdHumanBody-01

B) O segundo modo do SCD é para o escaneamento de todas as outras superfícies, utilizando a topografia padrão do AFM aumentada pela sonda FIRAT. Quando entra em contato com uma superfície, a luva revestida de pontas do AFM iria identificar propriedades como topografia, energia de adesão, tempo de contato e rigidez.

Agora, um potencial particularmente interessante do SCD é que ele funcionaria tanto com interações de contato com superfícies e interações sem contato.

Como discutimos: no modo de contato: a ponta se move ao longo de uma superfície , os seus deslocamentos são registrados, e imagens tridimensionais com detalhe moleculares são criadas, geralmente utilizadas para estudar átomos, moléculas, proteínas e células vivas . No modo sem contato, a membrana com a ponta se move em direção à superfície e é puxada por forças atrativas antes que ela toque. Como um diafragma de microfone capta vibrações sonoras, a membrana recebe leituras sensoriais antes da ponta encostar. 

Para o usuário, o que isso significaria é que o escaneamento de objetos seria possível mesmo sem totalmente tocar a superfície com o SCD. Em poucos anos os avanços nessas tecnologias podem permitir que a combinação membrana + ponta faça leituras mais detalhadas, precisas e completas de superfícies e a uma distância maior . Não sabemos se as leituras sem contato irão superar a necessidade de leituras com contato, mas é possível que as futuras versões da tecnologia membrana+ ponta possam eliminar a necessidade de leituras de contato completamente.

Talvez até mesmo a função de análise na sonocytology poderia ser possível à uma distância, permitindo que o usuário “ouça” as células sem ter que colocar o SCD  fisicamente na superfície. A processo de conversão e amplificação de coleta de dados de som certamente irá evoluir nos próximos anos.

scdClaridade-01

> Aplicações do SCD

Finalmente, gostaríamos de explicar nossas idéias para alguns usos práticos do Sound Contact Device. Talvez o uso mais importante dessa tecnologia é no diagnóstico de doenças (especialmente câncer) através da função de análise de som. Um usuário comum poderia simplesmente colocar a luva sobre seu corpo (a pele agindo como a superfície alvo) para o SCD ouvir  suas células e exibir informações sobre a sua saúde, revelando se o usuário tem alguma doença.

O grupo considerou como o usuário iria escolher a superfície “alvo” a ser escaneada. Se o SCD pode ser realmente usado sem tocar na superfície e pode ser utilizado a uma distância da superfície desejada, então o usuário poderia obter uma lista de superfícies “legíveis” dentro de sua proximidade na tela do SCD . Em seguida, eles poderiam escolher qual superfície o SCD deve ler selecionando-a na touchscreen e em seguida os resultados das leituras seriam exibidos na mesma tela.

Mas com as múltiplas membranas com pontas sobre a luva permitindo centenas de leituras instantâneas, a possibilidade de escanear superfícies ao redor em todos os momentos é emocionante…e assustadora. Algumas restrições teriam que ser implementadas, a fim de respeitar a privacidade e leituras indesejáveis de qualquer superfície.

Outras aplicações:

– Identificar deficiências estruturais em prédios, etc. Um usuário pode escanear uma parede e determinar se a área é habitável ou está propenso a entrar em colapso.

– Como uma técnica de pseudo-ecolocalização (mas sem a necessidade de sons refletidos) para áreas escuras. Um usuário entra em uma área sem iluminação e usa o SCD para ler superfícies circundantes. Ao analisar rapidamente as propriedades materiais dos objetos ao seu redor, o SCD poderia determinar o que compõe a área apagada e produzir um mapa 3D da área, de modo que o usuário pode andar com segurança. Leituras contínuas subsequentes irão atualizar o mapa, refletindo qualquer alteração no movimento ou estado das superfícies circundantes. O mapa seria exibido na tela montada no pulso e, possivelmente, também em alguma forma de display montado na cabeça (como o Google Glass ou Oculus Rift, mas mais móvel e portátil)  conectado ao SCD.

scdEscuridao-01

Em conclusão , um dispositivo que utiliza tecnologia semelhante à da SCD certamente tem um grande potencial . Em poucas décadas os cenários absurdos apresentados pela ficção científica de um futuro tecnológico altamente avançado podem não ser tão absurdos e estarão bem ao nosso alcance. A base para estas aplicações já existi ; tudo o que resta são refinamentos e saltos significativos em seu funcionamento e design.

-Mateus Da Silva & Haroldo Olivieri

Referências:

http://www.darksideofcell.info/bg.html

http://phys.org/news127559152.html#nRlv

http://phys.org/news11346.html#nRlv

http://phys.org/news10709.html

http://archive.poly.edu/nanosymposium/_doc/FLeventDegertekin.pdf

http://mist.gatech.edu/wordpress/research/firat

http://www.rsc.org/chemistryworld/2013/09/first-pictures-hydrogen-bonds-unveiled-afm

http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3700051/

http://www.smithsonianmag.com/science-nature/signal-discovery-104663195/?page=1

_____________________ // _____________________

This is a continuation of the previous post, part of the research I have done with my group partner Haroldo Olivieri (read his blog here) (leia o seu blog aqui). Now we will explain our full proposal for a new digital media design project which explores the potential of the senses.

Our proposed technological application lies within the realm of acoustic research (including the field of sonocytology, the study of cell sounds, discussed in the previous post), the scanning of surfaces, health-related research, and scanning probe microscopy (SPM), a branch of microscopy that obtains images of surfaces using a physical probe that scans the specimen in question.

Our idea is that of a glove/wrist-mounted interface hybrid that allows the user to essentially scan a desired surface and receive relative data about that surface: the tentatively-titled Sound Contact Device – SCD. This data would be displayed on a screen located on the wrist (possibly utilizing touch-screen control). In short, the palm side of the glove would be covered in microscopic probes with flexible membranes (similar to those used in microphones) which pick up feedback motion data from the surface in contact. That data is analyzed by the device and relative results are fed back to the user on the screen.

But how do we think it would work? First of all, it is important for us to stress the fact that the technology behind the SCD is presently very expensive, fragile, not widely accessible, not very mobile or flexible, and not as effective or accurate as we believe the SCD would be. But this same technology is advancing at a rapid rate and could very well approach the parameters of the iterations used in the SCD.

The SCD would primarily use the technology of microscopes like the Atomic Force Microscope (AFM) and alternative microscopic microscope tips like the Force Sensing Integrated Readout and Active Tip (FIRAT) probe. First we will explain these technologies in more detail, and at the end of this post we will summarize their applications in the SCD. 

1) AFM Technology: the SCD would be similar to the applications of the tactile-sensing AFM in sonocytology by Jim Gimzewski (as we discussed in the last post). The atomic force microscopy behind the microscope can be performed in both contact and non-contact modes, as explained in this article from Chemistry World:

“In contact mode, the tip of an AFM made from silicon or silicon nitride drags on top of a surface. The deflection caused in the tip by the repulsive force of the surface is then processed to create an image of the surface. In the non-contact mode, the cantilever containing the tip is made to oscillate at a resonance frequency just above the surface that is to be imaged. The weak van der Waals forces of the surface decrease the resonance frequency of the cantilever. This change in frequency can then be processed to reveal the image with atomic precision.”

In other words, in contact mode: the tip moves along a surface, its displacements are recorded, and three-dimensional molecular detail images are created, commonly used to study atoms, molecules, proteins, and living cells. In non-contact mode, the membrane with the tip moves toward the surface and is pulled by attractive forces before it touches. Like a microphone diaphragm picks up sound vibrations, the membrane receives sensory readings before the tip touches. 

One setback of using the AFM is that (in its current state) it is slow and, as explained, the tip needs to move around the surface. measuring every bump and hollow of its outer membrane, to “feel” its structure. With the SCD, it would be inconvenient to have to move your hand over the desired surface to be able to scan it. That’s where Jim Gimzewski’s research comes in. 

Gimzewski used the AFM for a different purpose. He and his fellow researchers kept the tip in a fixed position, resting it lightly on the surface of a yeast cell membrane “like a record needle,”  to detect any sound-generating vibrations. They found that in its fixed position over a vibrating surface, the tip bends and follows the motions – acting as an ultra-sensitive, high-resolution motion detector. The motion data on small scale (nanometer to micrometer) cell motions at their cell membranes was converted into sound, allowing them to “listen” to the cells.

The distance the cell wall moves determined the amplitude (volume) of the sound wave, and the speed of the up-and-down movement its frequency, or pitch. The researches also found that the frequency of the yeast cells  tested has always been in the same high range, “about a C-sharp to D above middle C in terms of music.”  Applying alcohol on a yeast cell to kill it raises the pitch, while dead cells give off a low, rumbling sound that Gimzewski believes is probably the result of random atomic motions. The tests also showed that yeast cells with genetic mutations make a slightly different sound than normal yeast cells.

In other words,  scanning surfaces by “listening” to their cells is possible by keeping the AFM tip in a fixed position, converting captured motion data into sound (graphical format into a digital sound file), and amplifying the sound so it is within the human frequency range, thus, “feeling” a cell with AFM and interpreting its motion as sound, and therefore be able to identify different kinds of cells. 
2) Force Sensing Integrated Readout and Active Tip (FIRAT) Probe

For all intents and purposes, the FIRAT probe would act as an extension of the AFM’s capabilities. Based on flexible membranes like the ones in microphones, the FIRAT probe would replace the AFM’s tip and be used for fast topographic imaging, quantitative material characterization and single molecule mechanics measurements. Beyond the standard AFM topography scan, the  microphone-inspired FIRAT probe simultaneously measures material properties including adhesion, stiffness, elasticity and viscosity with just one touch. It is also more sensitive to the physical characteristics of the target surface, up to 100 times faster than the standard AFM, and can capture detail not possible with the AFM. 

In the FIRAT probe the membrane with a sharp tip moves toward the sample and is pulled by attractive forces just before it touches. Similar to the way a microphone diaphragm picks up sound vibrations, the FIRAT probe’s membrane starts taking sensory readings before it comes into contact with a surface. When the tip hits the surface, the elasticity and stiffness of the surface determines how hard the material pushes back against the tip. Besides capturing only a topography scan of the sample, it can pick up a wide variety of other material properties.

>The Sound Contact Device – A Summary

The Sound Contact Device would combine the technology behind the AFM and the FIRAT probe in a glove/wrist-mounted interface that allows the user to essentially scan a desired surface and learn a variety of information about it.

The SCD is divided into two parts: the palm-side scanning part and the wrist-mounted display.

The palm-side scanning part would be coated in a more advanced future iteration of the membrane+tip combination of the AFM installed with the FIRAT probe, which will be more microscopic, flexible and not as sensitive to external factors as the versions currently available. Multiple tips would cover the palm surface (possibly dozens) to allow for maximum instantaneous readings and more precise measurements.

We believe the surfaces that could be scanned by the SCD can be divided into two categories, that of objects with living cells and objects that would be read simply at an atomic level. Because of this, the SCD would function in two modes:

A) For surfaces with living cells, the standard AFM topography scan would be used in the Gimzewski sonocytology application of converting captured motion data of the surface into sound. In this way, the object could be identified simply by its unique frequency pattern. Besides yielding information about the object’s material properties, this sound analysis would also reveal the state of the surface (its health).

As Gimzewski’s research showed, healthy cells of a particular kind produce different sounds from their mutated/cancerous counterparts; cells under stress produce different sounds. And as we’ve mentioned, there are certain patterns present within cells of the group/state. We would as far as to say that the SCD would allow the user to see what musical scale (essentially, an arrangement of notes in any system of music – an arrangement of  frequencies) the object fits into. The user would know if the cells are healthy (fit into the usual “healthy” scale) or display signs of mutations.

This analysis would be done by the SCD, and the results are displayed on the wrist-mounted screen. The user could listen to the converted sound data if desired, but the end result is conveniently shown.

B) The second mode of the SCD is for scanning all other surfaces, using the standard AFM topography augmented by the FIRAT probe. When brought into contact with a surface, the AFM tip-coated glove would identify properties like topography, adhesion energy, contact time,  and stiffness.

Now, one particularly exciting potential of the SCD is that it would function with both contact and non-contact interactions with surfaces.

As we discussed: in contact mode: the tip moves along a surface, its displacements are recorded, and three-dimensional molecular detail images are created, commonly used to study atoms, molecules, proteins, and living cells. In non-contact mode, the membrane with the tip moves toward the surface and is pulled by attractive forces before it touches. Like a microphone diaphragm picks up sound vibrations, the membrane receives sensory readings before the tip touches. 

For the user, this means that scanning objects would be possible even without entirely touching the surface with the SCD. In a few years advances in these technologies could allow the membrane+tip combination to pick up more detailed, precise, and comprehensive readings of surfaces at a greater distance. We don’t know if non-contact readings will ever surpass the need for contact scans, but it is possible that future versions of the membrane +tip technology will eliminate the need for contact readings altogether.

Perhaps even the sonocytology analysis function could be possible at a distance, allowing the user to “hear” cells without having to physically place the SCD on the surface. The conversion and amplification process of gathering sound data is sure to evolve in the coming years.

>Applications of the SCD 

Finally, we would like to explain our ideas for some practical uses of the Sound Contact Device. Perhaps the most significant use of this technology is in diagnosing diseases (especially cancer) through the sound analysis function. An everyday user could simply hold the glove over their body (their skin acting as the targeted surface) to have the SCD listen to their cells and display information about their health, revealing if the user has any diseases.

The group has considered how the user would choose and “target” a surface to be scanned. If the SCD can be truly used without touching the surface at all and can be used at a significant distance from the desired surface, then the user would get a list of readable surfaces within proximity on the SCD’s screen. Then they could choose which surface the SCD is to target by selecting it on the touchscreen and then the results of the readings would be displayed on the same screen.

But with the multiple membranes with tips on the glove allowing for hundreds of instantaneous readings, the possibility of scanning surrounding surfaces at all times is both exciting…and frightening. Some restrictions would have to be in place in order to respect privacy and unwelcome rampant scanning of any surface.

Other applications:

-Identifying structural weaknesses in buildings, etc. A user could scan a wall and determine if the area is habitable or is prone to collapse.

-As a pseudo-echolocation technique (but without the need for reflected sounds) for dark areas. A user walks into an unlit area and uses the SCD to scan surrounding surfaces. By quickly analyzing the material properties of the objects around, the SCD would determine what makes up the unlit area and produce a 3D map of the area so the user can safely walk around. Continuous subsequent readings will update the map, reflecting any change in movement or state of the surrounding surfaces. The map would be displayed on the wrist-mounted screen and possibly also on some form of connected head-mounted display (like Google Glass or the Oculus Rift, but more mobile and portable).

In conclusion, a device that utilizes technology similar to that of the SCD certainly holds great potential. In a few decades the absurd scenarios presented by science fiction of a highly-advanced technological future might just not be that absurd and be well within our reach. The groundwork for these applications has already begun; all that’s left are refinements and significant leaps in their functioning and design.

-Mateus Da Silva & Haroldo Olivieri

 

Standard

A Sound Idea [Introduction]

(Let me guess…prefer English? No problem! Just scroll on down, but remember to go back for the images).

Conforme aprofundava minha pesquisa da expansão dos sentidos, meu interesse no campo de pesquisa acústica só se aprofundou, certamente inspirado pelo projeto Contact por Felix Faire que eu discuti no meu post anterior. Assim, eu gostaria de resumir as principais tecnologias e funções envolvidas nesse projeto.

O Contact utiliza sensores capacitivos, na forma de microfones de contato, como inputs, juntamente com a implementação de som. Os microfones de contato são conectados à uma interface de áudio e trabalham com a plataforma Arduino, um pedal de loop, o controlador de movimento Leap (para reconhecimento de gestos e mais interação), um projector (para feedback visual), um computador e uma variedade de software de computador para transformar qualquer superfície dura em uma interface. O Contact realiza uma análise de sonar passivo e de forma de onda para receber e processar inputs de toque “explorando o potencial de contato físico e vibração acústica como uma interação em materiais tangíveis.” Em suma, através deste processo é capaz de localizar transientes de volume e mapear as entradas de toque para X&Y , identificando onde o contato foi feito na superfície em questão.

Para mais detalhes sobre o Contact, por favor leia meu post anterior.

Agora eu gostaria de discutir as intenções do meu grupo com a nossa proposta de um novo projeto de design de mídia digital que explora o potencial dos sentidos. Meu parceiro de grupo é o Haroldo Olivieri (leia o seu blog aqui), e temos trabalhado em conjunto nessa pesquisa. Para este post, vamos dar uma olhada em aplicações de pesquisa acústica e os nossos interesses e idéias.

Vamos começar com o campo recém-desenvolvido de sonocytology (termo não existente no português): o estudo de sons celulares. Foi fundada por um químico da UCLA (University of California, Los Angeles), Jim Gimzewski, que encontrou indícios de que talvez todas as células vivas produzem ruído. Gimzewski procurou saber se todas as células batem que nem um coração, e se essas pequenas vibrações poderiam produzir um som detectável. Seu raciocínio era que “o som é apenas o resultado de uma força empurrando as moléculas, criando uma onda de pressão que se espalha e registrar quando atinge o tímpano,” então um ruído gerado por células pode ser detectável por um instrumento muito sensível.

Sendo um especialista em nanotecnologia, Gimzewkski teve acesso a um Microscópio de Força Atômica (AFM-Atomic Force Microscope), que usa um sensor tátil para criar imagens em 3D de superfícies em uma resolução muito alta, comumente usado para estudar os átomos, as moléculas, proteínas e células vivas. Este texto oferece uma ótima explicação do AFM:

The AFM “consists of a cantilever with a small tip at the end that is mounted on a tube-shaped piezoelectric crystal” [(the same effect used in contact microphones)]. The crystal expands and contracts proportionally to an applied voltage. Three sets of electrodes are attached on the tube to control the crystals motions in the X, Y and Z directions. When a voltage is applied to one of the electrodes, the crystal will contract or expand.

O AFM “consiste em um cantilever com uma pequena ponta na extremidade que está montado sobre um cristal piezoeléctrico em forma de tubo” [(o mesmo efeito utilizado em microfones de contato)]. O cristal se expande e contrai proporcionalmente a uma tensão aplicada. Três conjuntos de eléctrodos estão ligados no tubo para controlar os movimentos de cristais X, Y e Z. Quando uma tensão é aplicada a um dos eléctrodos, o cristal irá contrair ou expandir.

Essencialmente, as tensões aplicadas sobre os eléctrodos irão fazer com que a ponta se mova ao longo da superfície da amostra; seus deslocamentos são registrados e um mapa em 3D da superfície é gerado. Desse modo, a ponta de AFM pode literalmente “sentir” a estrutura da superfície, e o sentir movimento acontecendo dentro dela.

Gimzewski utilizou o microscópio para uma finalidade diferente. Tradicionalmente, o AFM cria uma imagem visual de uma superfície, movendo a ponta sobre a superfície, medindo cada solavanco e oco de sua membrana externa. Um computador converte os dados em uma imagem. Em vez disso, ele e os outros pesquisadores mantiveram a ponta em uma posição fixa, mantendo a ponta levemente na superfície de uma membrana celular de levedura “como uma agulha de vinil,” para detectar quaisquer vibrações de geração de som.

Behind the AFM

O resultado: eles descobriram que a parede celular sobe e desce três nanômetros e vibra uma média de 1.000 vezes por segundo. Esses dados de movimento foram convertidos em som , permitindo que os investigadores “ouvissem ” as células. A distância dos movimentos da parede celular determina a amplitude (volume) da onda de som , e a velocidade do movimento para cima e para baixo é a sua frequência, ou altura. Embora o volume do som da célula de levedura era muito baixo para ser ouvido, Gimzewski diz que sua frequência foi, teoricamente, dentro do alcance do ouvido humano .

Além disso, eles descobriram que a frequência das células de leveduras testadas foi sempre na mesma faixa de agudos, “mais ou menos um Dó-Sustenido para Ré acima do Dó central , em termos de música.”

Aplicando álcool em uma célula de levedura para matá-la aumenta o tom, enquanto as células mortas emitem um som baixo, que Gimzewski acredita que é provavelmente o resultado de movimentos atômicos aleatórios. Os testes também mostraram que as células de leveduras com mutações genéticas fazem um som um pouco diferente do que as células normais de levedura.

Esse resultado revela o que é, talvez, a aplicação dessa pesquisa com mais potencial: o diagnóstico de doenças (como o câncer , que se acredita ter origem com mudanças na composição genética das células) através do som. Os pesquisadores passaram a testar diferentes tipos de células de mamíferos.

No próximo post iremos descrever nossa proposta em mais detalhes.

_____________________ // _____________________

As I delved further into my research of the expansion of the senses, my interest in the field of acoustic study only deepened, certainly inspired by the Contact project by Felix Faire I discussed in my previous post. On that note, I would like to summarize the main technologies and functions involved in that project.

Contact utilizes capacitive sensors, in the form of contact microphones, as inputs, along with sound implementation. The contact mics run through an audio interface and work with the Arduino platform, a foot pedal, Leap motion controller (for gesture recognition and further interaction) projector (for visual feedback), a computer and a variety of computer software to transform any hard surface into an interface. Contact performs an analysis of passive sonar and waveform to receive and process touch inputs, “exploring the potential of physical contact and acoustic vibration as an interaction in tangible materials.” In short, through this process it is able to locate volume transients and map touch inputs to X&Y, identifying where contact was made on the surface in question.

For a more detailed look under the hood of Contact, please read my previous post.

Now I would like to discuss my group’s intentions with our proposal for a new digital media design project which explores the potential of the senses. My group partner is Haroldo Olivieri (read his blog here), and we have been working together on this research. For this post we will look at applications of acoustic research and our interests and ideas.

We will begin with a look into the recently-developed field of sonocytology: the study of cell sounds. It was founded by UCLA chemist Jim Gimzewski, who found evidence that perhaps all living cells produce noise. Gimzewski sought to find out if all cells beat, and if those tiny vibrations could produce a detectable sound. His reasoning was that “sound is merely the result of a force pushing on molecules, creating a pressure wave that spreads and registers when it strikes the eardrum,”  so a cell-generated noise might be detectable by a very sensitive instrument.

Being an expert in nanotechnology, Gimzewkski had access to an Atomic Force Microscope (AFM), which uses tactile sensing to create 3D images of surfaces at a very high resolution, commonly used to study atoms, molecules, proteins, and living cells. This essay offers a great explanation of the AFM: 

The AFM “consists of a cantilever with a small tip at the end that is mounted on a tube-shaped piezoelectric crystal” [(the same effect used in contact microphones)]. The crystal expands and contracts proportionally to an applied voltage. Three sets of electrodes are attached on the tube to control the crystals motions in the X, Y and Z directions. When a voltage is applied to one of the electrodes, the crystal will contract or expand.

Essentially, applied voltages on the electrodes will cause the tip to move along the sample surface; its displacements are recorded and a 3D map of the surface is generated. In this way, the AFM tip can literally “feel” the structure of the surface, and sense motion taking place within it.

Gimzewski used the microscope for a different purpose. Traditionally, the AFM creates a visual image of a surface by moving its tip over the surface, measuring every bump and hollow of its outer membrane. A computer converts the data into a picture. Instead, he and his fellow researchers kept the tip in a fixed position, resting it lightly on the surface of a yeast cell membrane “like a record needle,”  to detect any sound-generating vibrations.

The result: they found that the cell wall rises and falls three nanometers and vibrates an average of 1,000 times per second. This motion data was converted into sound, allowing the researchers to “listen” to the cells.  The distance the cell wall moves determines the amplitude (volume) of the sound wave, and the speed of the up-and-down movement is its frequency, or pitch. Though the volume of the yeast cell sound was far too low to be heard, Gimzewski says its frequency was theoretically within the range of human hearing.

In addition, they found that the frequency of the yeast cells  tested has always been in the same high range, “about a C-sharp to D above middle C in terms of music.”  Applying alcohol on a yeast cell to kill it raises the pitch, while dead cells give off a low, rumbling sound that Gimzewski believes is probably the result of random atomic motions. The tests also showed that yeast cells with genetic mutations make a slightly different sound than normal yeast cells.

This finding reveals what is perhaps the most exciting application of this research: diagnosing diseases (such as cancer, which is believed to originate with changes in the genetic makeup of cells) through sound.  The researchers have gone on to test different kinds of mammalian cells.

In the next post we will provide a more detailed description of our proposal.

Standard

Contact: Augmented Acoustics

Contact in its natural habitat.

(Does your world look better in English? l can help…scroll on down! Just remember to go back for pictures and videos.)

Mais uma semana, mais uma atualização! Depois do meu último post sobre o projeto Ototo e meu interesse em projetos de mídia digital no domínio do som, eu achei outras aplicações interessantes. Primeiro, eu me lembrei do projeto Makey Makey , a partir do qual o Ototo tem muito em comum. No entanto, o Makey Makey age como um dispositivo de input mais geral (em vez de ser especificamente uma entrada de teclado musical, como no Ototo) e prevê o uso de objetos do cotidiano como dispositivos de input para uma variedade de diferentes aplicações, não apenas as de música.

Em seguida eu busquei mais usos de sensores capacitivos, ou o uso de capacidade como uma entrada (tal como em touchscreens), o tempo todo olhando para possível implementação no som. O resultado foi que eu encontrei um projeto que combina microfones de contato, sensores capacitivos, interfaces de áudio, um projetor e uma série de programas de computador para transformar qualquer superfície dura em uma interface.

Let’s Make Contact.

CONTACT: Augmented Acoustics from Felix Faire on Vimeo.

O que é? O nome do projeto é Contact e está sendo desenvolvido por Felix Faire no Interactive Architecture Lab na Bartlett School of Architecture.

Contato é um projeto de pesquisa acústica utilizando microfones de contato e análise de sonar passiva e de forma de onda para receber e processar entradas de toque.

Ele pode identificar onde uma superfície foi atingida, identificar determinados movimentos de uma mão, a interação com os dedos, etc.

O som captado pelos microfones é digitalmente ressoado para gerar uma nota melódica baseada no impulso acústico de entrada.

Em seguida, os sons podem ser gravados, manipulados e reproduzidos com um pedal de loop.

O Contact também usa o Leap Motion Controller. para manipular ainda mais os sons de entrada. Vários gestos podem ser utilizados para modificar os sons depois de serem emitidos, evitando o contato com a superfície, o que poderia interferir com a entrada de som.

O projetor permite retorno visual a ser exibido na superfície, permitindo que o usuário visualize os impulsos e as vibrações de seu contato.

13 Contact Visual Animations

Por que é importante? O projeto é uma alternativa intrigante às interfaces de sensores capacitivos mais comuns e à entrada de teclado e mouse.

Uma vantagem importante da interface do Contact é em ser mais móvel e portátil, distinguindo-se das interfaces fixas. Ela pode possivelmente ser colocada em qualquer superfície dura, criando uma interface áudio-visual a qualquer momento.

O Contact também chamou a minha atenção com a sua implementação inovadora de entrada de som e manipulação musical, de forma eficaz visando o sentido do tato e o sentido de audição.

Finalmente, fiquei fascinado pelo projeto por ser (nas palavras de seu criador) uma exploração do potencial de contato físico e vibração acústica como um meio de interação em materiais tangíveis

Como isso funciona? O Contact usa microfones de contato – que usam o efeito piezoelétrico para transformar vibrações em sinais elétricos – e Arduino para localizar transientes de volume. Volumes entre sinais são comparados e mapeado para X e Y.

1 Contact Overview

Os microfones de contacto estão ligados a uma interface de audio para processar informações detalhadas sobre as frequências de vibrações em superfícies nos programas Ableton Live (software sequenciador de música e digital audio workstation) e Max/MSP (uma linguagem de programação visual para música e multimídia).

Um patch no Max é usado para disparar um impulso quando o sinal modificado excede um limite. Uma faixa de áudio envia este impulso para uma faixa midi como uma nota midi. Esta análise de áudio também permite a localização transitória (sabendo onde a superfície está sendo atingida).

2 Contact Schematic

Além disso, o patch no Max compara os sinais, os valores de distância relativa e envia para Processing via OSC para mapear à projeção (uma mensagem é enviada para Processing sobre OSC para ativar uma resposta visual através da imagem projetada).

Em suma, diferentes gestos feitos pelo usuário na superfície trazem respostas diferentes de áudio e visuais.

Há também um pedal ligado ao Processing através de um Arduino carregado com Firmata.

Finalmente, o controle de gestos pelo ar é ativado através do Leap Movement Controller, permitindo controle sem contato de efeitos de áudio.

Primeiro um gesto na superfície é transformado em um efeito de áudio. Então, em um preset particular, um gesto de três dedos pode controlar a frequência com que a nota é ressoada. Um gesto de cinco dedos pode controlar o tempo de decaimento (decay) do reverb.

Leap Motion Controller

Leap Motion Controller

9 Contact Leap Motion

10 Contact Leap Motion

Alguma modificação? Microfones de contato podem ser baratos e portáteis, mas eles são bem frágeis. Pode-se questionar a eficiência dos microfones em contato em um ambiente com dezenas de outras fontes de som (como eu fiz), mas microfones de contato são a solução perfeita para esse problema: eles são desejáveis ​​pela sua alta sensibilidade a vibrações de áudio através de objetos sólidos e insensibilidade à vibrações do ar.

No entanto, um fator-chave aqui é a sua necessidade de preamp (pré-amplificador), ou de aumentar o fraco sinal de entrada do microfone de contato e transmiti-lo a um amplificador principal. Um pré-amplificador separado é necessário para utilizar os microfones de contacto, enquanto ele não é necessário para alguns outros tipos (como microfones dinâmicos).

Além da questão de pré-amplificação, os uso de microfones de contato descarta a possibilidade de implementação de reconhecimento de voz no Contact. Talvez o reconhecimento de voz possa ser implementado (e ainda evitar a interferência de entradas de som indesejados no ambiente) usando um microfone dinâmico com uma padrão polar cardióide (directividade – cardioid polar pattern, efeito de proximidade) bem restrito (este artigo menciona essa manipulação potencial de microfones padrões polares).

 

Cardioid Polar Pattern

 

O Contact é portátil quando comparado à outras interfaces…mas será que é realmente portátil?

Em seu estado atual, o Contact utiliza dois microfones de contato, um Arduino, um projetor, uma interface de áudio, um pedal de loop, um computador com todo o software necessário, um Leap Motion controller, fones de ouvido, e todos os cabos necessários.

Ele pode ser usado em qualquer superfície plana, mas levando todos os componentes necessários para esse local e deixar tudo funcionando corretamente leva bastante tempo. Essas limitações são compreensíveis, e esse problema só pode ser reduzido enquanto a tecnologia melhora e algumas destas peças ficam menores e mais compactas.

Finalmente, eu gostaria de discutir os usos práticos do Contact. Em seu estado atual, ele usa as respostas de áudio e visual para gerar uma interface áudio-visual ao vivo, que funciona basicamente como um instrumento.

14 Contact Visual Animations

Eu proponho também ser utilizado para outras aplicações.

O processo de transitória local por áudio combinado com o projetor pode permitir que um teclado (ou outra forma de input) seja projetado sobre a superfície, e batidas, arranhões e outras ações de mão sejam reconhecidas, e a localização de cada contato identificado, permitindo que o usuário “tecle” no teclado projetado. Isto é diferente de outras aplicações existentes na medida em que depende de som e não de detecção óptica. Além disso, quando combinado com o controlador de gesto Leap Movement, isso permitiria que o controle fosse ainda mais profundo.

Outra aplicação para considerar é a projeção e o mapeamento do Contact em superfícies irregulares. Isto o tornaria ainda mais ubíquo pois ele poderia realmente ser mapeado à qualquer superfície (imóvel). Além disso, eu não sei ao certo se o Contact funciona tão bem em superfícies verticais .

Um cenário típico que eu imagino é usar o Contact em sua mesa de trabalho. Sua área de trabalho é projetada sobre a superfície plana de mesa, e você pode usar gestos com as mãos sobre a superfície para escolher documentos e programas, projetar um teclado para digitar ou usar gestos pré-definidos para ativar ações específicas.

Uma limitação perceptível nesse cenário é a ausência de movimentos como arrastar, scrolling, beliscar ou qualquer movimento que requer contato manual contínuo, o que não permitiria o controle do mouse. Com minha pesquisa, eu não consegui determinar se o Contact pode detectar as vibrações de áudio muito sutis que resultam desses movimentos, além de reconhecer as batidas muito mais altas.

15 Contact Visual Animations

Em um mundo ideal, o usuário seria capaz de controlar o Contact com gestos básicos de uma touchscreen, além de usar as entradas de áudio únicas da interface, mas por enquanto esse problema pode ser remediado usando o Leap Motion controller para estes gestos.

Bom, não é necessário dizer que eu estou muito animado com o potencial apresentado por projetos como o Contact, e estou ansioso para ver o seu desenvolvimento, o desenvolvimento de outras aplicações neste mundo, e, talvez, fazer algumas experiências da conta própria .

Obrigado por ler!

Referências:

http://www.creativeapplications.net/processing/contact-by-felix-faire-turns-any-hard-surface-into-an-interface/
https://www.soundonsound.com/sos/mar07/articles/micpatterns.htm
http://www.engadget.com/tag/piezoelectric/
http://lieveld.nl/post/77299202352/contact-augmented-acoustics-by-felix-faire

Making: CONTACT from Felix Faire on Vimeo.

_____________________ // _____________________

Another week, another update! Following my last post about the Ototo. project and my interest in digital media projects in the realm of sound, I ran into other interesting applications. First, I recalled the Makey Makey project, from which Ototo takes plenty of cues. However, Makey Makey acts as a more general input device (instead of specifically being a musical keyboard input, like Ototo) and envisions the use of everyday objects as input devices to a variety of different applications, not just music ones.

From there I looked for more uses of capacitive sensors, or the use of capacitance as an input (such as in touchscreens), all the while looking for possible implementation in sound. The result was that I found a project that combines contact microphones, capacitive sensors, audio interfaces, a projector and a host of computer software to turn any hard surface into an interface.

Let’s Make Contact.

What is it?The project is called Contact and is being developed by Felix Faire at the Interactive Architecture Lab at the Bartlett School of Architecture.

Contact is an acoustic research project utilizing contact microphones and passive sonar and waveform analysis to receive and process touch inputs.

It can identify where a surface has been hit, a hand’s particular movements, interaction with fingers, etc.
Sound picked up by the microphones is digitally resonated to generate a melodic note based on the input acoustic impulse.

Then, the sounds can be recorded, manipulated and played back with a loop pedal.

Contact also uses the Leap Motion Controller. to further manipulate the input sounds. Various hand gestures can be used to further modify sounds after they are emitted, while avoiding contact with the table, which would interfere with the sound input.

The projector allows for visual feedback to be displayed on the surface, allowing the user to visualize the impulses and vibrations from their inputs.

Why is it important? The project is an intriguing interface alternative to the usual capacitive-sensing interfaces and to the keyboard-and-mouse input. One significant advantage to the Contact interface is its portable, mobile nature, distinguishing itself from fixed interfaces. It can conceivably be placed on any hard surface, creating a live audio-visual interface at a moment’s notice.

It also got my attention with its innovative implementation of sound input and musical manipulation, effectively targeting the sense of touch and the sense of sound.

Finally, I was drawn to the project because it is (in the words of its creator) an exploration of the potential of physical contact and acoustic vibration as an interaction medium in tangible materials.

How does it work? Contact uses contact microphones – which use the piezoelectric effect to turn vibrations into electric signals – and Arduino to locate volume transients. Volumes between signals are compared and mapped to X&Y.

The contact mics are connected to an audio interface to process detailed frequency information of surface vibrations in Ableton Live (software music sequencer and digital audio workstation) and Max/MSP (a visual programming language for music and multimedia).

A Max patch is used to trigger an impulse when the modified signal exceeds a limit. An audio track sends this impulse to a midi track as a midi note. This audio analysis also allows for transient localization (knowing where the surface is being hit).

In addition, the Max patch compares the signals, relative distance values and sends it to Processing via OSC to map to the projection (a message is sent to processing over OSC to trigger a visual response through the projected image).

In short, different gestures made by the user on the surface trigger different audio and visual responses.

There is also a foot pedal connected to Processing through an Arduino uploaded with firmata.

Finally, air gesture control is enabled through the Leap Motion controller, allowing for contactless control of audio effects.

First a gesture on the surface is processed into an audio effect. Then, in a particular preset, a three-finger gesture can control the frequency that the note would be resonated at. A five-finger gesture can control the reverb decay time.

Any Modifications? Contact microphones might be cheap and portable, but they are fragile. One might question the efficiency of microphones in Contact in an environment with dozens of other sound sources (as I did), but contact microphones are the perfect solution to this problem: they are desirable for their high sensitivity to audio vibrations through solid objects and insensitivity to air vibrations.

However, a key factor here is their need for preamp, or boosting the weak input signal of the contact microphone and transmitting it to a main amplifier. A separate preamp is needed to use the contact microphones, whereas it is not required for some other types (like dynamic microphones).

Besides the preamp issue, contact microphones rule out the possibility of implementing voice recognition in Contact. Perhaps voice recognition could be implemented (while still avoiding interference from unwanted sound inputs in the environment) by using a dynamic microphone with a very narrow cardioid polar pattern. (this article mentions this potential manipulation of microphone polar patterns).

Contact is portable when compared to other interfaces…but is it really portable?

In its current state, Contact uses two contact mics, an Arduino, a projector, an audio interface, a loop pedal, a computer running all the necessary software, a Leap Motion controller, headphones, and all the required cables.

It can be used on any flat surface, but taking all the necessary components to that location and getting everything working properly is time-consuming.These limitations are understandable, and this problem might only be reduced as technology improves and some of these parts get smaller and more compact.

Finally, I’d like to discuss the practical uses of Contact. In its current state, it uses the audio and visual responses to generate a live audio-visual interface that functions as an instrument at its core.

I propose it also be used for other applications.

The audio transient location process combined with the projector might allow for a keyboard (or another input) to be projected on the surface, and taps, scrapes, and other hand actions will be recognized, and the location of each contact identified, allowing the user to “type” on the projected keyboard. This is different from other existing applications in that it relies on sound and not optical detection. Furthermore, when combined with the Leap Motion gesture controller, this would allow for even deeper control.

Another application to consider is projecting and mapping Contact on uneven surfaces. This would make it that more ubiquitous as it could truly be mapped to any (still) surface. In addition, I do not know for sure if Contact works just as well on upright surfaces.

One everyday scenario I envision is using Contact on your work desk. Your desktop is projected on the flat desk surface, and you can use hand gestures on the surface to choose documents and programs, project a keyboard to type, or use set gestures to trigger particular actions.

One limitation noticeable in this scenario is the absence of dragging, scrolling, pinching or any movement that requires continuous hand contact, which would not allow for mouse control. From my research, I was unable to determine if Contact can detect the very subtle audio vibrations that result from these movements, besides recognizing the much louder taps. In an ideal world, a user would be able to control Contact with basic touchscreen gestures, in addition to using the unique audio inputs, but at the moment this problem might be remedied by using the Leap Motion controller for these gestures.

Needless to say, I am very excited by the potential presented by projects like Contact, and I look forward to seeing its development, the development of other applications in this field, and perhaps doing some experimentation of my own.

Thanks for reading!

References:

http://www.creativeapplications.net/processing/contact-by-felix-faire-turns-any-hard-surface-into-an-interface/
https://www.soundonsound.com/sos/mar07/articles/micpatterns.htm
http://www.engadget.com/tag/piezoelectric/
http://lieveld.nl/post/77299202352/contact-augmented-acoustics-by-felix-faire

~Matt

Standard

Ototo: “Make Music from Anything”

The Ototo in its natural habitat.

(English more your style? You know the drill…scroll on down!)

Hey there! Eu queria lhe dar uma rápida atualização sobre o status deste blog. Recentemente eu estive fazendo uma pesquisa sobre projetos que apresentam uma correlação interessante entre design e a expansão dos sentidos. Depois de muita consideração eu decidi me concentrar em projetos que apresentam um foco especial no som, trabalhando com o sentido da audição, mas que não se limitam a esse sentido.

Eu tenho um profundo apreço pela música e vários tipos de sound design em si, e também sou um músico. É por estas razões que eu tive esse interesse em experimentos que utilizam o som para inovar.

Entre os muitos projetos que achei, o Ototo é o que mais despertou meu interesse e que mais provocou curiosidade em mim. Trazido à vida com sucesso pelo site de crowd-funding Kickstarter, o Ototo é mais bem resumido pelo seu slogan: “Make music from anything.” (Crie música a partir de qualquer coisa.) Ao conectar suas entradas de sensores à diferentes objetos,o Ototo permite transformar praticamente qualquer coisa em um instrumento.

A questão, como sempre, é a seguinte: como é que funciona?

O Ototo é sobre a interação de som. É essencialmente um sintetizador, com uma entrada de teclado de toque capacitivo de 12 teclas e uma variedade de diferentes sensores que podem ser ligados a quatro entradas de sensor. Tocar as chaves ativa sons diferentes, e conectando materiais condutores às teclas permite que você fazê-los reagir ao toque. Ligando um objeto à uma tecla específica permitirá que você acione a chave ao tocar o objeto.

O kit musical vem com quatro entradas de sensores que controlam diferentes características de som: um para o tom (altura), um para o volume, e dois para a textura do som (timbre – o recurso idiossincrático do som). Isso abre amplo espaço para a experimentação com coisas como sensores de luz que controlam o tom, sensores que reagem ao ar e afetam o som, etc.

Under the Hood

Eu fui atraído pelo Ototo não só pela sua experimentação intrigante com o som, mas também porque torna mais fácil de aprender e experimentar com eletrônicos, controladores, instalações sonoras interativas e música com nenhuma programação ou nenhum computador necessário. Além disso, ele também funciona como um controlador MIDI conectado via USB regular, funcionando como um teclado para os típicos aplicativos de música.

Espero que você também ficou intrigado com este projeto fascinante! Durante as próximas semanas eu estarei me aprofundando no mundo do Ototo e vendo exatamente o que ele tem a oferecer. Eu quero melhorar o meu conhecimento da tecnologia por trás dele e também entender suas limitações e o espaço para crescimento. Uma coisa que já me chamou a atenção é seu limite de uma oitava – eu entendo que isso mantém o Ototo portátil e foi certamente decidido pela equipe do Ototo depois de muita pesquisa e deliberação, mas é algo a considerar.

Até a próxima vez eu convido você a assistir o vídeo de pitch do Ototo de seu Kickstarter.

~Matt

_____________________ // _____________________

Hey there! I’d quick to give a quick update on the status of this blog. Recently I’ve been doing research on projects that present an interesting correlation between design and the expansion of the senses. After much consideration, I decided to home in on projects that present a special focus on sound, working with the sense of hearing, but that are not limited to that one sense.

I have a deep appreciation for music and all kinds of sound design in itself and I am also a musician; it is for these reasons that I have gained such an interest in experiments that use sound to innovate.
Among the many projects I ran across, Ototo is the one that piqued my interest the most and sparked much curiosity in me. Successfully brought to life by the crowd-funding website Kickstarter, Ototo is best summed up by its de-facto slogan: Make music from anything.” By connecting its sensor inputs to different objects, Ototo allows you to turn virtually anything into an instrument.

The question, as always, is: how does it work?

Ototo is all about sound interaction. It is essentially a synthesizer, with a 12-key capacitive touch keyboard input and a variety of different sensors which can be connected to 4 sensor inputs. Touching the keys triggers different sounds, and connecting conductive materials to the keys allows you to make them react to touch.  Connecting an object to a specific key will allow you to trigger that key by touching the object.

The musical kit comes with four sensor inputs that control different characteristics of sound: one for pitch, one for loudness, and two for the texture of the sound (timbre – the idiosyncratic feature of the sound). This opens up room for experimentation with things like light sensors that control the pitch, sensors that react to breath and affect the sound, etc.

I was drawn to Ototo not only for its exciting experimentation with sound, but also because it makes it easy to learn about and experiment with electronics, controllers, interactive sound installations and music with no coding or computer required. Beyond that, it also doubles as a regular USB-connected MIDI controller, functioning as an input keyboard for typical music applications.

Rock out with your circuits out…and your cables…and your connectors…

Hopefully you too were intrigued by this fascinating project! During the next few weeks I will be delving deeper into the world of the Ototo and seeing exactly what it has to offer. I want to improve my understanding of the technology under its hood and also understand its limitations and room for growth. One thing that has already caught my attention is the one-octave limit – I understand it keeps the Ototo portable and was surely decided on by the Ototo team after much research and deliberation, but it is something to consider.

Until next time I invite you to watch the pitch video for Ototo on its original Kickstarter page.

~Matt

Plugged in. Literally.

Standard

Adaptive System Sensors

The Nest Learning Thermostat

(Prefer English? I’ve got you covered…scroll on down!)

Ouvimos falar de sensores o tempo todo, mas eu não acho que realmente compreendemos a enorme ubiquidade que eles possuem. Analise suas atividades diárias, e você verá  que sensores não estão muito longe. Eles podem ser encontrados nos trajetos para o trabalho (em muitos países, Near Field Communication – NFC – é usada para reconhecer cartões de pagamento em ônibus), ao usar interfaces touchscreen, eles nos permitem verificar a velocidade instantânea no velocímetro de um carro, usar microfones, ler temperaturas em termômetros…a lista continua. Sério, confira essa lista na Wikipedia para ter uma idéia.

Mas…o que é um sensor, exatamente?

Um sensor é essencialmente um conversor – é capaz de medir uma quantidade física de algum corpo, alguma substância, etc., e convertê-la em um sinal elétrico ou óptico. Um exemplo é um termômetro, onde a temperatura medida é convertida em uma expansão e contração do mercúrio dentro do tubo de vidro.

Um fator importante para os sensores é a sensibilidade. Essa é uma indicação de quanto as mudanças de saída do sensor mudam quando a quantidade de entrada muda; assim, os sensores que medem alterações precisas devem ter sensibilidades muito altas. O desafio aqui é em controlar o impacto que o sensor tem sobre o que ele mede. Na maioria dos casos, quanto menor o sensor, menor será o efeito que tem sobre o corpo medida, razão pela qual o interesse em sistemas microeletromecânicos (MEMS – Microelectromechanical  Systems), que permitem mais sensores a serem criados em uma escala microscópica com altas sensibilidades – apropriadamente chamado microsensors – tem aumentado.

Eu fiquei interessado em sensores que são usados ​​especificamente em sistemas adaptativos. Além  de converter entradas em saídas, esses sensores permitem que os dispositivos analisem e adaptam ao contexto. Este ótimo artigo que encontrei usa acelerômetros em dispositivos como smartphones como um exemplo destes sensores de sistemas adaptativos. Muitos aplicativos usam o acelerômetro para monitorar os movimentos do usuário, entendendo se eles estão andando ou correndo, e alimentando os dados em vários programas de fitness / saúde. O que me interessa sobre estes sensores em particular é o grande potencial que possuem para recolher uma riqueza de dados e usar isso para contextualizar a experiência do usuário, numa criação de um sistema adaptativo.

Um uso inovador desta tecnologia é o Nest Learning Thermostat. A maioria dos termostatos modernos contam com sensores bimetálicos mecânicos ou elétricos, termistores eletrônicos, ou outras tecnologias semelhantes para medir com precisão a temperatura. O Nest é o primeiro termostato que aprende. Utilizando sensores para criar um sistema adaptativo, o Nest é capaz de adaptar-se ao contexto de uso – a agenda e estilo de vida único do usuário.

Inside The Nest

Em vez de exigir que o usuário defina manualmente as horas de ligar e desligar e temperaturas determinadas (e prejudicar a eficiência energética), o Nest usa uma variedade de sensores e algoritmos para criar uma agenda de temperatura personalizada. Com base em seus ajustes durante os primeiros dias de uso, ele entende a melhor forma de economizar energia com base em suas necessidades de regulação de  temperatura. Com esta programação, ele também ajusta para quando ninguém está em casa, conservando energia, e ajustando a temperatura com antecedência antes de você voltar.

A primeira melhoria que eu teria sugerido era alguma forma de compatibilidade de software que permitisse rastreamento de desempenho das atividades do Nest; mas eu descobri que as mais recentes encarnações do Nest são conectados à Internet e fazem uma variedade de coisas com isso. Por exemplo, um Nest Account e o aplicativo mobile permitem que o usuário altere as temperaturas antes de chegar em casa e ver todos os dados que o Nest tem recolhido sobre sua casa, programação e uso de energia . Todos esses dados estão disponíveis no “Histórico de Energia ” do aplicativo com um resumo completo dos ajustes de temperatura e uso de energia.

The Nest’s data tracking

Se eu pudesse sugerir uma modificação para o Nest, seria de oferecer ao consumidor um guia melhor para o ajuste da temperatura e conservação de energia. Claro, os resumos de energia oferecem dados sobre tendências energéticas pessoais, mas a maioria das pessoas não sabem como configurar  as temperaturas eficientementes ou economizar energia. Isso é especialmente crucial durante a primeira semana de uso do Nest, quando ele “aprende” a programação do usuário. O Nest tenta ensinar ao usuário como e quando ser energeticamente eficiente, mas acho que ele precisa fazer um trabalho melhor de ensinar o usuário, especialmente para que eles possam diferenciar entre maximizar conforto e priorizar a eficiência energética.

The Nest adjusts to personal schedules.

Além disso, muitas casas contam com vários sistemas de regulação de temperatura independentes, como várias unidades de ar condicionado, tornando o Nest incompatível. Eu entendo que limitações tecnológicas existem, mas eu acho que deve ser compatível com unidades autônomas, como várias unidades de ar condicionado em um edifício. Se o Nest pudesse concebivelmente comunicar com cada unidade e medir tendências de temperatura e ajustes , poderia criar uma programação de temperatura para uma gama maior de casas.

_____________________ // _____________________

We hear about sensors all the time, but I don’t think we quite grasp the tremendous ubiquity they possess. Analyze your everyday activities, and you’ll see sensors aren’t very far behind. They can be found in morning commutes (in many countries, Near Field Communication – NFC – is used to scan payment cards when going by bus), when using touchscreen interfaces, they allow us to check instantaneous speed on a car’s speedometer, use microphones, read temperatures on thermometers…the list goes on. Seriously, check out this list on Wikipedia for a sampling.

But…what is a sensor, exactly?

A sensor is essentially a converter – it is able to measure a physical quantity of some body, substance, etc., and convert it into a electrical  or optical signal. One example is a thermometer, which translates measured temperature into the expansion and contraction of mercury in a glass tube.

One important factor in sensors is their sensitivity. This is an indication of how much the sensor’s output changes when the input quantity changes; as such, sensors that measure fine changes must have very high sensitivities. The challenge here is in controlling the impact the sensor has on what it measures. In most cases, the smaller the sensor, the smaller the effect it has on the measured body, which is why interest in Microelectromechanical  Systems (MEMS), which allows more sensors to be created on a microscopic scale with higher sensitivities- appropriately called microsensors – has increased. 

I was interested in sensors which are used specifically in adaptive systems. Beyond converting inputs into outputs, these sensors allow devices to analyze and adapt to context. This great article I found uses accelerometers on devices like smartphones as an example of these adaptive system sensors. Many applications use the accelerometer to track the user’s movements, sensing if they are walking or running, and feeding that data into various fitness/health programs. What interests me about these sensors in particular is the great potential they hold to take a wealth of data and use that to contextualize the user’s experience, creating an adaptive system.

One innovative use of this technology is with the Nest Learning Thermostat. Most modern thermostats rely on bimetallic mechanical or electrical sensors, electronic thermistors, or other similar technology to accurately measure temperature. The Nest is the first learning thermostat. Using sensors to create an aforementioned-adaptive system, the Nest is able to adapt to the context of use – the user’s unique schedule and lifestyle.

Instead of requiring the user to manually set on and off times for certain hours or temperatures (and eschewing energy-efficiency), the Nest uses a variety of sensors and algorithms to create a personalized temperature schedule. Based on your adjustments during the first days of use, it understands how best to save energy based on your temperature-regulation needs. With this schedule, it also adjusts to when no one is home, conserving energy, and adjusting the temperature in advance when you return.

The first improvement I would have suggested was some form of software compatibility that enabled performance-tracking of the Nest’s activities; but I discovered the more recent incarnations of the Nest are connected to the Internet and do a variety of things of it. For instance, the Nest Account and Mobile app allow the user to change temperatures before they come home and see all the data the Nest has collected on their home, schedule and energy use. All of this data is available in the application’s “Energy History” with a full summary of temperature adjustments and energy use.

If I could suggest one modification to the Nest, it would be to offer the consumer a better guide to temperature adjustment and energy conservation. Sure, the energy summaries offer data on personal energy trends, but most people do not know how to efficiently set temperatures or save energy. This is especially crucial during the Nest’s first week of use, when it is “learning” the user’s schedule. The Nest tries to teach the user how and when to be energy efficient, but I think it needs to do a better job of teaching the user, especially so they can differentiate between maximizing comfort and prioritizing energy efficiency.

Furthermore, many homes rely on multiple standalone temperature-regulating systems, like multiple air-conditioning units, rendering the Nest incompatible. I understand that technological limitations are in place, but I think it should be compatible with standalone units such as multiple AC units in a building. If it could conceivably communicate with each unit and track temperature trends and adjustments, it could create a temperature schedule for a broader range of homes.

~Matt

Let’s hope not.

Standard

“The World is not a Desktop.” Or: How Our Childhoods May Be The Key to Invisible Technology

(Looking for an English version? Just keep scrolling!)

Eu fiquei completamente encantado com o artigo de Mark Weiser – The World is not a Desktop.  Eu tenho que admitir, os conceitos apresentados nas suas palavras foram coisas que eu não tinha pensado.

A idéia da Tecnologia Invisível começa com o futuro: qual é a nossa visão da tecnologia do futuro? É certamente informada pelas sociedades fantásticas apresentadas em obras de ficção científica; filmes como Star Wars, Star Trek, e, mais recentemente, her, e séries de video game como Mass Effect, Deus Ex e Halo nos dão uma visão fascinante do potêncial do mundo da tecnologia. Na maioria desses mundos, a sociedade é cercada por dezenas de telas holográficas em todos os lugares que vão, IAs altamente avançadas são a norma, comandos de voz, rastreamento de movimento e dispositivos móveis são apenas alguns dos métodos de controle comum…a lista continua. Parece ótimo, não?

A view of the future from the Mass Effect series.

Mas se não for? Pois o conceito por trás da tecnologia invisível é um argumento contra esta visão idílica do nosso futuro. Esse futuro usaria tecnologia que é ainda mais obstrutiva e nos distrairia mas ainda em nossas vidas diárias, interfaces intermináveis ​​simultaneamente disputando nossa atenção: um futuro de tecnologia puramente visível.

Concordo com o Mike Weiser: tecnologia, como qualquer ferramenta adequada, deve ser o mais invisível possível, na medida em que deve ser o mais discreto possível. O usuário não deve precisar estar constantemente pensando sobre como utilizar a ferramenta. A ferramenta é apenas um meio para um fim, para uma tarefa, para uma experiência, até. Ela não é a própria experiência. Como o Mike Weiser coloca, “Eyeglasses are a good tool – you look at the world, not the eyeglasses.” (“Óculos são uma boa ferramenta – você olha para o mundo, não os óculos.”) Eventualmente, a interface entre a ferramenta e o usuário deve quase desaparecer e o usuário pode se conectar conscientemente com a experiência final, e não com a própria conexão.

Uma das minhas favoritas visões do futuro vem da série de filmes do Homem de Ferro. O Tony Stark é sempre cercado por HUDs (heads-up displays), seu parceiro de IA , e outras tecnologias futuristas de uma sociedade de um futuro próximo , e todas invenções suas. Parece fantástico, eu tenho que dizer (uma prova do grande talento por trás do CGI dos filmes), mas a idéia de tecnologia invisível me faz dar um passo atrás e repensar a minha visão de mídia digital: é isso que realmente queremos? Melhor: é isso o que realmente precisamos?

Holographic technology from the Iron Man movies.

A discussão de Mike Weiser sobre realidade virtual é um bom lugar para começa. VR é certamente uma tentativa de tornar a tecnologia invisível uma realidade. Junto com motion-tracking e controle com o corpo inteiro (full-body control), ela está tentando maximizar o uso de nossos corpos como a única conexão com a tecnologia. Mas o problema, como Weiser aponta, é que a adição de várias interfaces de usuário para atingir esse objetivo é um pouco contraditória na sua natureza. Quanto mais interfaces, mais vão estar distraindo a conexão, e quanto mais atenção é tomada da própria experiência.

A interação consciente está por trás do estado atual da tecnologia e da nossa visão para o seu futuro. Estou interessado em saber exatamente o qual é o potencial e a viabilidade da interação inconsciente que a tecnologia invisível mantém.

Uma fonte de inspiração é muito bem indicada por Mike Weiser, inspiração vivendo dentro de cada um de nós:

The clock, and the clockwork machine, are the metaphors of the past several hundred years of technology. Invisible technology needs a metaphor that reminds us of the value of invisibility, but does not make it visible. I propose childhood: playful, a building of foundations, constant learning, a bit mysterious and quickly forgotten by adults. Our computers should be like our childhood: an invisible foundation that is quickly forgotten but always with us, and effortlessly used throughout our lives.”

_____________________ // _____________________

 I was completely enthralled by Mark Weiser’s essay The World is not a Desktop. I have to admit, the concepts presented in his words were things I had not thought of.

The idea of Invisible Technology begins with the future: what is our vision of future technology? It is surely informed by the fantastical societies presented in science fiction works;  movies like Star Wars, Star Trek, and, more recently, her, and video game series like Mass Effect, Deus Ex and Halo give us a fascinating glimpse at what the world of technology holds. In most of these worlds, society is followed by dozens of holographic displays everywhere they go, highly-advanced AI is the norm, voice-commands, motion-tracking, mobile devices are just some of the common control methods..the list goes on.  Sounds great, doesn’t it?

But what if it isn’t? You see, the concept behind invisible technology makes a case against this idyllic vision of our future. That future would use technology that is even more distracting and obstructive in our daily lives, endless interfaces simultaneously vying for our attention: a future of purely Visible Technology.

I agree with Mike Weiser: technology, like any proper tool, should be as invisible as possible, in that it should be as unobtrusive as possible. The user should not have to be constantly thinking about how to use the tool. The tool is merely a means to an end; to a task, to an experience, even. It is not the experience itself. As Mike Weiser puts it, “Eyeglasses are a good tool – you look at the world, not the eyeglasses.” Eventually, the interface between the tool and the user should melt away and the user can consciously connect with the end experience, not the connection itself.

One of my favorite visions of the future is from the Iron Man movie series. Tony Stark is surrounded by heads-up displays, his AI partner, and other futuristic technology from a near-future society, all his inventions. It looks fantastic, I have to say (a testament to the great talent behind the films’ CGI), but the idea of invisible technology makes me take a step back and rethink my vision of digital media: is this what we really want? Better: is this what we really need

Mike Weiser’s discussion of virtual reality is good place to start. VR is certainly attempting to make invisible technology a reality. Along with motion-tracking and full-body control, it is trying to maximize the use of our bodies as the sole connection with technology. But the problem, as Weiser points out, is that the addition of multiple user interfaces to achieve this goal is a bit contradictory in nature. The more interfaces, the more distracting the connection, and the more attention is swept away from the experience itself.

Conscious interaction is behind the current state of technology and our vision for its future. I am interested in finding out exactly how much potential and viability the unconscious interaction of invisible technology holds.

One source of inspiration is beautifully stated by Mike Weiser, living within every one of us:

The clock, and the clockwork machine, are the metaphors of the past several hundred years of technology. Invisible technology needs a metaphor that reminds us of the value of invisibility, but does not make it visible. I propose childhood: playful, a building of foundations, constant learning, a bit mysterious and quickly forgotten by adults. Our computers should be like our childhood: an invisible foundation that is quickly forgotten but always with us, and effortlessly used throughout our lives.”

~Matt

Standard