Contact: Augmented Acoustics

Contact in its natural habitat.

(Does your world look better in English? l can help…scroll on down! Just remember to go back for pictures and videos.)

Mais uma semana, mais uma atualização! Depois do meu último post sobre o projeto Ototo e meu interesse em projetos de mídia digital no domínio do som, eu achei outras aplicações interessantes. Primeiro, eu me lembrei do projeto Makey Makey , a partir do qual o Ototo tem muito em comum. No entanto, o Makey Makey age como um dispositivo de input mais geral (em vez de ser especificamente uma entrada de teclado musical, como no Ototo) e prevê o uso de objetos do cotidiano como dispositivos de input para uma variedade de diferentes aplicações, não apenas as de música.

Em seguida eu busquei mais usos de sensores capacitivos, ou o uso de capacidade como uma entrada (tal como em touchscreens), o tempo todo olhando para possível implementação no som. O resultado foi que eu encontrei um projeto que combina microfones de contato, sensores capacitivos, interfaces de áudio, um projetor e uma série de programas de computador para transformar qualquer superfície dura em uma interface.

Let’s Make Contact.

CONTACT: Augmented Acoustics from Felix Faire on Vimeo.

O que é? O nome do projeto é Contact e está sendo desenvolvido por Felix Faire no Interactive Architecture Lab na Bartlett School of Architecture.

Contato é um projeto de pesquisa acústica utilizando microfones de contato e análise de sonar passiva e de forma de onda para receber e processar entradas de toque.

Ele pode identificar onde uma superfície foi atingida, identificar determinados movimentos de uma mão, a interação com os dedos, etc.

O som captado pelos microfones é digitalmente ressoado para gerar uma nota melódica baseada no impulso acústico de entrada.

Em seguida, os sons podem ser gravados, manipulados e reproduzidos com um pedal de loop.

O Contact também usa o Leap Motion Controller. para manipular ainda mais os sons de entrada. Vários gestos podem ser utilizados para modificar os sons depois de serem emitidos, evitando o contato com a superfície, o que poderia interferir com a entrada de som.

O projetor permite retorno visual a ser exibido na superfície, permitindo que o usuário visualize os impulsos e as vibrações de seu contato.

13 Contact Visual Animations

Por que é importante? O projeto é uma alternativa intrigante às interfaces de sensores capacitivos mais comuns e à entrada de teclado e mouse.

Uma vantagem importante da interface do Contact é em ser mais móvel e portátil, distinguindo-se das interfaces fixas. Ela pode possivelmente ser colocada em qualquer superfície dura, criando uma interface áudio-visual a qualquer momento.

O Contact também chamou a minha atenção com a sua implementação inovadora de entrada de som e manipulação musical, de forma eficaz visando o sentido do tato e o sentido de audição.

Finalmente, fiquei fascinado pelo projeto por ser (nas palavras de seu criador) uma exploração do potencial de contato físico e vibração acústica como um meio de interação em materiais tangíveis

Como isso funciona? O Contact usa microfones de contato – que usam o efeito piezoelétrico para transformar vibrações em sinais elétricos – e Arduino para localizar transientes de volume. Volumes entre sinais são comparados e mapeado para X e Y.

1 Contact Overview

Os microfones de contacto estão ligados a uma interface de audio para processar informações detalhadas sobre as frequências de vibrações em superfícies nos programas Ableton Live (software sequenciador de música e digital audio workstation) e Max/MSP (uma linguagem de programação visual para música e multimídia).

Um patch no Max é usado para disparar um impulso quando o sinal modificado excede um limite. Uma faixa de áudio envia este impulso para uma faixa midi como uma nota midi. Esta análise de áudio também permite a localização transitória (sabendo onde a superfície está sendo atingida).

2 Contact Schematic

Além disso, o patch no Max compara os sinais, os valores de distância relativa e envia para Processing via OSC para mapear à projeção (uma mensagem é enviada para Processing sobre OSC para ativar uma resposta visual através da imagem projetada).

Em suma, diferentes gestos feitos pelo usuário na superfície trazem respostas diferentes de áudio e visuais.

Há também um pedal ligado ao Processing através de um Arduino carregado com Firmata.

Finalmente, o controle de gestos pelo ar é ativado através do Leap Movement Controller, permitindo controle sem contato de efeitos de áudio.

Primeiro um gesto na superfície é transformado em um efeito de áudio. Então, em um preset particular, um gesto de três dedos pode controlar a frequência com que a nota é ressoada. Um gesto de cinco dedos pode controlar o tempo de decaimento (decay) do reverb.

Leap Motion Controller

Leap Motion Controller

9 Contact Leap Motion

10 Contact Leap Motion

Alguma modificação? Microfones de contato podem ser baratos e portáteis, mas eles são bem frágeis. Pode-se questionar a eficiência dos microfones em contato em um ambiente com dezenas de outras fontes de som (como eu fiz), mas microfones de contato são a solução perfeita para esse problema: eles são desejáveis ​​pela sua alta sensibilidade a vibrações de áudio através de objetos sólidos e insensibilidade à vibrações do ar.

No entanto, um fator-chave aqui é a sua necessidade de preamp (pré-amplificador), ou de aumentar o fraco sinal de entrada do microfone de contato e transmiti-lo a um amplificador principal. Um pré-amplificador separado é necessário para utilizar os microfones de contacto, enquanto ele não é necessário para alguns outros tipos (como microfones dinâmicos).

Além da questão de pré-amplificação, os uso de microfones de contato descarta a possibilidade de implementação de reconhecimento de voz no Contact. Talvez o reconhecimento de voz possa ser implementado (e ainda evitar a interferência de entradas de som indesejados no ambiente) usando um microfone dinâmico com uma padrão polar cardióide (directividade – cardioid polar pattern, efeito de proximidade) bem restrito (este artigo menciona essa manipulação potencial de microfones padrões polares).

 

Cardioid Polar Pattern

 

O Contact é portátil quando comparado à outras interfaces…mas será que é realmente portátil?

Em seu estado atual, o Contact utiliza dois microfones de contato, um Arduino, um projetor, uma interface de áudio, um pedal de loop, um computador com todo o software necessário, um Leap Motion controller, fones de ouvido, e todos os cabos necessários.

Ele pode ser usado em qualquer superfície plana, mas levando todos os componentes necessários para esse local e deixar tudo funcionando corretamente leva bastante tempo. Essas limitações são compreensíveis, e esse problema só pode ser reduzido enquanto a tecnologia melhora e algumas destas peças ficam menores e mais compactas.

Finalmente, eu gostaria de discutir os usos práticos do Contact. Em seu estado atual, ele usa as respostas de áudio e visual para gerar uma interface áudio-visual ao vivo, que funciona basicamente como um instrumento.

14 Contact Visual Animations

Eu proponho também ser utilizado para outras aplicações.

O processo de transitória local por áudio combinado com o projetor pode permitir que um teclado (ou outra forma de input) seja projetado sobre a superfície, e batidas, arranhões e outras ações de mão sejam reconhecidas, e a localização de cada contato identificado, permitindo que o usuário “tecle” no teclado projetado. Isto é diferente de outras aplicações existentes na medida em que depende de som e não de detecção óptica. Além disso, quando combinado com o controlador de gesto Leap Movement, isso permitiria que o controle fosse ainda mais profundo.

Outra aplicação para considerar é a projeção e o mapeamento do Contact em superfícies irregulares. Isto o tornaria ainda mais ubíquo pois ele poderia realmente ser mapeado à qualquer superfície (imóvel). Além disso, eu não sei ao certo se o Contact funciona tão bem em superfícies verticais .

Um cenário típico que eu imagino é usar o Contact em sua mesa de trabalho. Sua área de trabalho é projetada sobre a superfície plana de mesa, e você pode usar gestos com as mãos sobre a superfície para escolher documentos e programas, projetar um teclado para digitar ou usar gestos pré-definidos para ativar ações específicas.

Uma limitação perceptível nesse cenário é a ausência de movimentos como arrastar, scrolling, beliscar ou qualquer movimento que requer contato manual contínuo, o que não permitiria o controle do mouse. Com minha pesquisa, eu não consegui determinar se o Contact pode detectar as vibrações de áudio muito sutis que resultam desses movimentos, além de reconhecer as batidas muito mais altas.

15 Contact Visual Animations

Em um mundo ideal, o usuário seria capaz de controlar o Contact com gestos básicos de uma touchscreen, além de usar as entradas de áudio únicas da interface, mas por enquanto esse problema pode ser remediado usando o Leap Motion controller para estes gestos.

Bom, não é necessário dizer que eu estou muito animado com o potencial apresentado por projetos como o Contact, e estou ansioso para ver o seu desenvolvimento, o desenvolvimento de outras aplicações neste mundo, e, talvez, fazer algumas experiências da conta própria .

Obrigado por ler!

Referências:

http://www.creativeapplications.net/processing/contact-by-felix-faire-turns-any-hard-surface-into-an-interface/
https://www.soundonsound.com/sos/mar07/articles/micpatterns.htm
http://www.engadget.com/tag/piezoelectric/
http://lieveld.nl/post/77299202352/contact-augmented-acoustics-by-felix-faire

Making: CONTACT from Felix Faire on Vimeo.

_____________________ // _____________________

Another week, another update! Following my last post about the Ototo. project and my interest in digital media projects in the realm of sound, I ran into other interesting applications. First, I recalled the Makey Makey project, from which Ototo takes plenty of cues. However, Makey Makey acts as a more general input device (instead of specifically being a musical keyboard input, like Ototo) and envisions the use of everyday objects as input devices to a variety of different applications, not just music ones.

From there I looked for more uses of capacitive sensors, or the use of capacitance as an input (such as in touchscreens), all the while looking for possible implementation in sound. The result was that I found a project that combines contact microphones, capacitive sensors, audio interfaces, a projector and a host of computer software to turn any hard surface into an interface.

Let’s Make Contact.

What is it?The project is called Contact and is being developed by Felix Faire at the Interactive Architecture Lab at the Bartlett School of Architecture.

Contact is an acoustic research project utilizing contact microphones and passive sonar and waveform analysis to receive and process touch inputs.

It can identify where a surface has been hit, a hand’s particular movements, interaction with fingers, etc.
Sound picked up by the microphones is digitally resonated to generate a melodic note based on the input acoustic impulse.

Then, the sounds can be recorded, manipulated and played back with a loop pedal.

Contact also uses the Leap Motion Controller. to further manipulate the input sounds. Various hand gestures can be used to further modify sounds after they are emitted, while avoiding contact with the table, which would interfere with the sound input.

The projector allows for visual feedback to be displayed on the surface, allowing the user to visualize the impulses and vibrations from their inputs.

Why is it important? The project is an intriguing interface alternative to the usual capacitive-sensing interfaces and to the keyboard-and-mouse input. One significant advantage to the Contact interface is its portable, mobile nature, distinguishing itself from fixed interfaces. It can conceivably be placed on any hard surface, creating a live audio-visual interface at a moment’s notice.

It also got my attention with its innovative implementation of sound input and musical manipulation, effectively targeting the sense of touch and the sense of sound.

Finally, I was drawn to the project because it is (in the words of its creator) an exploration of the potential of physical contact and acoustic vibration as an interaction medium in tangible materials.

How does it work? Contact uses contact microphones – which use the piezoelectric effect to turn vibrations into electric signals – and Arduino to locate volume transients. Volumes between signals are compared and mapped to X&Y.

The contact mics are connected to an audio interface to process detailed frequency information of surface vibrations in Ableton Live (software music sequencer and digital audio workstation) and Max/MSP (a visual programming language for music and multimedia).

A Max patch is used to trigger an impulse when the modified signal exceeds a limit. An audio track sends this impulse to a midi track as a midi note. This audio analysis also allows for transient localization (knowing where the surface is being hit).

In addition, the Max patch compares the signals, relative distance values and sends it to Processing via OSC to map to the projection (a message is sent to processing over OSC to trigger a visual response through the projected image).

In short, different gestures made by the user on the surface trigger different audio and visual responses.

There is also a foot pedal connected to Processing through an Arduino uploaded with firmata.

Finally, air gesture control is enabled through the Leap Motion controller, allowing for contactless control of audio effects.

First a gesture on the surface is processed into an audio effect. Then, in a particular preset, a three-finger gesture can control the frequency that the note would be resonated at. A five-finger gesture can control the reverb decay time.

Any Modifications? Contact microphones might be cheap and portable, but they are fragile. One might question the efficiency of microphones in Contact in an environment with dozens of other sound sources (as I did), but contact microphones are the perfect solution to this problem: they are desirable for their high sensitivity to audio vibrations through solid objects and insensitivity to air vibrations.

However, a key factor here is their need for preamp, or boosting the weak input signal of the contact microphone and transmitting it to a main amplifier. A separate preamp is needed to use the contact microphones, whereas it is not required for some other types (like dynamic microphones).

Besides the preamp issue, contact microphones rule out the possibility of implementing voice recognition in Contact. Perhaps voice recognition could be implemented (while still avoiding interference from unwanted sound inputs in the environment) by using a dynamic microphone with a very narrow cardioid polar pattern. (this article mentions this potential manipulation of microphone polar patterns).

Contact is portable when compared to other interfaces…but is it really portable?

In its current state, Contact uses two contact mics, an Arduino, a projector, an audio interface, a loop pedal, a computer running all the necessary software, a Leap Motion controller, headphones, and all the required cables.

It can be used on any flat surface, but taking all the necessary components to that location and getting everything working properly is time-consuming.These limitations are understandable, and this problem might only be reduced as technology improves and some of these parts get smaller and more compact.

Finally, I’d like to discuss the practical uses of Contact. In its current state, it uses the audio and visual responses to generate a live audio-visual interface that functions as an instrument at its core.

I propose it also be used for other applications.

The audio transient location process combined with the projector might allow for a keyboard (or another input) to be projected on the surface, and taps, scrapes, and other hand actions will be recognized, and the location of each contact identified, allowing the user to “type” on the projected keyboard. This is different from other existing applications in that it relies on sound and not optical detection. Furthermore, when combined with the Leap Motion gesture controller, this would allow for even deeper control.

Another application to consider is projecting and mapping Contact on uneven surfaces. This would make it that more ubiquitous as it could truly be mapped to any (still) surface. In addition, I do not know for sure if Contact works just as well on upright surfaces.

One everyday scenario I envision is using Contact on your work desk. Your desktop is projected on the flat desk surface, and you can use hand gestures on the surface to choose documents and programs, project a keyboard to type, or use set gestures to trigger particular actions.

One limitation noticeable in this scenario is the absence of dragging, scrolling, pinching or any movement that requires continuous hand contact, which would not allow for mouse control. From my research, I was unable to determine if Contact can detect the very subtle audio vibrations that result from these movements, besides recognizing the much louder taps. In an ideal world, a user would be able to control Contact with basic touchscreen gestures, in addition to using the unique audio inputs, but at the moment this problem might be remedied by using the Leap Motion controller for these gestures.

Needless to say, I am very excited by the potential presented by projects like Contact, and I look forward to seeing its development, the development of other applications in this field, and perhaps doing some experimentation of my own.

Thanks for reading!

References:

http://www.creativeapplications.net/processing/contact-by-felix-faire-turns-any-hard-surface-into-an-interface/
https://www.soundonsound.com/sos/mar07/articles/micpatterns.htm
http://www.engadget.com/tag/piezoelectric/
http://lieveld.nl/post/77299202352/contact-augmented-acoustics-by-felix-faire

~Matt

Standard

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s