Lendo imagens: multimodalidade, representação e novas mídias Gunther Kress
Multimodalidade Design sob a perspectiva da semiótica social. Lida com todas as formas (modos de representação) que possuimos para criar significado.
Exemplo 1 - Livro de Biologia Assunto: Células Texto: Toda célula tem um núcleo Imagem: Na escrita ou na fala é preciso usar uma frase em que duas entidades - célula e núcleo - são relacionados por um verbo, têm, indicando uma relação possessiva: a célula tem algo. Poderia ser usado um verbo diferente: Em cada célula há um núcleo. O significado é agora bastante diferente: cerca de existência, há e a localização, dentro.
Ao desenhar, é preciso colocar um grande ponto que representa o núcleo em algum lugar em um círculo que representa a célula. Alguém que olhe para a imagem acredita que o núcleo é realmente onde foi colocado na célula. Cada modo tem seu significado, intencional ou não. A escolha do modo tem efeitos profundos sobre o significado, e designers de livros didáticos, precisam estar cientes dos efeitos de sentido dos modos diferentes.
Significados são sempre mostrados através de cada mídia em particular: - o livro: envolvendo texto e imagem. - o CD-ROM: envolvendo imagens em movimento, a fala, escrita, desenhos, música e assim por diante. - o corpo do professor: envolvendo o movimento, fala e gesto. Todos os meios de comunicação oferecem possibilidades concretas para o designer e para o leitor ou usuário na leitura e utilização.
Semiótica Social Semiótica - uma fusão de uma forma e um significado, como sua unidade básica. Semiótica Social - sempre se refere a significados específicos de sociedades e suas culturas, e os significados dos membros dessas culturas.
Bar and Grille O autor está em um aeroporto americano e vê uma placa com os dizeres: Bar e Grille escritos em neon vermelho. Atraido pela letra e no final da palavra grille que possivelmente significaria cultura, ou tradição inglesa (englishness). Todas as partes da placa possuem seus significados específicos: - grill (com ou sem e) significa churrasco, ao ar livre, comida fresca. - bar possui o significado próprio para os americanos que leem a placa. - a cor vermelha foi usada para chamar a atenção. Todos estes são significados sociais, específicos para uma determinada cultura, escolhidos e reunidos pelo designer por seu potencial para dizer.
A placa - uma mensagem complexa de palavras, de letras, de cores e tipos de fonte com todas as suas ressonâncias culturais - reflete os interesses de seu criador. A placa é feita com uma finalidade específica: a intenção de persuadir com todos os meios possíveis aqueles que passam e ser notada.
Modes and their affordance: the materiality of modes Affordance é a qualidade de um objeto, ou de um ambiente, que permite que um indivíduo realize uma ação. Os tipos de significados feitos pelo letra e, com a palavra Grille, e pela cor vermelha são diferentes tipos de significados. Eles não só significam coisas diferentes, mas, significam de forma diferente. Você não pode olhar o significado de e, nem o significado do vermelho de maneira isolada. e não se refere a algum objeto, como um Grill, ou um Bar, mas evoca associações culturais. Ele tem um histórico de uso pelo marketing, e quando se conhece a sua proveniência pode-se dar o seu significado. As cores funcionam de forma semelhante: a cor vermelha pode-ser associada ao distrito da luz vermelha, ou como uma cor de batons: portanto, neste contexto, é erotizada.
Uma das tarefas da multimodalidade é descrever os potenciais e limitações de sentido que são inerentes em formatos diferentes. - O discurso usa o material do humano, o som. - A escrita usa o material gráfico. Existem coisas que você pode fazer com o som que você não pode fazer com o material gráfico. A modulação da voz, que produz a melodia da fala, possui muitos significados. Mesmo para os mais experientes escritores é impossível reproduzir esses significados por escrito e surge a necessidade de recorrer a textos tais como:... ele disse, incrédulo.
Novo cenário A grande mudança na comunicação encontra-se no aumento do uso de imagem, mesmo em situações em que anteriormente a escrita teria sido usada. Consequentemente, uma tarefa urgente é entender os affordances diferentes da escrita e da imagem. A língua escrita e a língua falada A lógica da seqüência temporal é o princípio maior da ordenação de línguas como o inglês. Usando por exemplo a frase: The mists dissolved and the sun rose. (clima) The sun rose and the mists dissolved. (mistério)
Outro exemplo: Amanda e Josh casaram. (ambos são responsáveis) Amanda se casou com Josh. (Amanda executa ação) Josh se casou com Amanda. (Josh executa ação) A escolha da ordem da frase também pode ser por proximidade afetiva. A escrita e a fala são compostas por palavras e as palavras são vagas, a frase sobre Josh e Amanda é facilmente entendida, mas pouco se sabe sobre eles. - Qual a altura de Josh? - Quantos anos tem Amanda? - Qual a cor de seus cabelos? Ao ver uma foto, ou mesmo um desenho algumas das questões são facilmente solucionadas.
A imagem As palavras são relativamente vagas, muitas vezes quase vazias de significados. As imagens são cheias de significado. Exemplo 2 - Georgia ao lado da mãe. Georgia entre os pais.
Para registrar qual é a sua visão de seus pais Georgia usa a affordance do papel, fazendo as coisas parecerem maiores, menores, mais largas ou mais estreitas. Na realidade Georgia é bem mais alta do que se desenhou e seu pai bem mais baixo que sua mãe, podemos analisar que Georgia vê (afetivamente/ psicologicamente) os seus pais muito maiores do que ela e que levanta o pai do chão para que esse fique do mesmo tamanho da mãe. Outro ponto a ser levantado: o texto escrito é fixo, sua ordem de leitura é pre-determinada, os elementos da imagem existem em uma ordem fixa, mas ela está aberta para a reconstituição do leitor.
A mídia e a sua interrelação com as formas A forma de escrita ocidental nos ultimos 300 anos tem sido organizada em livros. Nos livros os tradicionais os autores organizam o texto em capítulos, que são coerentes e completos. O leitor segue a ordem pre-determinada pelo autor.
Exemplo 3 - The Boy Eletrician Em alguns textos - romances, por exemplo - o leitor é incentivado a imaginar, seguindo a ordem dada pelo texto, mas enchendo o relativamente vazio palavras com significado do leitor. Nos textos contemporâneos tais como, páginas web e as telas de CD ROM tem sido usada a imagem como a organização textual, fazendo o leitor realizar um trabalho semiótico diferente.
Exemplo 4 - Home page da Universidade de Londres A página tem cerca de 13 pontos de entrada. O interesse do leitor determina onde ele deseja entrar na página. O mesmo se aplica ao caminho leitura que o leitor pretende construir: ele também é determinado pelo interesse do leitor.
O designer dos sites não é o autor do texto, mas, um fornecedor de materiais dispostos em relação às características assumidas do público imaginado. O poder do designer é reunir materiais que podem tornar-se informação para o visitante, em arranjos que podem corresponder aos interesses do visitante. Fazendo textos e lendo textos Os meios de comunicação dominantes são agora os da tela - do Game Boy, o telefone móvel, o PC, ou ainda a TV e vídeo. A escrita aparece na tela, mas quando ele faz isso é subordinada à lógica da imagem. A lógica da imagem cada vez mais moldará a forma, a aparência e os usos da escrita
Design como opção no contexto Na paisagem multimodal o design torna-se uma questão central. Se existirem várias formas transmitor as mensagens, as perguntasa serem feitas serão: - Qual modo é melhor? - Qual o modo mais atrai o meu público alvo? - Qual o modo mais corresponde ao meu interesse neste momento? - Qual meio é preferido por meu público? Ou por mim? - Como estou me posicionando se eu escolher este meio ou este modo, em vez de os outros? Todas estas exigem escolhas a serem feitas, baseadas na avaliação do ambiente em que a comunicação ocorre em toda sua complexidade.
Exemplo 5 - Visual Geography-tectonics Cade ao designer de escolhas estilísticas em relação à escrita, as escolhas de fonte, os enquadramentos do texto (marcada pela pontuação) e no texto (marcado por parágrafos), e pela disposição dos espaçamentos.
A questão para o designer: Qual é a melhor forma de realizar o projeto? O que se develevar em consideração: - ambiente - tipo de público - recursos que estão disponíveis para a implementação meu projeto - restrições sociais, econômicas, políticas
Exemplo 6 - Visita ao Museu Britânico A criança de seis anos está usando os dois modos o de escrita e da imagem de acordo com suas affordances : A lembrança (transformada) do mundo visualmente identificado através do modo espacialmente organizado, e a lembrança (transformada) mundo através do modo temporalmente organizado.
Exemplo 7 - Ocular do microscópio, e células como um muro de tijolos Instruções do professor: - colocar o seu texto no topo da página, e o desenho na parte inferior. - usar apenas lápis preto no seu desenho.
Um texto escrito é uma recontagem, o outro procedimento. A recontagem, genericamente falando, diz: isto é o que aconteceu, o procedimento, genericamente falando, diz: isto é o que deveria acontecer. Os desenhos também diferem profundamente. Um declara: este é o que a teoria nos diz (em uma planilha que houve um comentário o que você deve ver algo como uma parede de tijolos, cada célula é um tijolo ), o outro declara: é isso que eu realmente observei. O que é ser científico? para ser científico é conferir a verdade a teoria Na Figura 7, o estudante mostra verdade dos fatos do mundo empírico no desenho, e da verdade da teoria no texto escrito. Na Figura 7 b, os estudantes mostram a verdade da teoria científica no desenho, e da verdade da prática real na escrita.
Design como uma parte da retórica da comunicação O mundo contemporâneo é marcado pela crescente fragmentação e individualização (Beck, 1986). Uma pergunta retórica: - Como fazer a minha comunicação mais eficaz em relação a este público, aqui e agora? Retórica tornou-se uma questão importante para o projeto.