Computação Multimédia

Transcrição

1 Computação Multimédia Nuno M. Correia DI/FCT/UNL 2004/2005

2 Objectivos Abordar as técnicas computacionais para representação e processamento de informação multimédia, considerando: Características da informação. Modelos de estruturação. Ferramentas de desenvolvimento. Pesquisa e análise de conteúdo. Tomar contacto prático com o processo de desenvolvimento de aplicações multimédia.

3 Estrutura (I) Informação Multimédia Informação estática e informação dinâmica Texto, imagens, áudio, vídeo Formatos e normas de representação, compressão e transmissão Modelos de estruturação: Hipertexto, hipermédia, hipervídeo Conceitos: Estrutura e navegação Modelos e arquitecturas de sistemas hipermédia Hipermédia na Internet

4 Estrutura (II) Ferramentas de autoria Paradigmas Exemplospráticos Arquitecturas de software e modelos de objectos para multimédia Normas e sistemas Processamento e visualização de informação Extracção e visualização de características relevantes Modelação de informação Processamento baseado em semântica

5 Multimédia Multimédia: diversos meios ou media (plural de medium) Computação Multimédia: utilização de tipos de dados multimédia em aplicações e sistemas computacionais Multimedia: An application requiring more than two trips to the car to operate., IMA

6 Hipermédia Ligação e estruturação de informação heterogénea Text + Hyper = Hypertext +Multimedia = Hypermedia Conceitos fundamentais: Nó Ligação (links) Caminho História

7 Computação Multimédia Informação Multimédia

8 Tipos e formatos.txt.bmp.snd.cdr.ps.au.mov.fli.tex.wav.avi.tbk.doc.mid.ra.voc.htm(l).mp3.dcr.qt.jpg.mpg.pcd.wad.gif.m2v.xls.asf.tiff.dat.rle.dcr.pbm.ifo.pdf.enc.ppm.vob.aiff.png

9 Informação Estática e Dinâmica Informação multimédia pode ser: Estática: não se altera com o tempo (e.g., texto, gráficos) Dinâmica: depende do tempo (e.g., animação) Contínua: sequência de amostras com posições no tempo (e.g., vídeo, áudio). É dinâmica mas coloca problemas mais complexos de armazenamento, transmissão e sincronização.

10 Texto Códigos e linguagens de descrição: ASCII, SGML, HTML, PostScript, Representação gráfica de caracteres (fonts) Bitmaps: cada caracter é representado por uma matriz de pixels. Exemplos: Ficheiros Laserjet.SFP e.sfl, Tex PK, PXL, e GF. Outlines (escaláveis): cada caracter é representado matematicamente como um conjunto de linhas. Exemplos: Fonts PostScript Type 1, Type 2, Type 3 e Type 5, Fonts TrueType.

11 Texto Linguagens de Markup: Intruções sobre a forma como o texto deve ser impresso Procedimental: Descreve as acções (Word, Troff, TeX). Genérico: Descreve os objectos a imprimir (ODA, SGML, módulos para TeX e Troff) SGML significa Standard Generalized Markup Language e é uma norma internacional ISO SGML é uma linguagem para descrição formal da estrutura e conteúdo de documents

12 Texto PostScript é uma linguagem para dispositivos de saída Permite uma interface comum, independente do dispositivo Existem controladores PostScript para impressoras desde 4 páginas por minuto até 92 ppm, desde 300 dpi até 6000 dpi, para gravadores de filme e terminais X, etc. PostScript é uma linguagem interpretada, usando notação RPN Exemplo: mul

13 Áudio Aplicações Voice Mail Sonification: mapeamento para som de variáveis (e.g., os diferentes pontos de uma curva são mapeados para a amplitude da nota)... Características Natureza efémera do áudio. As pinturas e/ou gráficos podem ser apreciados para sempre. No caso do áudio/música é preciso prestar atenção àquilo que foi apresentado. É difícil manter o contexto (cacofonia) Canal de comunicação importante (para emoções é por vezes o mais eficiente e apropriado)

14 Áudio (Psicoacústica) Áudio, é uma perturbação na pressão do ar que atinge o ouvido humano Esta perturbação é caracterizada por diversas grandezas e, dentro de certo parâmetros, é captada. Frequência: 20 Hz Hz, medida física Pitch: percepção, relação próxima com freq. Amplitude: medida física Loudness: percepção Interacções entre frequência e amplitude

15 Áudio Digital Um sinal digital é definido apenas em alguns instantes e pode tomar um número finito de valores Amostrar um sinal significa examiná-lo em alguns pontos, normalmente com intervalos constantes, a uma taxa designada por frequência de amostragem Teorema da Amostragem: se um sinal contém componentes com frequência f, a frequência de amostragem deve ser pelo menos 2f de modo a que o sinal possa ser reconstítuido.

16 Áudio Digital Quantizar um sinal significa atribuir-lhe um valor com um determinado grau de precisão A diferença entre uma representação e o sinal original desiga-se por ruído de quantização Com mais bits para um sinal PCM (Pulse Coded Modulation) o sinal torna-se mais limpo. OS CDs de áudio usam 16bits (as pessoas podem ouvir mais, correspondente a aprox. 20bits) DACs e ADCs convertem entre digital e analógico

17 Compressão Armazenamento: 8bits e 8KHZ consomem 8Kb/s stereo, 16 bits PCM, 44.1 KHz (CD) consomem 176Kb/s ou 10Mb/minuto 48KHz (profissional) consome 200Kb/s Usa-se compressão perceptual, por exemplo MP3 (MPEG Layer 3) ou MPEG-2 AAC (Advanced Audio Coding) Explora as características do ouvido humano Reduz até 12 vezes sem baixar a qualidade

18 Compressão Técnicas de codificação perceptual: Nível mínimo de audição: Não é necessário representar sons abaixo deste limiar. Efeito de máscara: Os sons mais fortes mascaram os sons mais fracos. Reservatório de bytes: Algumas passagens exigem mais bytes e outras menos. É possível compensar. Joint Stereo: Abaixo de certas frequências a localização espacial não é detectada. Codificação de Huffman: Codificação final depois de aplicadas as técnicas anteriores.

19 Armazenamento CD-Audio: Nome completo para os CDs correntes Codificação: PCM, Largura de Banda: 20KHz, Amostras: 16 bits, Duração: 1 Hora CD-ROM: Usa o mesmo formato do CD-Audio para armazenar dados arbitrários Sistema de ficheiros ISO9660 CD-I: É uma aplicação dos CD-ROMs. Os dados (áudio, vídeo e texto) são interleaved de modo a permitir a apresentação sincronizada DVD...

20 Transformadas Um sinal amostrado e quantizado pode ser transformado noutra representação. Representação mais eficiente para transmissão, armazenamento, etc. Transformadas de Fourier: Coeficientes de Fourier representam o sinal no domínio da frequência Codificação de Sub-bandas (MPEG): Explora as propriedades do ouvido humano. Codifica com mais detalhe as bandas mais ouvidas Representações paramétricas: Modelo numérico (Exemplo: FM)

21 Processamento de Áudio Tratamento do sinal como um conjunto de números Exemplo: Substituição de cada número pela média (moda, mediana) dos seus vizinhos => filtro passa-baixo Outros: filtro passa-alto, passa-banda, rejeitabanda Modificação nível amplitude é uma multiplicação Sinal atrasado e adicionado a si próprio resulta num eco...

22 Edição de Áudio

23 Síntese e Representação de Música MIDI (Music Instrument Digital Interface): Norma para notação musical Originalmente para hardware mas utilizada actualmente em software Mensagens MIDI definem os eventos musicais: nota on, off, variações no tom, etc. Representação do tempo necessária para armazenamento: instante relativo para cada evento, em função do tempo especificado no início do ficheiro

24 Edição de Música

25 Geração e Reconhecimento de Fala Geração: Conversão Automática de Texto para Fala Separação da sequência inicial em morfemas (unidades sintáticas básicas da linguagem) Correspondência de morfemas a sons Síntese recorrendo a modelos da fala humana ou usando sons amostrados Para melhorar a qualidade são adicionados outros elementos: prosódia, ênfase, Reconhecimento: Segmentação (não há unidades discretas naturais ) Comparação de coeficientes com templates

26 Imagem e Vídeo Digitais Representada por uma matriz de valores. Cada valor é função da informação na zona do ponto correspondente na imagem. Um elemento da matriz designa-se por pixel (picture element). Cada pixel pode incluir informação para todos os componentes de cor. É comum representar pixels em tons de cinzento com 8 bits e pixels coloridos com três componentes (RGB) cada um com 8 bits Vídeo é uma sequência de imagens...

27 Imagem (Raster) Projecção de uma cena 3D num plano 2D Pode ser definida como uma função de duas variáveis, I(x,y). Para cada posição (x,y), I(x,y) define a intensidade da luz nesse ponto Tipos de imagens mais usados: Imagem em tons de cinzento I(x,y) definido no intervalo [a,b] Imagens binárias I(x,y) definido no intervalo {0,1} Imagens a cores I R I G I B

28 Imagens vectoriais vs. raster Espaço Rectângulo vectorial: Menos de 30 bytes de informação alfanumérica (menos se comprimida) Rectângulo raster não comprimido, preto e branco 5000 bytes (200x200/8) Refrescamento de uma imagem Numa imagem vectorial, com muitos objectos no ecrã, o redesenhar pode ser lento Mudança de escala Ao mudar a escala de uma imagem vectorial não se perde qualidade

29 Contraste O contraste de uma imagem num ponto indica a diferença relativa entre a intensidade nesse ponto e a intensidade dos pontos vizinhos: C = I p -I n / I n Exemplo: C 1 = / 0.1 = 2 C 2 = / 0.5 = 0.4 Apesar de a intensidade de 0.7 ser maior o contraste é menor!

30 Amostragem e quantização Passos no processo de digitalização (tal como no áudio ) Amostragem: Quantas amostras? Ou seja com quantos pixels a imagem vai representar o mundo real Quantização: Quantos níveis pode representar cada amostra? Directamente relacionado com o número de bits necessário para representar cada amostra. Exemplo: 8 bits, 256 níveis.

31 Cor em computador O olho é sensível a luz vermelha, verde e azul (cores primárias aditivas) O ajustamento de combinações destas três cores faz com que o olho humano e o cérebro criem interpolações das cores intermédias O laranja num monitor de computador é uma combinação de duas frequências de luz verde e vermelha e não a frequência espectral que se vê quando se olha para uma laranja à luz do sol A luz reflectida que o olho reconhece, vinda de uma página de papel impressa, é constituída por pontos, que utilizam cores primárias (neste caso cores subtractivas)

32 Luz Visível

33 Cor em computador Écrã de computador é uma fonte de luz Pontos fosforescentes (RGB) bombardeados por electrões a alta velocidade Diâmetro de.30mm ou menor (dot pitch) Posicionados muito perto uns dos outros Estes pontos iluminam-se quando são atingidos e o olho vê a combinação de RGB representada Combinações RGB Amarelo: vermelho e verde Branco: verde, vermelho e azul Preto: nenhuma cor

34 Modelos de cor Modelos ou metodologias utilizadas para especificar cor num computador RGB (red, green, blue) uma cor é especificada através da quantidade de vermelho, verde e azul que contém HSB (hue, saturation, brightness) e HSL (hue, saturation, lightness) Hue (cor) ângulo de 0 a 360 o de um círculo de cor Saturation (saturação) percentagem de intensidade da cor 100% cor pura Brightness ou lightness (brilho) percentagem de preto ou branco que é misturado com a cor 100% - branco 0% - preto Outros modelos: CMYK, CIE, YIQ, YUV,

35 Modelos de cor

36 Raster Scanning Câmara de vídeo converte a imagem num sinal eléctrico Sinal eléctrico é unidimensional (um valor para cada instante de tempo) mas uma imagem é bidimensional Scanning: Processo de conversão de uma imagem num padrão ordenado denominado raster O sinal eléctrico proveniente do sensor representa a imagem como uma série de valores ao longo do tempo: sinal vídeo

37 Raster Scanning Start Cada amostra representa intensidade da luz Retorno: horizontal blanking interval Conjunto das linhas é uma frame

38 Imagens por Segundo É necessário um número elevado de imagens por segundo para conseguir reproduzir o movimento (Teorema da Amostragem) Vídeo: 25 (PAL,SECAM), 30 (NTSC) Cinema: 24 Para que o olho humano não se aperceba da mudança de imagens (flicker) é necessário que NImgs/s seja superior a 50 Implica capturar mais imagens Usam-se imagens entrelaçadas (interleaved). Cada imagem é dividida (em vídeo de televisão em duas partes)

39 Cor Vídeo usa o modelo RGB (aditivo) obtendo todas as cores por combinação das cores primárias vermelho, verde e azul O vídeo é um sistema de cores aditivo porque o CRT combina luz das três cores para criar a imagem Para distribuição usa-se um sinal composto (apenas um cabo). Há vários sistemas: NTSC, PAL, SECAM. Sinal composto: crominância (cor) e luminância (brilho)

40 Modelo de cor YUV Separação entre luminância e cor Olho humano é menos sensível à luz do que à cor. Pode poupar-se largura de banda na cor. Y: luma, luminância Y = *R *G *B Olho humano é mais sensível ao verde (G) e menos sensível ao azul (B) U, V: crominância (B-Y, R-Y) Sinais que representam diferenças de cor: diferença entre um componente de cor (B ou R) e a luminância.

41 Sistemas de Televisão NTSC (National Television Systems Committee) 525 linhas, 30 fps, entrelaçamento 2:1 PAL (Phase Alternating Line) 625 Linhas, 25 fps, entrelaçamento 2:1 SECAM (Sequentiel Couleur avec Memoire) 625 linhas, 25 fps, entrelaçamento 2:1

42 Compressão Parâmetros mais importantes Grau de compressão: Dada pelo nº de bits por pixel (e.g., 2 bits por pixel) de modo a considerar a perda de qualidade Qualidade da imagem Compressão com perdas (lossy) e sem perdas (lossless) Velocidade da compressão/descompressão As aplicações determinam o mais importante Normalmente em imagens a descompressão deve ser mais rápida Na captura de vídeo a compressão tem que ser rápida

43 Redundância e Visibilidade Redundância: ocorre quando a mesma informação é transmitida mais do que uma vez: Vários pixels adjacentes têm a mesma cor Linhas adjacentes sobrepostas Imagens paradas ou com pouco movimento (vídeo) Visibilidade: não é necessário transmitir (guardar) mais do que o visível O olho humano não distingue bem algumas cores A informação de cor pode ter menos resolução que a luminância (usado em televisão)

44 Técnicas de Compressão Truncagem: Redução da quantidade de informação através da redução do nº de bits por pixel Exemplos: RGB 5:5:5, YUV 6:5:5 Tabela de cores: Pixels representam um indíce na tabela que contém muito bits por pixel. Número de cores limitado (8bits => 256 cores) Codificação run-length: Blocos de pixels repetidos são substítuidos por um valor e pelo número de repetições Bom para imagens com grandes áreas da mesma cor (imagens sintéticas, cartoons, etc.)

45 Técnicas Interpolativas Transmissão de parte dos pixels e reconstrução dos restantes usando interpolação Usa-se normalmente nas componentes de cor da imagem Bom para imagens reais Imagens sintéticas podem perder alguns dos elementos Aplicável a imagens de uma sequência Algumas imagens são totalmente guardadas e outras são reconstituídas a partir destas

46 Técnicas Preditivas O próximo elemento (pixel/linha/imagem) é calculado com base no anterior, previamente guardado DPCM: Comparam-se pixels adjacentes e transmitem-se as diferenças entre eles (menos bits para as diferenças) Mau para diferenças abruptas ADPCM: Alteração do valor da diferença mantendo o mesmo número de bits Vídeo (MPEG)...

47 Transformadas Converte o sinal noutro mais eficiente para uma determinada aplicação DCT (Discrete Cosine Transform) Aplicada a um bloco de pixels adjacentes, tipicamente 8x8 Resulta em 64 valores de frequência espacial que representam as amplitudes de frequências espaciais crescentes Codificação estatística: Baseia-se na distribuição estatística dos valores dos pixels na imagem Mais bits para os valores menos frequentes Huffman coding

48 Codificação de Huffman Exemplo: Representação de 5 símbolos A B C E D

49 BMP Formato raster de base do Windows Nome: Device-independent bitmap (DIB) format Permite que o Windows faça o display da imagem em qualquer tipo de dispositivo de visualização É chamado independente do dispositivo porque a cor do pixel é especificada de forma independente do método usado por um display para representar a cor

50 BMP Estrutura do ficheiro Bitmap File Header: informação sobre o tipo, tamanho e estrutura de uma imagem Bitmap Information Header: especifica as dimensões, tipo de compressão e formato da cor do bitmap Mapa ou Tabela de cores Contém tantos elementos como cores existentes na imagem Quando cada pixel tem 24 bits a tabela de cores não existe. A cor vai estar contida na área de dados do bitmap. As cores aparecem por ordem de importância Conjunto de bytes com a informação dos pixels Scan lines - Linhas consecutivas (de baixo para cima, da esquerda para a direita) O número de bytes em cada scan line depende do formato, da cor e da largura em pixels, da imagem

51 GIF Graphics Interchange Format (tm) Criado pela Compuserve para a definição de imagens raster coloridas Formato alta-qualidade, que possibilita a visualização de informação gráfica de alta resolução numa grande variedade de dispositivos Definido em termos de blocos e sub-blocos que contêm parâmetros e informação relevante para a reprodução da imagem Uma imagem é uma colecção de blocos e sub-blocos que representam um conjunto de gráficos Tem de ser interpretado em contexto com a descrição do formato, não contém informação interna para o descodificador

52 GIF O formato proporciona Transparência: Uma cor pode ser definida como sendo transparente Animação: Embora não seja o seu objectivo primordial, a combinação de várias imagens contidas no ficheiro para criar uma animação é possível Tabelas de cores Tabela Global de cores Tabela Local de cores Sem tabela Compressão Variable Length Code LZW Compression Usa uma tabels de códigos construída a partir dos padrões encontrados nos dados originais Cada padrão é introduzido na tabela e o seu código é usado no lugar do padrão

53 JPEG Joint Photographics Expert Group Imagem real (continuous-tone imaging) Quatro modos: Codificação sequencial Codificação progressiva Codificação hierárquica Codificação sem perdas Com perdas: codificação DCT Sem perdas: Codificação preditiva e estatística

54 JPEG Source Image Data DCT Encoder Quantizer Zig-Zag Ordering Statistical Encoder Compressed Image Bit Stream Quantizing Table Table Specification Codificação sequencial Source Image Data Predictor Statistical Encoder Compressed Image Bit Stream Codificação sem perdas Table Specification

55 JPEG Matriz de Entrada Matriz de Saída

56 JPEG Matriz de Quantização (Quantum(i,j)) CoeficienteQuantizado(i,j)=DCT(i,j)/Quantum(i,j) Matriz de Coeficientes Após Quantização

57 JPEG Sequência em Zig-Zag Freq. Espacial Coeficiente Freq. Espacial horizontal Coeficiente DC 0 7 horizontal DC Freq. Espacial vertical Freq. Espacial vertical 7 7

58 DCT

59 Quantização de cores GIF requer hardware de visualização barato : 8 bits por pixel (256 cores de cada vez) Imagem com mais de 256 cores: computador escolhe um conjunto apropriado de cores representativas e a imagem é mapeada para essas cores (color quantization) Processo lossy Os detalhes da quantização de cor têm mais impacto na imagem final do que os erros introduzidos pelo JPEG Apresentar uma imagem JPEG em hardware de 8 bits ou menos requer quantização A velocidade e a qualidade de imagem dependem dos algoritmos de quantização utilizado pelo software de visualização de JPEG A variação da qualidade da imagem é muito maior que em 24 bits

60 Quantização em GIF A quantização de cor é feita na geração da imagem em formato GIF O software de visualização de GIF não precisa de executar a quantização enquanto que o de JPEG tem sempre que o fazer (visualizadores de GIF são mais rápidos que de JPEG) Em GIF a quantização é sempre a da geração do ficheiro As cores podem não existir O algoritmo de quantização utilizado na geração pode não ter sido de boa qualidade

61 Quantização em JPEG Quando uma imagem é visualizada em hardware diferente daquele em que foi criada a utilização de JPEG proporciona maior qualidade Uma imagem de 24 bits JPEG pode ser quantizada exactamente para o hardware onde a visualização vai ocorrer Futuras melhorias em algoritmos de quantização podem ser utilizados em imagens JPEG já existentes O hardware de visualização futuro pode também tirar melhor partido de imagens JPEG (uma vez que a informação de cor está disponível, contrariamente ao GIF)

62 MPEG Motion Picture Expert Group Boa qualidade para taxas entre 1.0 e 1.5 Mbps Especificação do formato (bitstream) e da descodificação Quatro tipos de imagens: I: Codificadas de forma independente de qualquer outra P: Codificadas com compensação de movimento a partir de outra I ou P B: Interpoladas entre uma imagem prévia e outra futura I ou P D: Formato especial para optimizar pesquisa

63 MPEG Imagens I ocupam mais espaço: aprox. igual a uma imagem JPEG Imagens P ocupam aprox. 1/3 das imagens I. Inclui macroblocos de 16x16 com informação de compensação de movimento e blocos DCT de 8x8 para correcção Imagens B ocupam 1/2 a 1/5 das imagens P. Incluem também macroblocos e blocos contendo parâmetros de interpolação e valores DCT para correcção devem-se usar mais imagens B para obter mais compressão

64 MPEG I B B B P B B B P B B P - Forward Prediction B - Interpolation (Bi-directional prediction) I - Possible Random Access Points

65 Texto, Imagem e Vídeo Critério Texto Imagens Vídeo Informação Pobre Rico Muito rico Dimensão Estático e não espacial Estático e espacial Temporal e espacial Organização Organizado Não estruturado Não estruturado Volume Baixo Médio Alto Relações Simples e bem definido Complexo e mal definido Complexo e mal definido

66 DVD Digital Video Disc, Digital Versatile Disc, Nada Próxima geração de tecnologia de armazenamento óptico. É essencialmente um CD maior e mais rápido. Relevância: aplicação multimédia actual. DVD-Video inclui programas vídeo e pode ser usado num leitor ligado a uma televisão. DVD-ROM inclui dados genéricos e pode ser usado em drives de computadores. Existem diversas versões, com diferentes tamanhos e características e nem sempre compatíveis...

67 CD e DVD

68 Produção de DVD Vídeo Áudio Imagens Codificação Autoria Multiplexagem e Formatação DVD

69 Sistema de Ficheiros UDF (Universal Disk Format) Usado para DVD-Video e DVD-ROM. OS CD-ROMs tradicionais são normalmente formatados com o sistema de ficheiros ISO ISO9660 não é apropriado para alterações incrementais do sistema de ficheiros. Estrutura de tabelas que indicam a localização dos ficheiros e das directorias no disco. DirEntry, FileEntry, ICB (Information Control Block). Compatível com ISO9660 através da inclusão de estruturas adicionais.

70 Discos Híbridos Root Readme.Txt Users nmc VIDEO_TS VTS_01_0.IFO VTS_01_0.VOB VTS_01_1.IFO VTS_01_1.VOB

71 Compressão MPEG-2 Variable bit rate

72 DVD-Video Mais de 2 horas de vídeo digital Formatos 4:3 e 16:9 Até 8 pistas de áudio digital Até 32 pistas de legendas ou karaoke Até 9 ângulos diferentes para a mesma cena Menus e funcionalidades interactivas simples Suportados no player Escolha de linguagem Controlo da apresentação (pausa, avanço rápido,..) Saída digital...

73 DVD Authoring

74 DVD Authoring

75 Características Interactivas Essencialmente através de menus, para selecção de conteúdo ou de características da apresentação Cada menu tem uma imagem de fundo (MPEG still) e até 36 áreas seleccionáveis ou botões que podem conter imagens Suporta ainda uma linguagem rudimentar: Ops. aritméticas e lógicas Controlo de fluxo Estrutura algo complexa de modo a permitir a indexação/controlo a diversos níveis: títulos, partes de títulos, células ligadas em program chains (PGC)

76 Características Interactivas Program Chain Pre- Command Program 1 Program 2 Cell#1 Cell#2 Cell#3 Cell#4 Cell#5 Post- Command Células: Unidades elementares dos Video Objects (VOBs) Programa: Conjunto (e sequência) de Células. Comandos: 128 diferentes (ex. Voltar ao menu principal, saltar para outro programa, etc.)

77 Computação Multimédia Modelos de Estruturação

78 Hipertexto, Hipermédia, Hipervídeo,... Multimédia: Integração de media (estruturação, sincronização) Hipertexto: Texto não linear, com hiperligações ou hyperlinks. Hipermédia: Multimédia + Hiper Hipervídeo: Hipermédia em que o medium dominante é vídeo Aspectos estéticos Aspectos retóricos Suporte tecnológico

79 Outras Definições Um sistema para a representação e gestão de informação constituído sobre um grafo de nós multimédia interligados, acessíveis por navegação Uma forma de organização do conhecimento informal utilizada para organizar e manipular grandes quantidades de informação estruturada de forma irregular. Terminologia: Hypermedia, Multimedia, Hipermédia, Multimédia Hipermídia, Multimídia

80 Modelo Hipermédia Básico Data Submodel Process Submodel Nodes + Directed links (Graph) Navigation: access to the network Nodes, Nós: Unidade primitiva de informação. Colecção de items agrupados de forma a criar uma entidade lógica. Links, Ligações, Elos: Ligações dirigidas entre nós. As ligações são ancoradas no nó de partida e fornecem um modo de acesso ao nó de destino. São associados a uma parte do nó de partida.

81 Modelo Hipermédia Básico Data Submodel Structure Nodes Links Process Submodel Searching Navigation Directed Paths Graph Browsers Guided Tours Metaphors Anchors Undirected Landmarks History Users (Authors and Readers)

82 Estrutura Simples: Grafo dirigido. Hierárquica: Comum em sistemas mais antigos, os nós são organizados em árvores com um conjunto de ligações semiexplícitas. Interligações (cross-reference) são possíveis mas não encorajadas. Agregação ou conjunto: Agrupamento de objectos de forma a construir uma entidade de nível mais elevado. Este conjunto pode ser tratado como um único nó. Redes semânticas: Uma ligação dá significado a um par de nó e, cada nó, pode ter significados diferentes ao participar em diferentes ligações. Redes de Petri: Generalização dos grafos dirigidos. Permite especificar formas de consulta, por exemplo, activação ou sincronização de dois caminhos paralelos.

83 Nós Tipo: Cartão (Hypercard), Documento, Documento estruturado (WWW e HTML) Persistência: Virtual, Não virtual Computabilidade: Nós estático, Nó computado (query) Gestão do conteúdo: Interna, Externa (Referência) Univocamente endereçável Autónomo Realização: Identificador, nome, palavras chave, lista de ligações, conteúdo.

84 Ligações Direccionalidade: 1, 2. Múltiplos destinos: Ligações binárias com dois pontos ou ligações n-árias. Computabilidade: Exemplo, nó contendo a imagem com predominância de amarelo. Com duração (span to span): Exemplos, parágrafo a parágrafo, para texto ou cena a cena, para vídeo. Implícitos: Estruturas hierárquicas. Realização: Identificadores origem e destino, nome, direcção, atributos.

85 Navegação Lost in hyperspace: Limitação de eficiência devido à falta de legibilidade. Aproximações: Estruturar (Exemplo: Baixa de Lisboa) Auxiliares de navegação (Exemplo: Usar mapa de Alfama) Outras técnicas computacionais...

86 Técnicas Computacionais De representação da estrutura Overviews Organização Metáforas De suporte à navegação Trails (paths, tours, pathviews) História Browser Bookmarks, landmarks Anotações

87 Origens Memex (1945) Vannevar Bush Xanadu (1960) Ted Nelson NLS/Augment (1962) Douglas Englebart

88 Memex Proposto por Vannevar Bush, acessor do Presidente dos EUA para a ciência. Coordenou a actividade de 600 cientistas durante a 2ª Guerra Mundial. Problema a resolver: The investigator is staggered by the findings and conclusions of thousands of other workers - conclusions which we cannot find time to grasp, much less to remember, as they appear. Memex (Memory Extender) é uma solução tecnológica para este problema.

89 Memex Armazenar todos os items de informação de um indivíduo de forma miniaturizada. Permitir a consulta e processamento com grande velocidade e flexibilidade. Indexação associativa: Um item pode seleccionar imediata e automaticamente outro item. Apoio aos mecanismos associativos do raciocínio e memória. Tecnologias de interacção e armazenamento. Navegação e criação de caminhos no espaço de informação não linear

90 Xanadu Sistema para suportar electronicamente o trabalho criativo, desenvolvido por Ted Nelson. Criador dos termos hipertexto e hipermédia. After college, wishing to work alone as rogue fillosopher and filmaker, I was troubled about distribution for self publishing and how to manage notes and threads for many projects. What would be the best underlying abstraction for this ultimate generalization of literature and movies? Conceito de criação com reutilização de criações literárias universais. Sistema universal: Xanadu (The Web?) Controlo de propriedade (copyright) da informação

91 NLS/Augment Conceptual Framework for the Augmentation of Human Intellect, desenvolvido por Douglas Englebart a partir de 1962, no SRI (Stanford Research Institute). I visualized people collaborating interactively on visual displays connected to a computer complex. I m not numerically oriented, my vision has always facilitated discursive thinking and collaboration. Tecnologias fundamentais: janelas, rato, UIMS,... Integração de tecnologia e utilizador(es)

92 NLS/Augment Computador como suporte à comunicação e cooperação entre utilizadores. Redes de indivíduos interligados. Sistema de hiperdocumentos aberto (integração de múltiplas ferramentas de leitura, criação, etc.) Partilha de hiperdocumentos através de espaços públicos. Sistema real, com estações de trabalho utilizando os primeiros ecrãs bitmap e ratos, demonstrando pela primeira vez a colaboração entre indivíduos através de computadores.

93 NLS/Augment

94 NLS/AUgment

95 Sistemas de Referência KMS (Knowledge Systems Inc, Pittsburgh, USA) Intermedia (Universidade de Brown, USA) Guide (Universidade de Kent at Canterbury, UK) Notecards (Xerox Parc, Palo Alto, USA) Hypercard (Apple, Mountain View, USA)

96 Contribuições KMS: Simplicidade e consistência da IU, desempenho, escalabilidade Intermedia: Concepção e realização de sistemas, generalização dos modelos de dados, experiência multidisciplinares (literatura) GUIDE: Portabilidade entre plataformas computacionais, conceitos estruturantes na navegação Notecards: Modelos de dados estruturados, vistas diagramáticas Hypercard: Simplicidade de utilização, linguagens de scripting, 1º sistema hipermédia de uso generalizado

97 Generalização Generalização das técnicas e funcionalidades hipermédia (hipermédia como mass media): Sistema de ajuda (online help systems) Enciclopédias Electrónicas Internet e World Wide Web Sistemas de Autoria

98 Sistemas de Ajuda Finalidade: Ajuda no momento (on line help) Exemplo: MS On-Line Help Tipicamente mono utilizador e apenas para leitura Informação maioritariamente textual Ligações simples (unidireccionais) Alguma estrutura (indíces) Mecanismos de navegação básicos (pesquisa, história, glossário, anterior, próximo, início)

99 Enciclopédias Electrónicas Grande dimensão (100s de Mbytes) Armazenamento em CD-ROM ou DVD Informação multimédia Elevada densidade de ligações Estrutura elaborada (temas, vistas por tipo de informação, vistas cronológicas) Utilização de linguagens para pesquisa e obtenção de informação (queries)

100 Internet e WWW O sistema hipermédia de grande escala e em crescimento exponencial Arquitectura distribuída aberta e multi-protocolo baseada na infraestrutura Internet Formato para informação hipertextual normalizado (HTML) e independente dos sistemas de visualização Pouca estrutura Compromisso entre grande escala e requisitos de consistência (e.g. nomes universais) Evolução no sentido de hiper-aplicações a partir de hiperdocumentos (e.g. JavaScript, Java)

101 Sistemas de Autoria Conjunto de aplicações para construção de hiperdocumentos (ou hiper-aplicações) Linguagem de script Editor Visual Exemplos: ToolBook Authorware IconAuthor Macromedia Director e muitos outros...

102 Sistemas Hipermédia: Características Acesso navigacional: pesquisa da informação através de inspecção (browsing) de uma base de informação, ao invés da utilização de perguntas (queries) Exemplos: Informação não classificada, processos exploratórios, objectivos incertos, aleatórios ou lúdicos Gestão de grande quantidade de informação fracamente estruturada: informação sem estrutura muito regular mas que possui alguma estrutura que pode ser representada e utilizada computacionalmente Exemplos: Arquivos digitais, sistemas de grande escala (e.g. baseados na Web)

103 Sistemas Hipermédia: Características Manipulação de dados multimédia: dados complexos multimédia (texto, gráficos, áudio, vídeo) ao invés de registos com tabelas, números, datas e cadeias de caracteres Exemplos: Manipulação de som e vídeo Informação em mutação qualitativa: informação cujo conteúdo ou estrutura sofre modificações frequentes Exemplos: Tipos diferentes de utilizadores, diferentes perspectivas ou contextos, diferentes papéis (leitor, autor), informação perecível, jornais

104 Sistemas Hipermédia: Características Representação do conhecimento informal: Mistura de estruturas representacionais formais (semântica definida e representável em computador) e informação livre que só pode ser interpretada pelo leitor humano Exemplo: Conhecimentos empíricos associados a processos de concepção, sistemas de suporte ao design e à tomada de decisão

105 Sistemas Hipermédia: Domínios de Aplicação Organização e distribuição de informação: Sistemas de disseminação e manutenção de grandes quantidades de informação produzida ou transformada electronicamente. Exemplos: Engenharia de software Documentação técnica Organização e disseminação do conhecimento: Sistemas para registo e disseminação de conhecimentos, propiciando novos processos de aprendizagem e experimentação. Exemplos: Educação em ciências humanas, línguas

106 Sistemas Hipermédia: Domínios de Aplicação Criatividade: Novas formas de expressão e novos meios de expressão criativa, possibilidades de interrelação e reutilização de materiais. Exemplos: Literatura Artes visuais Colaboração: Sistemas de suporte a novos processos criativos baseados na colaboração entre indivíduos Design colaborativo Investigação Comunidades virtuais

107 Sistemas Hipermédia: Valor Acrescentado Vantagens intrínsecas ao meio electrónico: capacidade de processamento, modificação, armazenamento, transmissibilidade, desmaterialização (peso!) Integração de informação: Complementaridade dos elementos de informação sem limitações de formatos ou estruturas Navegabilidade: Suporte aos processos cognitivos simples (e.g. inspecção) e análises intelectuais complexas (e.g. análise jurídica ou diagnóstico médico) Interface personalizada: Facilidades de interligação personalizada e criação de estruturas adaptadas e adaptativas Leitura activa: As modificações realizadas pelos leitores aumentam o grau de participação, transformando-os em autores

108 Sistemas Hipermédia: Valor Acrescentado Capacidades multiutilizador: meio de partilha de informação, com flexibilidade semântica Partilha de anotações, perguntas-respostas, factos e notícias, opiniões e argumentos Memória grupal e organizacional: base para a criação de uma memória de grupo ou memória organizacional Suporte ao trabalho cooperativo: meio de representação e memorização das tarefas, actividades e processos cooperativos

109 Estrutura da Informação Modelos genéricos de dados Modelos associados a sistemas hipertexto e hipermédia Modelos associados a publicação electrónica e documentos estruturados Modelos multimédia (estrutura temporal)

110 Modelos genéricos de dados Modelos de dados: modelam como é estruturada a informação numa aplicação, usando um conjunto de objectos lógicos Exemplos: Grafos, DFD, Diagramas E-R, Representações OO (UML, ) Aspectos não (ou parcialmente) abordados: Navegação Interface utilizador Armazenamento de informação Criação de conteúdos Prototipagem

111 Modelos para armazenamento e transmissão Surgidos a partir da necessidade de codificar, transmitir e armazenar informação Primeiro monomédia, depois multimédia e finalmente hipermédia. Alguns exemplos relevantes: ASCII MIDI MIME JPEG, TIFF, GIF MPEG MHEG

112 Modelos Hipermédia Estruturagenéricadainformaçãohipermédia Nó + Ligação = Grafo Limitações desta estrutura simples: Não permite organização Não permite interrogação Não permite compreensão Não permite reutilização É necessário encontrar modelos mais completos

113 Modelos Hipermédia Origens: Surgidos a partir da concepção, realização e experiência dos sistemas hipermédia mais representativos Combinação de: Modelos de dados para gestão de informação Modelos arquitecturais para gestão dos sistemas Modelos de interacção para gestão das interfaces utilizador

114 Modelos Hipermédia Objectivo fundamental: Descrever uma dada estrutura da informação hipermédia e construir mecanismos de gestão e manipulação dessa informação Exemplos relevantes: HAM (Hypertext Abstract Machine) Dexter (Dexter hypertext reference model) Trellis AHM (Amsterdam Hypermedia Model)

115 HAM Um das primeiras propostas de modelação Modelo de dados simples Associado à arquitectura do sistema Neptune Suporte para engenharia de software Abstracções fundamentais do modelo: Grafo Nó Ligação (link) Contexto Atributo Separação entre interacção e armazenamento

116 HAM Grafo: Objecto de nível superior. Contém um ou mais contextos. Contexto: Partição do grafo. Cada contexto tem um contexto Pai e 0+ contextos Filhos. Nó: Dados arbitrários. A actualização de um nó gera uma nova versão. Ligação (Link): Liga nó de ORIGEM a nó de DESTINO. É bidireccional e pode ligar para dentro ou entre contextos. Atributo: Par atributo/valor associado a um nó, contexto ou ligação.

117 Modelo de Dexter Dexter Inn, New Hampshire, 1988 Modelo formal e genérico para descrição de sistemas hipermédia. Destinado a definir princípios para a comparação entre os vários sistemas existentes. Suporte ao desenvolvimento de normas para interligação e interoperabilidade entre sistemas hipermédia.

118 Modelo de Dexter Runtime Layer Presentation Specifications Presentation Level Storage Layer Hypertext Abstract Machine (HAM) Level Anchoring Within-Component Layer Database Level Modelo de Dexter Campbell & Goodman (HAM)

119 Modelo de Dexter Três níveis de descrição: Execução (Runtime): Descreve os mecanismos que suportam as interacções do utilizador com o sistema hipermédia. Armazenamento (Storage): Descreve a rede/hierarquia de nós e ligações que formam a base do sistema hipermédia. Intra-componente (Within-component): Descreve os conteúdos e as estruturas dentro dos nós (componentes) hipermédia. Pouco elaborado por forma a permitir outros modelos de dados.

120 Documentos Estruturados Modelos com origem nos sistemas de publicação electrónica Surgidos a partir da definição de estruturas com, cada vez mais, não linearidades Destinados a descrever a estrutura dos documentos multimédia e hipermédia Origens: SGML, ODA Evoluções: SMDL, HyTime, HTML, XML,... Continuam a ser definidas novas aproximações: informação dinâmica, televisão,...

121 Documentos Estruturados Objecto da descrição: Estrutura lógica (índice, secção, sub-secção,...) Estrutura de apresentação (font, identação,...) Ambas... Exemplos Estrutura lógica: SGML Estrutura de apresentação: PostScript Estrutura lógica e de apresentação: TeX, ODA, (HTML)

122 Documentos Estruturados Relação com hipertexto/hipermédia: Os documentos incluem aspectos não lineares (índices, notas de rodapé, referências,...) As linguagens de descrição de estrutura lógica de documentos permitem a aplicação de técnicas de IR e subsequente navegação Os documentos estuturados evoluem (evoluiram!) também no sentido de documentos multimédia e hipermédia

123 ODA ODA (Office Document Architecture) - CCITT, OSI Estrutura lógica (Genérica e específica) Estrutura de apresentação (genérica e específica) Modelos de processamento (edição, formatação e visualização) Extensões para hipermédia e multimédia

124 SGML (Revisitado) SGML (Standard Generalized Markup Language) ISO 8879 (1986) Documento Construção lógica que contém elementos, os quais podem conter outros elementos (composição) Os elementos distinguem-se através da informação adicional de marcação (markup) Os elementos são delimitados por etiquetas (tags) As etiquetas caracterizam os elementos Exemplos: <section> texto </section> <section> texto <em> texto </em> </section>

125 SGML DTD (Document Type Definition) Descrição dos elementos possíveis num documento e das relações entre essas estruturas Um DTD especifica Os identificadores genéricos (GI) dos elementos permitidos para um documento deste tipo Para cada GI, os atributos, gama de valores e valores por omissão Um DTD não especifica Qualquer modo de formatação, apresentação ou outro tipo de processamento

126 HTML HTML (HyperText Markup Language) Adoptado como norma de facto no WWW Versão simplificada/degenerada de SGML Tipo de documento (DTD) conforme a norma SGML Versão recomendada 4.0 (W3C), em evolução para XHTML (HTML baseado em XML)

127 XML XML (extensible Markup Language) W3C (WWW Consortium) Meta-linguagem para definição de linguagens de markup (e.g. HTML) Conformidade e interoperabilidade com SGML Permitir que SGML genérico seja manipulado na WWW Compromisso entre rigidez/simplicidade de HTML e flexibilidade/complexidade SGML

128 XML Documento XML Estrutura lógica: Declarações, elementos, comentários, referências a caracteres, instruções de processamento (markup) Estrutura física: Unidades que podem referenciar outras unidades a inserir no documento (entities) Marcas (markup): start-tags, end-tags, empty elements, character references, comments, document type declarations, processing instructions

129 Tempo Variável fundamental em aplicações multimédia Dados dependentes do tempo (vídeo, áudio, animação) Modelação Características cognitivas da informação temporal Ilusões criadas por manipulação do tempo Suportado ao nível dos modelos, de bibliotecas e de ferramentas Classes media derivam de classe de modelação do tempo Composição no tempo: método de construção de aplicações (apresentações) multimédia

130 Dependências Temporais Dependências temporais da informação multimédia: Static Discrete Transient Natural or Implied Synthetic Continuous Persistent Live Stored Data no time dependency single element ephemeral real-world time dependencies artificially created time dependencies playout is contiguous in time maintained in a database data originate inreal time data originate from prerecorded storage

131 Modelos do Tempo Entidades temporais básicas: Noção de evento ou ocorrência com duração (intervalo) por oposição ao instante. Analogia com as janelas nos modelos espaciais de interfaces gráficas. Tempo contínuo ou discreto: Representação computacional é (habitualmente) discreta, mais simples de gerir, modelação de instantes é igual a modelação de intervalos. Tempo absoluto ou relativo: Tempo relativo permite relações do tipo antes e depois. Linearidade do tempo: Capacidade para modelar tempo periódico, acontecimentos repetidos ao longo do tempo. Relaçoes entre intervalos: Definidas por Allen em 83...

132 Relações entre Intervalos X before Y X Y X starts Y X X equal Y X finishes Y X Y Y X Y X meets Y X Y X overlaps Y X during Y X X Y [Allen83] 13 Relações, 7 representadas e as inversas Y

133 Transformações temporais transformado scale invert transformado translate original Tempo

134 Projecção de tempo virtual para real (apresentação) Tempo Real Tempo Virtual

135 Modelos de Sincronização Sincronização hierárquica: Objectos multimédia organizados numa árvore constituída por nós que expressam uma organização sequencial ou simultânea das sub-árvores. Sincronização num eixo temporal (timeline): Os objectos são ligados a um eixo temporal que representa uma abstracção do tempo. Sincronização em pontos de referência: Relações entre objectos são especificadas de forma independente do tempo, através de mensagens associadas a pontos na progressão de cada objecto.

136 Linha temporal (Timeline)

137 Estrutura Hierárquica

138 Pontos de Referência Sincronização por eventos baseada nos conceitos de: Pontos de Referência: Pontos no espaço de coordenadas interno dos objectos sincronizáveis Elementos de Sincronização: Definem o que acontece quando é atingido um ponto de referência. A informação a manter inclui os objectos a notificar e as mensagens a enviar play() play() video1 audio1

139 HyTime HyTime (Hypermedia/Time-based Structuring Language), ISO 10744, 1991 Extensão ao SGML para hipertexto e hipermédia Descrição de ligações e de informação temporal em documentos Localização no tempo, espaço e quanta (e.g.,parágrafos) Definição de acontecimentos baseados no tempo Eventos Sequências de eventos, tempo virtual Funcionalidades divididas por módulos

140 HyTime (Divisão em Módulos)

141 HyTime (Módulos) Hyperlinks: Suporte a hiperligações de diferentes tipos Location Address: Localização dos objectos Simples, múltiplos, em listas, em árvores, espaços de nomes Measurement: Definição de medidas (posição e extensão de objectos) dependentes das aplicações Scheduling: Posicionamento dos objectos em relação a coordenadas temporais ou espaciais Tempo virtual, eventos, ordem de eventos, agrupamento de eventos, objectos maleáveis, estratégias de reconciliação,... Rendition: Definição dos parâmetros que controlam a apresentação dos objectos (visualização, audição, etc.) Wand (filtro de eventos), Baton (batuta, define o padrão de tempo)

142 HyTime (Documentos Téc.)

143 HyTime

144 Redefinir a noção de ligação

145 Composição Multimédia

146 Composição Hipermédia

147 Hipervídeo Hipermédia em que o tipo de informação dominante é vídeo Questões relevantes: Natureza dinâmica e processo narrativo do vídeo Aspectos estéticos e retóricos da integração com outros media Modelação do tempo (hiperligações) Sistemas relevantes: AHM (Amsterdam Hypermedia Model) KontikiMuseum HyperCafe

148 Exemplo

149 Aspectos estéticos e retóricos Documentos de diversos tipos têm que ser integrados, especialmente nas dimensões estéticas e retóricas [Liestøl, ECHT94] Importante evitar descontinuidades ao passar de um meio a outro Exemplo: Forma passiva/experiencial de ver vídeo para a leitura activa/reflexiva de um livro Resulta num conjunto de regras: Dimensão topográfica para o vídeo Atribuição de propriedades temporais ao texto Narração para reforçar o efeito de continuidade...

150 HyperCafe Café virtual, que integra um conjunto de situações/cenas nas quais é possível navegar [Sawhney96] ACM Hypertext

151 Conceitos (HyperCafe) Cena: Menor unidade do hipervídeo, sequência de imagens. Sequência narrativa: Um caminho (path) dinâmico através do conjunto de cenas. Ligações Temporais: Referência baseada no tempo entre diferentes cenas (um instante na cena de origem provoca apresentação do destino). Espacio-temporais: Zona espacial na cena de origem provoca apresentação de outra cena, a partir de um determinado instante.

152 Conceitos Cont.(HyperCafe) Oportunidades de ligação Temporais: Pequenas sequências de vídeo referentes a cenas destino, numa cena de origem, que são apresentadas durante um determinado período, em pontos específicos no tempo. Espaciais: Uma zona espacial dinâmica na fonte de vídeo que pode provocar a apresentação de diferentes nós de destino.

153 HyperCafe Temporal Hypertext Intruding on a Scene Temporal Opportunity as a Video-based Preview Spatio-Temporal Opportunities in a Scene

154 MediaLoom

155 Computação Multimédia Sistemas de Autoria

156 Sistemas de Autoria Programas para o desenvolvimento de títulos multimédia interactivos São essencialmente ferramentas de integração de diferentes materiais (texto, imagem, áudio, vídeo) Combinam conceitos das linguagens tradicionais com ambientes visuais de programação Prototipagem rápida Algumas métricas... Em geral, usar um sistema de autoria para desenvolver uma aplicação toma 1/8 do tempo necessário para o desenvolvimento com linguagens tradicionais

157 Processo de Desenvolvimento Director, ToolBook, Authorware,... CD-ROM, DVD, Web,...

158 Metáforas/Paradigmas Define os elementos e a metodologia usados na construção dos títulos. Alguns exemplos: Linguagens de script Slide Show (PowerPoint) Ícones/Controlo de fluxo Cartões/Scripting/Livro Pauta/Teatro/Cinema...combinações dos anteriores

159 Linguagens de Script É o paradigma mais semelhante às linguagens tradicionais Especificação textual dos elementos multimédia, sequência, sincronização, etc. Baseadas num modelo de objectos, com eventos/respostas a eventos e mensagens Normalmente interpretadas e por isso não implica necessariamente mais rapidez relativamente aos outros paradigmas Exemplos (integrados): Lingo (Director), Openscript (ToolBook)

160 Icones/Controlo de fluxo Menu de objectos e de funções do programa Representados no espaço de trabalho como icones Processo de desenvolvimento mais rápido Execução mais lenta pois cada primitiva de programação é avaliada para todas as possibilidades (optimizado nalguns casos) Exemplos: IconAuthor, Authorware

161 IconAuthor

162 Authorware

163 Cartões/Scripting/Livro Estrutura bem definida, mas por vezes demasiado rígida: Cartões Livro Deriva dos modelos/aplicações de hipertexto Normalmente extensível através de DLLs ou mecanismos semelhantes A combinação com as linguagens de scripting torna-os bastantes eficazes para prototipagem Exemplos: HyperCard, ToolBook

164 Pauta/Teatro/Cinema Os elementos sincronizados são alinhados em diversas pistas (tracks) horizontais Utilizados para animação ou outras aplicações com requisitos temporais Comportamento de cada objecto programado com linguagens de script Extensíveis tal como no caso anterior (DLLs, XOBJs, XCMDs) Exemplo: Action, Director

165 Director Cast Stage Score

166 ToolBook O conceito fundamental é o livro, dividido em páginas que correspondem aos ecrãs da aplicação. As páginas são visualizadas em viewers. As páginas contêm campos, botões, etc. Cada página poder ter objectos diferentes ou partilhar objectos entre várias páginas colocandoos num background comum.