Computação Gráfica. GLSL - Introdução e Programação da Aplicação OpenGL

Transcrição

1 Computação Gráfica GLSL - Introdução e Programação da Aplicação OpenGL António nio Ramires Fernandes - Multimédia

2 Evolução do Hardware Gráfico PCs Controladores VGA (Video Graphics Array) Introduzido em 1987 pela IBM Todo o esforço computacional é realizado pelo CPU. O VGA é utilizado somente como frame buffer. DI-UM Multimédia 2

3 Evolução do Hardware Gráfico PCs GPU (Graphics Processing Unit) Termo introduzido pela nvidia em 1990 quando o termo VGA já não descrevia correctamente o hardware gráfico. DI-UM Multimédia 3

4 Evolução do Hardware Gráfico PCs 1ª Geração de GPUs até 1998 (nvidia TNT2, ATI Rage) Interpolação: capacidade para calcular os pixels a partir dos vértices de um triângulo e aplicar texturas. DI-UM Multimédia 4

5 Evolução do Hardware Gráfico PCs 2ª Geração de GPUs (GeForce 256, GF 2, Radeon 7500) Transformação de Vértices Cálculo de Iluminação (por vértice) DI-UM Multimédia 5

6 Evolução do Hardware Gráfico PCs 3ª Geração de GPUs 2001 (GeForce 3 e 4, Radeon 8500) Programação ao nível dos vértices DI-UM Multimédia 6

7 Evolução do Hardware Gráfico PCs 4ª Geração de GPUs (GeForce FX, ATI Radeon 9700) Programação ao nível do pixel. DI-UM Multimédia 7

8 GLSL Sumário Pipeline Gráfico Fixo Pipeline Gráfico Programável Vertex Processor Fragment Processor GLSL do Ponto de Vista da Aplicação OpenGL DI-UM Multimédia 8

9 GLSL Sumário Pipeline Gráfico Fixo Pipeline Gráfico Programável Vertex Processor Fragment Processor GLSL do Ponto de Vista da Aplicação OpenGL DI-UM Multimédia 9

10 Pipeline Gráfico Vertex Connectivity Vertices Vertex Transformation Transformed Vertices Primitive Assembly and Rasterization Pixel Positions Fragments Pixel Updates Raster Operations Colored Fragments Fragment Texturing and Coloring DI-UM Multimédia 10

11 Pipeline Gráfico Vertex Transformation Dados de entrada: Vértices com as coordenadas tal como especificadas na aplicação, e outros atributos como normais, cores, coordenadas de textura. Estado do OpenGL Operações: Transformação do vértice de acordo com as matrizes ModelView e Projection; Transformação de normais; Iluminação do vértice; Geração/Transformação das coordenadas de textura. DI-UM Multimédia 11

12 Pipeline Gráfico Primitive Assembly Dados de entrada: Vértices transformados Informação de conectividade (GL_TRIANGLE, GL_QUAD,...) Operações: Construção de primitivas gráficas com vértices já transformados Clipping contra view frustum Back face culling Early Z culling DI-UM Multimédia 12

13 Pipeline Gráfico Rasterization Dados de Entrada Primitivas construídas na fase anterior Operações determina o conjunto de pixels cobertos por uma primitiva geométrica Para cada pixel é calculado o seu conjunto de atributos por interpolação dos atributos dos vértices da primitiva Resultado: conjunto de fragmentos DI-UM Multimédia 13

14 Pipeline Gráfico Rasterization (2) Pixel vs. Fragment Pixel representa o conteúdo do frame buffer numa determinada posição: cor, profundidade, localização,... Fragmento: pixel potencial + atributos. DI-UM Multimédia 14

15 Pipeline Gráfico Texturização e Cor Os dados de entrada desta fase são os valores interpolados na fase anterior para cada fragmento Nesta fase aplicam-se as texturas e calcula-se a cor do fragmento. DI-UM Multimédia 15

16 Pipeline Gráfico Raster Operations Dados de entrada Localização do pixel fragmentos processados (cor e profundidade) Operações Teste de scissor, alpha, stencil, profundidade (sem early Z cull) Operações de blending: combina a cor do fragmento com a cor do pixel existente no color buffer DI-UM Multimédia 16

17 Resumo Visual Pipeline Gráfico LINE( ); TRIANGLE( ) Vertices Geom. Ops. Transf. Vertices Connectivity information Assembly Colored Fragments Fragments Raster Interpolation DI-UM Multimédia 17

18 GLSL Sumário Pipeline Gráfico Fixo Pipeline Gráfico Programável Vertex Processor Fragment Processor GLSL do Ponto de Vista da Aplicação OpenGL DI-UM Multimédia 18

19 Pipeline Programavel Vertex Connectivity Vertices Vertex Transformation Transformed Vertices Primitive Assembly and Rasterization Pixel Positions Fragments Pixel Updates Raster Operations Colored Fragments Fragment Texturing and Coloring DI-UM Multimédia 19

20 Pipeline Programável Vertex Connectivity Vertices Vertex Processor Transformed Vertices Primitive Assembly and Rasterization Pixel Positions Fragments Pixel Updates Raster Operations Colored Fragments Fragment Processor DI-UM Multimédia 20

21 GLSL - Vertex Processor Unidade programável que opera em vértices e nos dados associados (normais, coordenadas de textura,...) Esta unidade é responsável por operações como por exemplo: Transformação de vértices (matrizes modelview e projection) Transformação de normais e sua normalização Geração de coordenadas de textura Transformação de coordenadas de textura Iluminação Cálculo de material DI-UM Multimédia 21

22 GLSL - Vertex Processor Programas que correm nesta unidade são vertex shaders. Um vertex shader substitui toda a funcionalidade do pipeline fixo logo tem de implementar todas as operações desejadas......i.e. não é possível ter um vertex shader para transformar as coordenadas do vértice e ter a iluminação calculada pela componente fixa. DI-UM Multimédia 22

23 GLSL - Vertex Processor Este processador opera num vértice de cada vez, isoladamente, e sem conhecimento dos restantes vértices. Um vertex shader deve obrigatoriamente calcular uma posição e, opcionalmente, cor e outros atributos. O processador tem acesso ao estado do OpenGL actual, assim como algumas variáveis pré-calculadas pelo próprio OpenGL. O vertex processor não tem acesso ao framebuffer, mas pode aceder a texturas. DI-UM Multimédia 23

24 GLSL - Fragment Processor Unidade programável que opera em fragmentos. Esta unidade é responsável por operações como por exemplo: Operações sobre valores interpolados (cores, normais, coordenadas de textura) Acesso a texturas Aplicação de texturas Cálculo de Nevoeiro Cálculo da cor DI-UM Multimédia 24

25 GLSL - Fragment Processor Programas que correm nesta unidade são fragment shaders. Um fragment shader substitui toda a funcionalidade do pipeline fixo logo tem de implementar todas as operações desejadas......i.e. não é possível ter um fragment shader para aceder a texturas e ter o nevoeiro calculada pela componente fixa. DI-UM Multimédia 25

26 GLSL - Fragment Processor Este processador opera num fragmento de cada vez, isoladamente, e sem conhecimento dos fragmentos vizinhos. Um fragment shader pode calcular cor e/ou profundidade ou alternativamente "descartar" o fragmento. O processador tem acesso ao estado do OpenGL actual, assim como algumas variáveis pré-calculadas pelo próprio OpenGL. O fragment shader não pode alterar a coordenada (x,y) do pixel a escrever. DI-UM Multimédia 26

27 GLSL Sumário Pipeline Gráfico Fixo Pipeline Gráfico Programável Vertex Processor Fragment Processor GLSL do Ponto de Vista da Aplicação OpenGL DI-UM Multimédia 27

28 GLSL - Aplicação OpenGL Uma aplicação pode substituir a funcionalidade fixa relativamente aos vértices e/ou aos fragmentos, não sendo obrigada a implementar os dois. Para cada shader é necessário proceder a uma compilação. Depois de compilados os shaders são incorporados num programa que depois será linkado. DI-UM Multimédia 28

29 GLSL - Aplicação OpenGL OpenGL Setup Program Vertex Shader glcreateshader glshadersource glcompileshader glcreateprogram glattachshader glattachshader gllinkprogram Fragment Shader glcreateshader glshadersource glcompileshader gluseprogram DI-UM Multimédia 29

30 GLSL - Aplicação OpenGL Protótipos de funções: GLuint glcreateshader (enum type) Devolve um handler para o shader Recebe como parâmetro o tipo de shader: GL_VERTEX_SHADER GL_FRAGMENT_SHADER DI-UM Multimédia 30

31 GLSL - Aplicação OpenGL Protótipos de funções: GLuint glshadersource(uint shader, sizei count, const char **string, const int *length) shader: O shader ao qual se destina o código. Este valor é o devolvido pela função CreateShader. count: número de strings string: array de strings length: dimensão de cada string, ou NULL, no caso das strings serem terminadas com '\0'. DI-UM Multimédia 31

32 GLSL - Aplicação OpenGL Protótipos de funções: void glcompileshader(uint shader) O resultado da compilação pode ser inquirido através da função GetShaderiv. Os detalhes encontram-se no infolog associado a cada shader. DI-UM Multimédia 32

33 GLSL - Aplicação OpenGL Protótipos de funções: uint glcreateprogram() Devolve um handler para um Program Object. DI-UM Multimédia 33

34 GLSL - Aplicação OpenGL Protótipos de funções: void glattachshader(uint program, uint shader) Função que liga um shader a um programa. Um programa pode ter vários shaders do mesmo tipo, no entanto só um deles pode ter uma função main. Um shader pode também estar associado a vários programas. Esta operação não necessita de ser realizada com um shader compilado, ou até com código, podendo ser efectuada com um shader recém-criado. DI-UM Multimédia 34

35 GLSL - Aplicação OpenGL Protótipos de funções: void gllinkprogram (uint programa) Realiza a operação sobre os shaders ligados ao programa. O estado da operação pode ser consultado através da função GetProgramiv. Os detalhes encontram-se no infolog associado a cada programa. DI-UM Multimédia 35

36 GLSL - Aplicação OpenGL Protótipos de funções: void gluseprogram (uint programa) Se (programa!= 0) a funcionalidade das componentes programáveis passa a ser determinado pelo programa. Se (programa == 0) o sistema gráfico passa a utilizar a funcionalidade fixa DI-UM Multimédia 36

37 GLSL - Aplicação OpenGL Notas: Um programa pode incluir somente um tipo de shader, por exemplo só incluir vertex shader. Nestes casos para o shader omisso será utilizada a funcionalidade fixa. Depois de um programa estar "linkado", pode-se alterar o código dos shaders, e até compilá-los novamente, sem que isso altere o shader. Se um programa estiver a ser utilizado, ao realizar link de novo, substitui-se o programa actual (caso a operação de link tenha sucesso). DI-UM Multimédia 37

38 GLSL - Aplicação OpenGL Código para criação de shaders GLuint v,f; v = glcreateshader (GL_VERTEX_SHADER); f = glcreateshader (GL_FRAGMENT_SHADER); vs = textfileread("stripes.vert"); fs = textfileread("stripes.frag"); glshadersource (v, 1, &vs,null); glshadersource (f, 1, &fs,null); glcompileshader (v); glcompileshader (f); DI-UM Multimédia 38

39 GLSL - Aplicação OpenGL Construção do programa... p = glcreateprogram (); glattachshader(p,v); glattachshader(p,f); gllinkprogram (p); gluseprogram(p); DI-UM Multimédia 39

40 GLSL - Aplicação OpenGL Protótipos de funções: void gldetachshader(gluint prog, GLuint shader); Desliga o shader do programa void gldeleteshader (GLuint shader); Liberta os recursos do shader. Esta operação é realizada imediatamente caso o shader não esta ligado a nenhum programa. Caso contrário o shader só será apagado quando não estiver ligado a nenhum programa. DI-UM Multimédia 40

41 GLSL - Aplicação OpenGL Análise dos resultados da compilação e link void glgetshaderiv(gluint object, GLenum type, int *param); Parameters: object - the handler to the object. Either a shader or a program type - GL_COMPILE_STATUS. param - the return value, GL_TRUE if OK, GL_FALSE otherwise. void glgetprogramiv(gluint object, GLenum type, int *param); Parameters: object - the handler to the object. Either a shader or a program type - GL_LINK_STATUS. param - the return value, GL_TRUE if OK, GL_FALSE otherwise. DI-UM Multimédia 41

42 GLSL - Aplicação OpenGL InfoLog A cada shader ou programa está associado um log, com mensagens sobre o processo de compilação ou link, respectivamente. Através deste log, para alem de ser possível detectar se as operações ocorreram sem erros, ainda pode ser dada informação relativamente à capacidade do hardware para executar o shader. DI-UM Multimédia 42

43 GLSL - Aplicação OpenGL InfoLog A seguinte função dá acesso ao texto do log: void glgetshaderinfolog(gluint object, int maxlen, int *len, char *log); void glgetprograminfolog(gluint object, int maxlen, int *len, char *log); Para determinar o parâmetro infologlength invoca-se a seguinte função: void glgetshaderiv(gluint object, GLenum type, int *param); void glgetprogramiv(gluint object, GLenum type, int *param); DI-UM Multimédia 43

44 GLSL - Aplicação OpenGL Comunicação Aplicação -> Shader Os shaders podem ser parametrizados com valores a receber da aplicação. Estes parâmetros são de leitura para os shaders, i.e. os shaders não podem alterar o seu valor. Existem duas categorias para estes valores: Uniform Attribute DI-UM Multimédia 44

45 GLSL - Aplicação OpenGL Parâmetros Uniform São parâmetros que não variam ao longo da primitiva, ou seja, não devem ser modificados entre glbegin e glend. Ex: Posição da luz, índice de refracção, etc... DI-UM Multimédia 45

46 GLSL - Aplicação OpenGL Parâmetros Uniform Setup: Determinar a sua "localização", ou seja um índice que nos permitirá posteriormente aceder ao parâmetro int loc = glgetuniformlocation (GLuint program, char *name); Utilização: Afectar o valor do parâmetro faz-se, por exemplo, através da seguinte função: void gluniform1f (loc, float a); DI-UM Multimédia 46

47 GLSL - Aplicação OpenGL Parâmetros Attribute São tipicamente parâmetros que podem variar por vértice, tal como acontece com normais, ou coordenadas de textura. Ex: A cada vértice pode estar associada uma velocidade. DI-UM Multimédia 47

48 GLSL - Aplicação OpenGL Parâmetros Attribute Setup: Determinar a sua "localização", ou seja um índice que nos permitirá posteriormente aceder ao parâmetro int loc = glgetattriblocation (GLuint program, char *name); Utilização: Afectar o valor do parâmetro é feito, por exemplo, através da seguinte função: glvertexattrib1f (loc, float a); DI-UM Multimédia 48

49 GLSL - Aplicação OpenGL Parâmetros Attribute: Exemplo glbegin(gl_triangle_strip); glvertexattrib1f(1,1.0); glvertex3f(1,2,3); glvertexattrib1f(1,2.0); glvertex3f(4,5,6);... glend(); DI-UM Multimédia 49

50 GLSL - Aplicação OpenGL Parâmetros Attribute: Vertex Arrays void draw() { glvertexpointer(3, GL_FLOAT, 0, verts); glcolorpointer (3, GL_FLOAT, 0, colors); glvertexattribpointer (VELOCIDADES, 3, GL_FLOAT, GL_FALSE, 0, velocities); glenableclientstate (GL_VERTEX_ARRAY); glenableclientstate (GL_COLOR_ARRAY); glenablevertexattribarray (VELOCIDADES); } gldrawarrays (GL_POINTS, 0, n); DI-UM Multimédia 50

51 GLSL - Aplicação OpenGL Parâmetros Attribute - Vertex Arrays Através da API é possível definir os valores para um atributo de um shader num vertex array, através da função: glvertexattribpointer (VELOCIDADES, 3, GL_FLOAT, GL_FALSE, 0, velocities); sendo VELOCIDADES o identificador do atributo e os restantes parâmetros idênticos à definição de um vertex array normal. O quarto parâmetro indica se os valores estão normalizados. DI-UM Multimédia 51

52 GLSL - Aplicação OpenGL Parâmetros Attribute - Vertex Arrays Tal como com os vertex arrays tradicionais é necessário activar o array através da função: glenablevertexattribarray (VELOCIDADES); Ao executar drawarrays, o vertex shader irá receber para cada vértice, o valor correspondente do array VELOCIDADES como atributo. DI-UM Multimédia 52

53 GLSL - Um Pequeno Exemplo Vertex Shader void main(void) { vec4 v = gl_vertex; v.z = sin(2.0*v.x)*0.5; } gl_position = gl_modelviewprojectionmatrix * v; Fragment Shader void main(void) { gl_fragcolor = vec4(0.8,0.3,0.3,1); } DI-UM Multimédia 53

54 GLSL - Bibliografia, Ferramentas "OpenGL Shading Language", Randi Rost, Addison-Wesley. Especificações: RenderMonkey developer.ati.com Shader Designer DI-UM Multimédia 54