Data: Validação:
A avaliação (quinzenal) do modelo de previsão COAWST (Coupled Ocean Atmosphere Wave Sediment Transport) é feita comparando os cálculos do modelo com dados de satélite fornecidos pela CMEMS (Copernicus Marine Environment Monitoring Service).
A resolução espacial mais detalhada do modelo é de 1x1 Km, obtida a partir da técnica de downscalling, sendo calculadas previsões para cada hora. A resolução espacial e temporal dos dados de satélite está dependente dos produtos utilizados (sem considerar interpolação e/ou tratamento para as comparações): • WIND_GLO_WIND_L4_NRT_OBSERVATIONS_012_004 - Parâmetros de vento de 6 em 6 horas com uma resolução espacial de 0.25ºx0.25º; • WAVE_GLO_WAV_L4_SWH_NRT_OBSERVATIONS_014_003 - Altura significativa das ondas para cada dia (24 horas), com uma resolução espacial de 2ºx2º; • SST_GLO_SST_L4_NRT_OBSERVATIONS_010_001 - Temperatura de superfície do oceano diária com uma resolução espacial de 0.05ºx0.05º As observações meteorológicas fornecidas pelo IPMA (Instituto Português do Mar e da Atmosfera) são registadas a cada hora por estações instaladas por toda a ilha e estão representadas na figura abaixo, assim como a altitude, latitude e longitude. Os dados da boia ondógrafo são fornecidos pela APRAM (Administração dos Portos da Região Autónoma da Madeira). Os parâmetros são registados a cada hora a partir de uma estação localizada na costa sul da Ilha da Madeira (32°37,1'N Latitude, 16°56,5'W Longitude). Gráficos Q-Q são comummente usados para comparar um conjunto de dados independentes, tais como observações/medidas com resultados de modelos teóricos. Esta comparação pode fornecer uma avaliação gráfica da "qualidade de ajuste", ao invés de uma avaliação numérica, fornecida pelo cálculo dos parâmetros estatísticos (que também foi efetuada). Os gráficos Q-Q aqui representados comparam as medidas com os resultados do cálculo atmosférico (WRF), extraídos de pontos da malha do modelo representativos da localização onde se encontram instaladas as estações do IPMA. Porque o modelo atmosférico não assimila as observações os dois eixos do gráfico são independentes. Se as duas distribuições (gráfico e modelo) forem semelhantes, os pontos no gráfico Q-Q váo repousar perto da linha y=x. (Consultar o glossário na última opção para obter mais detalhes sobre os parâmetros estatísticos calculados e apresentados nas tabelas) |
Topografia e posição geográfica das estações do IPMA |
Comparação dos dados de direção (esquerda) e intensidade (direita) do vento obtidos por satélite com os resultados calculados pelo modelo num ponto a Norte da ilha, para o mesmo período temporal Comparação dos dados de direção (painel superior) e intensidade (painel inferior) do vento obtidos por satélite com os resultados calculados pelo modelo num ponto a Norte da ilha, para o mesmo período temporal |
Comparação dos dados de direção (esquerda) e intensidade (direita) do vento obtidos por satélite com os resultados calculados pelo modelo num ponto a Sul da ilha, para o mesmo período temporal Comparação dos dados de direção (painel superior) e intensidade (painel inferior) do vento obtidos por satélite com os resultados calculados pelo modelo num ponto a Sul da ilha, para o mesmo período temporal |
Gráfico Q-Q comparando os dados de precipitação obtidos pelo IPMA com os resultados calculados pelo modelo (esquerda) e Estatíticas de erro (Bias, MAE e RMSE), coeficiente de correlação (R), indice de confiança (RI), e fator de eficiência (MEF) do modelo em relação aos dados de precipitação medidos pelo IPMA (direita). |
Gráfico Q-Q comparando os dados de temperatura obtidos pelo IPMA com os resultados calculados pelo modelo (esquerda) e Estatíticas de erro (Bias, MAE e RMSE), coeficiente de correlação (R), indice de confiança (RI), e fator de eficiência (MEF) do modelo em relação aos dados de temperatura medidos pelo IPMA (direita). |
Gráfico Q-Q comparando os dados de direção do vento obtidos pelo IPMA com os resultados calculados pelo modelo (esquerda); Estatíticas de erro (Bias, MAE e RMSE), coeficiente de correlação (R), indice de confiança (RI), e fator de eficiência (MEF) do modelo em relação aos dados de direção medidos pelo IPMA (direita). |
Gráfico Q-Q comparando os dados de intensidade do vento obtidos pelo IPMA com os resultados calculados pelo modelo (esquerda); Estatíticas de erro (Bias, MAE e RMSE), coeficiente de correlação (R), indice de confiança (RI), e fator de eficiência (MEF) do modelo em relação aos dados de intensidade medidos pelo IPMA (direita) |
Sobreposição dos dados de altura significativa das ondas obtidas do satélite com os dados calculados pelo modelo para o mesmo instante de tempo (esquerda); Comparação dos dados de altura significativa das ondas obtidos do satélite com os resultados calculados pelo modelo num ponto a norte da ilha (assinalado a vermelho no mapa) para o mesmo período temporal (direita) |
Sobreposição dos dados de temperatura de superfície obtidos do satélite com os dados obtidos no modelo para o mesmo instante de tempo. Pontos a vermelho (N e S) usados na comparação temporal dos gráficos seguintes. |
Comparação dos dados de temperatura de superfície obtidos do satélite com os resultados calculados pelo modelo num ponto a Norte (esquerda) e a Sul (direita) da ilha, para o mesmo período temporal. |
Bias (Mean Bias Error) é o erro médio e agrega as diferenças entre os dados calculados pelo modelo e os observados. Valores próximos de zero são indicadores positivos, no entanto é importante notar que a soma dos erros positivos e negativos podem anular-se.
\[Bias = {1 \over N} \sum_{i=1}^N (F_{k} - O_{k}) \]
MAR (Mean Absolute Error) é o erro absoluto médio entre os valores calculados pelo modelo e os observados. MAE mede o erro médio considerando a magnitude absoluta, ou seja, quanto mais próximo de zero mais realista será o modelo
\[MAE = {1 \over N} \sum_{i=1}^N |F_{k} - O_{k}| \]
RMSE(Root Mean Square Error) é o erro quadrático absoluto médio entre o modelo e os dados observados. Tem a finalidade de comparar estimativas. A maior eficácia do modelo é representada pelos valores de menor variância
\[RMSE^{2} = {1 \over N} \sum_{i=1}^N (F_{k} - O_{k})^{2} \]
R (Pearson correlation coefficient) é o coeficiente de correlação entre o modelo e as observações. Os valores podem variar entre -1 e 1. Os valores negativos indicam que os valores médios e os modelados têm uma tendência inversa. Uma correlação absoluta é representada por um R=1
\[R = \frac {\sum_{k=1}^N (O_{k} - \bar{O})(F_{k} - \bar{F})} {\sqrt{\sum_{k=1}^N (O_{k} - \bar{O})^{2} \sum_{k=1}^n (F_{k} - \bar{F})^{2}}} \]
RI (Reliability Index) é um índice de confiança que calcula o quanto as revisões diferem das observações. Por exemplo, um RI de 2.0 indica que o modelo prevê as observações com um fator multiplicativo médio de 2. Idealmente o valore do RI deve ser próximo de 1
\[RI = exp \sqrt{ {1 \over N} \sum_{k=1}^N ( log(\frac {O_k} {F_k}) ^{2}} \]
MEF (Modeling Efficiency Factor) calcula a eficiência das previsões do modelo relativamente à média das observações. Um valor próximo de 1 indica uma correspondência próxima entre os dados observados e modelados
\[MEF = \frac {(\sum_{k=1}^N (O_{k} - \bar{O})^{2} - \sum_{k=1}^N (F_{k} - O_{k})^{2})} {\sum_{k=1}^N (O_{k} - \bar{O}_{k})^{2}} \]
N: Número total de amostras; F: Valores de Forecast; O: Valores Observados Para informações mais detalhadas, por favor consultar: Stow, C; Jolliff, J; McGillicuddy, DJ; Doney, SC; Allen, JI; Friedrichs, MAM; Rose, KA, Wallheadg, P. 2009 Skill assessment for coupled biological/physical models of marine systems. Journal of Marine Systems. https://doi.org/10.1016/j.jmarsys.2008.03.011 |