A maneira mais comum de medir isso \u00e9 usando o erro quadr\u00e1tico m\u00e9dio (MSE), que \u00e9 calculado da seguinte forma:<\/span><\/p>\n MSE = (1\/n)*\u03a3(y i<\/sub> \u2013 f(x i<\/sub> )) 2<\/sup><\/span><\/p>\n Ouro:<\/span><\/p>\n Quanto mais pr\u00f3ximas as previs\u00f5es do modelo estiverem das observa\u00e7\u00f5es, menor ser\u00e1 o MSE.<\/span><\/p>\n Na pr\u00e1tica, usamos o seguinte processo para calcular o MSE de um determinado modelo:<\/span><\/p>\n 1.<\/strong> Divida um conjunto de dados em conjunto de treinamento e conjunto de teste.<\/span><\/p>\n 2.<\/strong> Crie o modelo usando apenas os dados do conjunto de treinamento.<\/span><\/p>\n 3.<\/strong> Use o modelo para fazer previs\u00f5es sobre o conjunto de testes e medir o MSE do teste.<\/span><\/p>\n Os testes MSE nos d\u00e3o uma ideia do desempenho de um modelo em dados nunca vistos antes. No entanto, a desvantagem de usar um \u00fanico conjunto de testes \u00e9 que o teste MSE pode variar significativamente dependendo das observa\u00e7\u00f5es utilizadas nos conjuntos de treinamento e teste.<\/span><\/p>\n Uma maneira de evitar esse problema \u00e9 ajustar um modelo v\u00e1rias vezes usando um conjunto de treinamento e teste diferente a cada vez e, em seguida, calcular o MSE de teste como a m\u00e9dia de todos os MSEs de teste.<\/span><\/p>\n Este m\u00e9todo geral \u00e9 conhecido como valida\u00e7\u00e3o cruzada e uma forma espec\u00edfica dele \u00e9 conhecida como valida\u00e7\u00e3o cruzada k-fold<\/b> .<\/span><\/p>\n A valida\u00e7\u00e3o cruzada K-fold<\/strong> usa a seguinte abordagem para avaliar um modelo:<\/span><\/p>\n Etapa 1: divida aleatoriamente um conjunto de dados em k<\/em> grupos, ou \u201cdobras\u201d, de tamanho aproximadamente igual.<\/strong><\/span> <\/p>\n Passo 2: Escolha uma das dobras como conjunto de fixa\u00e7\u00e3o. Ajuste o modelo \u00e0s dobras k-1 restantes. Calcule o teste MSE nas observa\u00e7\u00f5es da camada que foi tensionada.<\/strong><\/span> <\/p>\n Etapa 3: Repita esse processo k<\/em> vezes, cada vez usando um conjunto diferente como conjunto de exclus\u00e3o.<\/strong><\/span> <\/p>\n Etapa 4: Calcule o MSE geral do teste como a m\u00e9dia dos k<\/em> MSEs do teste.<\/strong><\/span><\/p>\n Teste MSE = (1\/k)*\u03a3MSE i<\/sub><\/strong><\/span><\/p>\n Ouro:<\/span><\/p>\n Em geral, quanto mais dobras usarmos na valida\u00e7\u00e3o cruzada k-fold, menor ser\u00e1 o vi\u00e9s do teste MSE, mas maior ser\u00e1 a vari\u00e2ncia. Por outro lado, quanto menos dobras usarmos, maior ser\u00e1 o vi\u00e9s, mas menor ser\u00e1 a vari\u00e2ncia. Este \u00e9 um exemplo cl\u00e1ssico da compensa\u00e7\u00e3o entre polariza\u00e7\u00e3o e vari\u00e2ncia<\/a> no aprendizado de m\u00e1quina.<\/span><\/p>\n Na pr\u00e1tica, geralmente optamos por utilizar entre 5 e 10 folhas. Conforme observado em Uma introdu\u00e7\u00e3o ao aprendizado estat\u00edstico<\/em> ,<\/a> foi demonstrado que esse n\u00famero de dobras fornece um equil\u00edbrio ideal entre vi\u00e9s e vari\u00e2ncia e, portanto, fornece estimativas confi\u00e1veis do MSE do teste:<\/span><\/p>\n Para resumir, h\u00e1 uma compensa\u00e7\u00e3o entre vi\u00e9s e vari\u00e2ncia associada \u00e0 escolha de k na valida\u00e7\u00e3o cruzada k-fold.<\/span><\/p>\n Normalmente, dadas essas considera\u00e7\u00f5es, realiza-se valida\u00e7\u00e3o cruzada k-fold usando k = 5 ou k = 10, j\u00e1 que esses valores foram empiricamente demonstrados como produzindo estimativas de taxa de erro de teste que n\u00e3o sofrem nem vi\u00e9s excessivamente alto nem vari\u00e2ncia muito alta.<\/span><\/p>\n -P\u00e1gina 184, Uma introdu\u00e7\u00e3o ao aprendizado estat\u00edstico<\/em><\/span><\/p>\n<\/blockquote>\n Quando dividimos um conjunto de dados em um \u00fanico conjunto de treinamento e um \u00fanico conjunto de teste, o MSE de teste calculado nas observa\u00e7\u00f5es no conjunto de teste pode variar significativamente dependendo das observa\u00e7\u00f5es usadas nos conjuntos de treinamento e teste.<\/span><\/p>\n Usando a valida\u00e7\u00e3o cruzada k-fold, podemos calcular o teste MSE usando diversas varia\u00e7\u00f5es diferentes de conjuntos de treinamento e teste. Isto nos d\u00e1 uma chance muito maior de obter uma estimativa imparcial do MSE do teste.<\/span><\/p>\n A valida\u00e7\u00e3o cruzada K-fold tamb\u00e9m fornece uma vantagem computacional sobre a valida\u00e7\u00e3o cruzada Leave-One-Out (LOOCV)<\/a> porque ela s\u00f3 precisa ajustar um modelo k<\/em> vezes em vez de n<\/em> vezes.<\/span><\/p>\n Para modelos que demoram muito para serem ajustados, a valida\u00e7\u00e3o cruzada de k dobras pode calcular o MSE de teste muito mais r\u00e1pido que o LOOCV e, em muitos casos, o MSE de teste calculado por cada abordagem ser\u00e1 bastante semelhante se voc\u00ea usar um n\u00famero suficiente de dobras.<\/span><\/p>\n Existem v\u00e1rias extens\u00f5es para valida\u00e7\u00e3o cruzada k-fold, incluindo:<\/span><\/p>\n Valida\u00e7\u00e3o cruzada k-fold repetida:<\/strong> \u00e9 aqui que a valida\u00e7\u00e3o cruzada k-fold \u00e9 simplesmente repetida n<\/em> vezes. Sempre que os conjuntos de treinamento e teste s\u00e3o misturados, isso reduz ainda mais o vi\u00e9s na estimativa do MSE do teste, embora demore mais para ser conclu\u00eddo do que a valida\u00e7\u00e3o cruzada k-fold comum.<\/span><\/p>\n Valida\u00e7\u00e3o cruzada Leave-One-Out:<\/strong> Este \u00e9 um caso especial de valida\u00e7\u00e3o cruzada k-fold em que k<\/em> = n<\/em> . Voc\u00ea pode aprender mais sobre esse m\u00e9todo aqui<\/a> .<\/span><\/p>\n\n
Valida\u00e7\u00e3o cruzada K-Fold<\/strong><\/span><\/h3>\n
![\"Divida](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/kfold1.png\")
<\/p>\n![\"valida\u00e7\u00e3o](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/kfold2.png\")
<\/p>\n![\"Exemplo](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/kfold3.png\")
<\/p>\n\n
Como escolher K<\/strong><\/span><\/h3>\n
\n
Benef\u00edcios da valida\u00e7\u00e3o cruzada K-Fold<\/strong><\/span><\/h3>\n
Extens\u00f5es de valida\u00e7\u00e3o cruzada K-Fold<\/strong><\/span><\/h3>\n