{"id":8378,"date":"2022-11-26T10:03:17","date_gmt":"2022-11-26T09:03:17","guid":{"rendered":"https:\/\/www.ibidem-translations.com\/edu\/?p=8378"},"modified":"2023-02-13T20:49:48","modified_gmt":"2023-02-13T19:49:48","slug":"aprendizaje-multitarea-redes-neuronales-profundas","status":"publish","type":"post","link":"https:\/\/www.ibidem-translations.com\/edu\/aprendizaje-multitarea-redes-neuronales-profundas\/","title":{"rendered":"El aprendizaje multitarea en redes neuronales profundas"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\" style=\"text-align:center\"><span style=\"color:#0693e3\" class=\"color\"> A Spanish translation reviewed &amp; postedited by Chema, a Spain-based translation student specializing in&nbsp;<\/span><a href=\"https:\/\/www.ibidem-translations.com\/spanish.php\"><span style=\"color:#0693e3\" class=\"color\">English to Spanish translations<\/span><\/a><span style=\"color:#0693e3\" class=\"color\"><\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\" style=\"text-align:center\"><span style=\"color:#0693e3\" class=\"color\">An original text written by Sebastian Ruder,\u00a0originally published in <br><\/span><a href=\"https:\/\/www.ruder.io\/multi-task\/\"><span style=\"color:#0693e3\" class=\"color\">https:\/\/www.ruder.io\/multi-task\/<\/span><\/a><span style=\"color:#0693e3\" class=\"color\"><br><\/span><\/p>\n\n\n\n<p>&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">El aprendizaje multitarea es cada vez mas popular. Esta publicaci\u00f3n ofrece una descripci\u00f3n general del estado actual del aprendizaje multitarea. En particular, proporciona contexto para los m\u00e9todos actuales basados \u200b\u200ben redes neuronales al analizar la extensa literatura de aprendizaje multitarea.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Esta publicaci\u00f3n ofrece una descripci\u00f3n general del estado actual del aprendizaje multitarea.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Nota: Este art\u00edculo est\u00e1 tambi\u00e9n disponible en <a href=\"https:\/\/arxiv.org\/abs\/1706.05098\">arXiv<\/a>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">INDICE<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#introduction\">Introducci\u00f3n<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#motivation\">Motivaci\u00f3n<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#twomtlmethodsfordeeplearning\">Dos m\u00e9todos MTL para Deep Learning<\/a><ul><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#hardparametersharing\">Compartir par\u00e1metros duros<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#softparametersharing\">Compartir par\u00e1metros suaves<\/a><\/li><\/ul><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#whydoesmtlwork\">\u00bfPor qu\u00e9 funciona MTL?<\/a><ul><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#implicitdataaugmentation\">Aumento de datos impl\u00edcito<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#attentionfocusing\">centrando la atencion<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#eavesdropping\">escuchar a escondidas<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#representationbias\">Sesgo de representaci\u00f3n<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#regularization\">regularizaci\u00f3n<\/a><\/li><\/ul><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#mtlinnonneuralmodels\">MTL en modelos no neuronales<\/a><ul><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#blocksparseregularization\">Regularizaci\u00f3n de bloques escasos<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#learningtaskrelationships\">Relaciones de tareas de aprendizaje<\/a><\/li><\/ul><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#recentworkonmtlfordeeplearning\">Trabajo reciente sobre MTL para aprendizaje profundo<\/a><ul><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#deeprelationshipnetworks\">Redes de relaciones profundas<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fullyadaptivefeaturesharing\">Uso compartido de funciones totalmente adaptable<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#crossstitchnetworks\">Punto de Cruz Redes<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#lowsupervision\">Baja supervisi\u00f3n<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#ajointmanytaskmodel\">Un modelo conjunto de muchas tareas<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#weightinglosseswithuncertainty\">Ponderaci\u00f3n de p\u00e9rdidas con incertidumbre<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#tensorfactorisationformtl\">Tensorizaci\u00f3n factorial para MTL<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#sluicenetworks\">Redes de Esclusas<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#whatshouldishareinmymodel\">\u00bfQu\u00e9 debo compartir en mi modelo?<\/a><\/li><\/ul><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#auxiliarytasks\">Tareas auxiliares<\/a><ul><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#relatedtask\">Tarea relacionada<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#adversarial\">Adversario<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#hints\">Sugerencias<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#focusingattention\">Centrando la atenci\u00f3n<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#quantizationsmoothing\">Suavizado de cuantizaci\u00f3n<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#predictinginputs\">Entradas de predicci\u00f3n<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#usingthefuturetopredictthepresent\">Usar el futuro para predecir el presente<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#representationlearning\">Aprendizaje de representaci\u00f3n<\/a><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#whatauxiliarytasksarehelpful\">\u00bfQu\u00e9 tareas auxiliares son \u00fatiles?<\/a><\/li><\/ul><\/li><li><a href=\"https:\/\/ruder.io\/multi-task\/index.html#conclusion\">Conclusi\u00f3n<\/a><\/li><\/ul>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"introduction\">Introducci\u00f3n<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">En Machine Learning (ML), normalmente nos preocupamos por optimizar para una m\u00e9trica en particular, ya sea una puntuaci\u00f3n en un punto de referencia determinado o un KPI comercial.&nbsp;Para hacer esto, generalmente entrenamos un solo modelo o un conjunto de modelos para realizar la tarea deseada.&nbsp;Luego ajustamos y ajustamos estos modelos hasta que su rendimiento ya no aumenta.&nbsp;Si bien generalmente podemos lograr un rendimiento aceptable de esta manera, al concentrarnos en nuestra \u00fanica tarea, ignoramos la informaci\u00f3n que podr\u00eda ayudarnos a mejorar a\u00fan m\u00e1s la m\u00e9trica que nos interesa.&nbsp;Espec\u00edficamente, esta informaci\u00f3n proviene de las se\u00f1ales de entrenamiento de tareas relacionadas.&nbsp;Al compartir representaciones entre tareas relacionadas, podemos permitir que nuestro modelo generalice mejor nuestra tarea original.&nbsp;Este enfoque se llama aprendizaje multitarea (MTL) y ser\u00e1 el tema de esta publicaci\u00f3n de blog.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">El aprendizaje multitarea se ha utilizado con \u00e9xito en todas las aplicaciones de aprendizaje autom\u00e1tico, desde el procesamiento del lenguaje natural&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn1\">[1]<\/a><\/sup>&nbsp;y el reconocimiento de voz&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn2\">[2]<\/a><\/sup>&nbsp;hasta la visi\u00f3n artificial&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn3\">[3]<\/a><\/sup>&nbsp;y el descubrimiento de f\u00e1rmacos&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn4\">[4]<\/a><\/sup>&nbsp;.&nbsp;MTL se presenta de muchas formas: aprendizaje conjunto, aprender a aprender y aprender con tareas auxiliares son solo algunos nombres que se han utilizado para referirse a \u00e9l.&nbsp;En general, tan pronto como se encuentra optimizando m\u00e1s de una funci\u00f3n de p\u00e9rdida, est\u00e1 realizando efectivamente un aprendizaje de tareas m\u00faltiples (en contraste con el aprendizaje de una sola tarea).&nbsp;En esos escenarios, ayuda pensar en lo que est\u00e1 tratando de hacer expl\u00edcitamente en t\u00e9rminos de MTL y extraer ideas de ello.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Incluso si solo est\u00e1 optimizando una p\u00e9rdida como es el caso t\u00edpico, es probable que haya una tarea auxiliar que lo ayude a mejorar su tarea principal.&nbsp;Rich Caruana&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn5\">[5]<\/a><\/sup>&nbsp;resume el objetivo de MTL de manera sucinta: &#8220;MTL mejora la generalizaci\u00f3n al aprovechar la informaci\u00f3n espec\u00edfica del dominio contenida en las se\u00f1ales de entrenamiento de tareas relacionadas&#8221;.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">En el transcurso de esta publicaci\u00f3n de blog, intentar\u00e9 brindar una descripci\u00f3n general del estado actual del aprendizaje multitarea, en particular cuando se trata de MTL con redes neuronales profundas.&nbsp;Primero motivar\u00e9 a MTL desde diferentes perspectivas.&nbsp;Luego, presentar\u00e9 los dos m\u00e9todos empleados con m\u00e1s frecuencia para MTL en Deep Learning.&nbsp;Posteriormente, describir\u00e9 los mecanismos que juntos ilustran por qu\u00e9 MTL funciona en la pr\u00e1ctica.&nbsp;Antes de ver m\u00e9todos MTL basados \u200b\u200ben redes neuronales m\u00e1s avanzados, proporcionar\u00e9 algo de contexto al analizar la literatura en MTL.&nbsp;Luego, presentar\u00e9 algunos m\u00e9todos propuestos recientemente m\u00e1s potentes para MTL en redes neuronales profundas.&nbsp;Finalmente, hablar\u00e9 sobre los tipos de tareas auxiliares de uso com\u00fan y discutir\u00e9 qu\u00e9 hace que una buena tarea auxiliar para MTL.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"motivation\">Motivaci\u00f3n<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Podemos motivar el aprendizaje multitarea de diferentes maneras: Biol\u00f3gicamente, podemos ver el aprendizaje multitarea como inspirado por el aprendizaje humano.&nbsp;Para aprender nuevas tareas, a menudo aplicamos el conocimiento que hemos adquirido al aprender tareas relacionadas.&nbsp;Por ejemplo, un beb\u00e9 primero aprende a reconocer rostros y luego puede aplicar este conocimiento para reconocer otros objetos.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Desde una perspectiva pedag\u00f3gica, a menudo aprendemos tareas primero que nos brindan las habilidades necesarias para dominar t\u00e9cnicas m\u00e1s complejas.&nbsp;Esto es cierto tanto para aprender la forma correcta de&nbsp;<a href=\"https:\/\/www.youtube.com\/watch?v=NFPPrhxPFR4\">caer en las artes marciales, por ejemplo, Judo,<\/a>&nbsp;como para aprender a programar.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Tomando un ejemplo de la cultura pop, tambi\u00e9n podemos considerar&nbsp;<em>The Karate Kid<\/em>&nbsp;(1984) (gracias a&nbsp;<a href=\"http:\/\/m-mitchell.com\/publications\/multitask-blurb.html\">Margaret Mitchell<\/a>&nbsp;y&nbsp;<a href=\"https:\/\/twitter.com\/mmitchell_ai\/status\/849596878694096896\">Adrian Benton<\/a>&nbsp;por la inspiraci\u00f3n).&nbsp;En la pel\u00edcula, el&nbsp;<em>sensei<\/em>&nbsp;Sr. Miyagi le ense\u00f1a al ni\u00f1o del karate tareas aparentemente no relacionadas, como lijar el piso y encerar un autom\u00f3vil.&nbsp;En retrospectiva, estos, sin embargo, resultan equiparlo con habilidades invaluables que son&nbsp;<a href=\"https:\/\/www.youtube.com\/embed\/DsLk6hVBE6Y\">relevantes para aprender k\u00e1rate<\/a>&nbsp;.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Finalmente, podemos motivar el aprendizaje multitarea desde el punto de vista del aprendizaje autom\u00e1tico: podemos ver el aprendizaje multitarea como una forma de transferencia inductiva.&nbsp;La transferencia inductiva puede ayudar a mejorar un modelo al introducir un sesgo inductivo, lo que hace que un modelo prefiera algunas hip\u00f3tesis sobre otras.&nbsp;Por ejemplo, una forma com\u00fan de sesgo inductivo es\u21131\u21131regularizaci\u00f3n, lo que conduce a una preferencia por soluciones dispersas.&nbsp;En el caso de MTL, el sesgo inductivo lo proporcionan las tareas auxiliares, lo que hace que el modelo prefiera hip\u00f3tesis que expliquen m\u00e1s de una tarea.&nbsp;Como veremos en breve, esto generalmente conduce a soluciones que se generalizan mejor.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"twomtlmethodsfordeeplearning\">Dos m\u00e9todos MTL para Deep Learning<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Hasta ahora, nos hemos centrado en las motivaciones te\u00f3ricas para MTL.&nbsp;Para hacer que las ideas de MTL sean m\u00e1s concretas, ahora veremos las dos formas m\u00e1s utilizadas para realizar el aprendizaje multitarea en redes neuronales profundas.&nbsp;En el contexto del aprendizaje profundo, el aprendizaje multitarea generalmente se realiza con el intercambio de par\u00e1metros&nbsp;<em>duros<\/em>&nbsp;o&nbsp;<em>blandos<\/em>&nbsp;de capas ocultas.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"hardparametersharing\">Compartir par\u00e1metros duros<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">El intercambio de par\u00e1metros duros es el enfoque m\u00e1s utilizado para MTL en redes neuronales y se remonta a&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn6\">[6]<\/a><\/sup>&nbsp;.&nbsp;Generalmente se aplica compartiendo las capas ocultas entre todas las tareas, mientras se mantienen varias capas de salida espec\u00edficas de la tarea.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/ruder.io\/content\/images\/2017\/05\/mtl_images-001-2.png\" alt=\"\"\/><figcaption>Figura 1: Uso compartido de par\u00e1metros duros para el aprendizaje de tareas m\u00faltiples en redes neuronales profundas<\/figcaption><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">El intercambio estricto de par\u00e1metros reduce en gran medida el riesgo de sobreajuste.&nbsp;De hecho,&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn7\">[7]<\/a><\/sup>&nbsp;mostr\u00f3 que el riesgo de sobreajustar los par\u00e1metros compartidos es un orden N, donde N es el n\u00famero de tareas, menor que sobreajustar los par\u00e1metros espec\u00edficos de la tarea, es decir, las capas de salida.&nbsp;Esto tiene sentido intuitivamente: cuantas m\u00e1s tareas estamos aprendiendo simult\u00e1neamente, m\u00e1s nuestro modelo tiene que encontrar una representaci\u00f3n que capture todas las tareas y menor es nuestra posibilidad de sobreajustar nuestra tarea original.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"softparametersharing\">Compartir par\u00e1metros suaves<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">En el intercambio de par\u00e1metros suaves, por otro lado, cada tarea tiene su propio modelo con sus propios par\u00e1metros.&nbsp;A continuaci\u00f3n, se regulariza la distancia entre los par\u00e1metros del modelo para fomentar que los par\u00e1metros sean similares.&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn8\">[8]<\/a><\/sup>&nbsp;por ejemplo, use el\u21132\u21132norm para la regularizaci\u00f3n, mientras que&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn9\">[9]<\/a><\/sup>&nbsp;utiliza la norma de seguimiento.<\/p>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/ruder.io\/content\/images\/2017\/05\/mtl_images-002-1.png\" alt=\"\"\/><figcaption>Figura 2: Uso compartido de par\u00e1metros blandos para el aprendizaje multitarea en redes neuronales profundas<\/figcaption><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Las restricciones utilizadas para compartir par\u00e1metros blandos en redes neuronales profundas se han inspirado en gran medida en las t\u00e9cnicas de regularizaci\u00f3n para MTL que se han desarrollado para otros modelos, que pronto discutiremos.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"whydoesmtlwork\">\u00bfPor qu\u00e9 funciona MTL?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Aunque un sesgo inductivo obtenido a trav\u00e9s del aprendizaje multitarea parece intuitivamente plausible, para comprender mejor MTL, debemos observar los mecanismos que subyacen a \u00e9l.&nbsp;La mayor\u00eda de estos han sido propuestos por primera vez por Caruana (1998).&nbsp;Para todos los ejemplos, supondremos que tenemos dos tareas relacionadasAAyBB, que se basan en una representaci\u00f3n de capa oculta com\u00fanFF.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"implicitdataaugmentation\">Aumento de datos impl\u00edcito<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">MTL aumenta efectivamente el tama\u00f1o de la muestra que estamos usando para entrenar nuestro modelo.&nbsp;Como todas las tareas son al menos algo ruidosas, al entrenar a un modelo en alguna tareaAA, nuestro objetivo es aprender una buena representaci\u00f3n para la tareaAAque idealmente ignora el ruido dependiente de los datos y generaliza bien.&nbsp;Como diferentes tareas tienen diferentes patrones de ruido, un modelo que aprende dos tareas simult\u00e1neamente puede aprender una representaci\u00f3n m\u00e1s general.&nbsp;Aprender solo tareaAAcorre el riesgo de sobreajustarse a la tareaAA, mientras aprendeAAyBBconjuntamente permite que el modelo obtenga una mejor representaci\u00f3nFFmediante el promedio de los patrones de ruido.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"attentionfocusing\">Centrando la atencion<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Si una tarea es muy ruidosa o los datos son limitados y de gran dimensi\u00f3n, puede ser dif\u00edcil para un modelo diferenciar entre caracter\u00edsticas relevantes e irrelevantes.&nbsp;MTL puede ayudar al modelo a centrar su atenci\u00f3n en las caracter\u00edsticas que realmente importan, ya que otras tareas proporcionar\u00e1n evidencia adicional de la relevancia o irrelevancia de esas caracter\u00edsticas.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"eavesdropping\">Escuchar a escondidas<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Algunas caracteristicasGRAMOGRAMOson f\u00e1ciles de aprender para alguna tareaBB, mientras que es dif\u00edcil de aprender para otra tareaAA.&nbsp;Esto podr\u00eda deberse a queAAinteract\u00faa con las funciones de una manera m\u00e1s compleja o porque otras funciones impiden la capacidad de aprendizaje del modeloGRAMOGRAMO.&nbsp;A trav\u00e9s de MTL, podemos permitir que el modelo escuche a&nbsp;<em>escondidas<\/em>&nbsp;, es decir, aprendaGRAMOGRAMOa trav\u00e9s de la tareaBB.&nbsp;La forma m\u00e1s sencilla de hacerlo es a trav\u00e9s de&nbsp;<em>sugerencias&nbsp;<\/em><sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn10\">[10]<\/a><\/sup>&nbsp;, es decir, entrenando directamente el modelo para predecir las caracter\u00edsticas m\u00e1s importantes.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"representationbias\">Sesgo de representaci\u00f3n<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">MTL sesga el modelo para preferir representaciones que tambi\u00e9n prefieren otras tareas.&nbsp;Esto tambi\u00e9n ayudar\u00e1 al modelo a generalizarse a nuevas tareas en el futuro, ya que un espacio de hip\u00f3tesis que funciona bien para un n\u00famero suficientemente grande de tareas de entrenamiento tambi\u00e9n funcionar\u00e1 bien para aprender tareas novedosas siempre que sean del mismo entorno&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn11\">[11]<\/a><\/sup>&nbsp;.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"regularization\">Regularizaci\u00f3n<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Finalmente, MTL act\u00faa como un regularizador al introducir un sesgo inductivo.&nbsp;Como tal, reduce el riesgo de sobreajuste, as\u00ed como la complejidad Rademacher del modelo, es decir, su capacidad para ajustar el ruido aleatorio.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"mtlinnonneuralmodels\">MTL en modelos no neuronales<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Para comprender mejor MTL en redes neuronales profundas, ahora buscaremos en la literatura existente sobre MTL modelos lineales, m\u00e9todos kernel y algoritmos bayesianos.&nbsp;En particular, discutiremos dos ideas principales que han sido omnipresentes a lo largo de la historia del aprendizaje multitarea: hacer cumplir la escasez entre tareas a trav\u00e9s de la regularizaci\u00f3n de normas;&nbsp;y modelar las relaciones entre tareas.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Tenga en cuenta que muchos enfoques de MTL en la literatura tratan con un entorno homog\u00e9neo: asumen que todas las tareas est\u00e1n asociadas con una sola salida, por ejemplo, el conjunto de datos MNIST multiclase generalmente se presenta como 10 tareas de clasificaci\u00f3n binaria.&nbsp;Los enfoques m\u00e1s recientes se ocupan de un entorno m\u00e1s realista y heterog\u00e9neo en el que cada tarea corresponde a un conjunto \u00fanico de resultados.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"blocksparseregularization\">Regularizaci\u00f3n de bloques escasos<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Para conectar mejor los siguientes enfoques, primero introduzcamos algo de notaci\u00f3n.&nbsp;TenemosTTTareas.&nbsp;para cada tareatt, tenemos un modelometrotmetrotcon par\u00e1metrosatatde dimensionalidaddd.&nbsp;Podemos escribir los par\u00e1metros como un vector columnaat=[a1,t&nbsp;\u2026&nbsp;ad,t]\u22a4at=[a1,t&nbsp;\u2026&nbsp;ad,t]\u22a4.&nbsp;Ahora apilamos estos vectores de columnaa1,\u2026,aTa1,\u2026,aTcolumna por columna para formar una matrizA\u2208Rd\u00d7TA\u2208Rd\u00d7T.&nbsp;losii-\u00e9sima fila deAAentonces contiene el par\u00e1metroai,\u22c5ai,\u22c5correspondiente a laii-\u00e9sima caracter\u00edstica del modelo para cada tarea, mientras que eljj-\u00e9sima columna deAAcontiene los par\u00e1metrosa\u22c5,ja\u22c5,jcorrespondiente a lajj-\u00e9simo modelo.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Muchos m\u00e9todos existentes hacen algunas suposiciones de escasez con respecto a los par\u00e1metros de nuestros modelos.&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn12\">[12]<\/a><\/sup>&nbsp;asume que todos los modelos comparten un peque\u00f1o conjunto de caracter\u00edsticas.&nbsp;En t\u00e9rminos de nuestra matriz de par\u00e1metros de tareasAA, esto significa que todas menos unas pocas filas son00, lo que corresponde a solo unas pocas funciones que se utilizan en&nbsp;<em>todas las<\/em>&nbsp;tareas.&nbsp;Para hacer cumplir esto, generalizan la\u21131\u21131norma a la configuraci\u00f3n de MTL.&nbsp;Recuerda que el\u21131\u21131norma es una restricci\u00f3n en la suma de los par\u00e1metros, lo que obliga a que todos menos unos pocos par\u00e1metros sean exactamente00. . . .&nbsp;Tambi\u00e9n se le conoce como lazo (__l__east __a__absolute __s__hrinkage y __s__election __o__perator).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Mientras que en la configuraci\u00f3n de una sola tarea, el\u21131\u21131la norma se calcula en funci\u00f3n del vector de par\u00e1metrosatatde la tarea respectivatt, para MTL lo calculamos sobre nuestra matriz de par\u00e1metros de tareasAA.&nbsp;Para hacer esto, primero calculamos un\u2113q\u2113qnorma en cada filaaiaique contiene el par\u00e1metro correspondiente a laii-\u00e9sima caracter\u00edstica en todas las tareas, lo que produce un vectorb=[|a1|q\u2026|ad|q]\u2208Rdb=[|a1|q\u2026|ad|q]\u2208Rd.&nbsp;Luego calculamos el\u21131\u21131norma de este vector, que obliga a todas menos a unas pocas entradas debb, es decir filas enAAser &#8211; estar00.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Como podemos ver, dependiendo de la restricci\u00f3n que nos gustar\u00eda colocar en cada fila, podemos usar una diferente\u2113q\u2113q.&nbsp;En general, nos referimos a estas restricciones de norma mixta como\u21131\/\u2113q\u21131\/\u2113qnormas&nbsp;Tambi\u00e9n se conocen como regularizaci\u00f3n de bloques dispersos, ya que conducen a filas enteras deAAsiendo configurado para00.&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn13\">[13]<\/a><\/sup>&nbsp;uso\u21131\/\u2113\u221e\u21131\/\u2113\u221eregularizaci\u00f3n, mientras que Argyriou et al.&nbsp;(2007) utilizan una mezcla\u21131\/\u21132\u21131\/\u21132norma.&nbsp;Este \u00faltimo tambi\u00e9n se conoce como grupo lazo y fue propuesto por primera vez por&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn14\">[14]<\/a><\/sup>&nbsp;.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Argyriou et al.&nbsp;(2007) tambi\u00e9n muestran que el problema de optimizar el lazo de grupo no convexo puede volverse convexo penalizando la norma de traza deAA, que obligaAAser de rango bajo y, por lo tanto, restringe los vectores de par\u00e1metros de columnaa\u22c5,1,\u2026,a\u22c5,ta\u22c5,1,\u2026,a\u22c5,tvivir en un subespacio de baja dimensi\u00f3n.&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn15\">[15]<\/a><\/sup>&nbsp;adem\u00e1s, establece l\u00edmites superiores para el uso del lazo grupal en el aprendizaje de tareas m\u00faltiples.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Si bien esta regularizaci\u00f3n de bloques escasos es intuitivamente plausible, depende en gran medida de la medida en que las funciones se comparten entre tareas.&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn16\">[16]<\/a><\/sup>&nbsp;muestran que si las caracter\u00edsticas no se superponen mucho,\u21131\/\u2113q\u21131\/\u2113qla regularizaci\u00f3n en realidad podr\u00eda ser peor que la de los elementos\u21131\u21131regularizaci\u00f3n<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Por esta raz\u00f3n,&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn17\">[17]<\/a><\/sup>&nbsp;mejora los modelos de bloques dispersos al proponer un m\u00e9todo que combina la regularizaci\u00f3n de bloques dispersos y de elementos dispersos.&nbsp;Descomponen la matriz de par\u00e1metros de la tarea.AAen dos matricesBBySSd\u00f3ndeA=B+SA=B+S.&nbsp;BBluego se hace cumplir para que sea escaso en bloques usando\u21131\/\u2113\u221e\u21131\/\u2113\u221eregularizaci\u00f3n, mientrasSSse hace disperso en cuanto a los elementos usando lasso.&nbsp;Recientemente,&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn18\">[18]<\/a><\/sup>&nbsp;proponen una versi\u00f3n distribuida de regularizaci\u00f3n de grupos dispersos.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"learningtaskrelationships\">Relaciones de tareas de aprendizaje<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Si bien la restricci\u00f3n de escasez de grupos obliga a nuestro modelo a considerar solo unas pocas funciones, estas funciones se utilizan en gran medida en todas las tareas.&nbsp;Por lo tanto, todos los enfoques anteriores asumen que las tareas utilizadas en el aprendizaje multitarea est\u00e1n estrechamente relacionadas.&nbsp;Sin embargo, es posible que cada tarea no est\u00e9 estrechamente relacionada con todas las tareas disponibles.&nbsp;En esos casos, compartir informaci\u00f3n con una tarea no relacionada podr\u00eda perjudicar el rendimiento, un fen\u00f3meno conocido como transferencia negativa.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">En lugar de la escasez, nos gustar\u00eda aprovechar el conocimiento previo que indica que algunas tareas est\u00e1n relacionadas mientras que otras no.&nbsp;En este escenario, una restricci\u00f3n que imponga una agrupaci\u00f3n de tareas podr\u00eda ser m\u00e1s apropiada.&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn19\">[19]<\/a><\/sup>&nbsp;sugiere imponer una restricci\u00f3n de agrupamiento penalizando ambas normas de nuestros vectores de columnas de tareasa\u22c5,1,\u2026,a\u22c5,ta\u22c5,1,\u2026,a\u22c5,tas\u00ed como su varianza con la siguiente restricci\u00f3n:<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Vaya=|\u00afa|2+yoT\u2211Tt=1|a\u22c5,t\u2212\u00afa|2Vaya=|a\u00af|2+yoT\u2211t=1T|a\u22c5,t\u2212a\u00af|2<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">d\u00f3nde\u00afa=(\u2211Tt=1a\u22c5,t)\/Ta\u00af=(\u2211t=1Ta\u22c5,t)\/Tes el vector de par\u00e1metros medios.&nbsp;Esta penalizaci\u00f3n impone una agrupaci\u00f3n de los vectores de par\u00e1metros de tareasa\u22c5,1,\u2026,a\u22c5,ta\u22c5,1,\u2026,a\u22c5,thacia su medio que es controlado poryoyo.&nbsp;Aplican esta restricci\u00f3n a los m\u00e9todos kernel, pero es igualmente aplicable a los modelos lineales.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn20\">[20]<\/a><\/sup>&nbsp;tambi\u00e9n propuso una restricci\u00f3n similar para las SVM&nbsp;.&nbsp;Su restricci\u00f3n est\u00e1 inspirada en los m\u00e9todos bayesianos y busca hacer que todos los modelos se acerquen a alg\u00fan modelo medio.&nbsp;En las SVM, la p\u00e9rdida compensa tener un gran margen para cada SVM con estar cerca del modelo medio.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn21\">[21]<\/a><\/sup>&nbsp;hacen m\u00e1s expl\u00edcitos los supuestos que subyacen a la regularizaci\u00f3n del conglomerado al formalizar una restricci\u00f3n del conglomerado enAAbajo el supuesto de que el n\u00famero de conglomeradosCCse sabe de antemano.&nbsp;Luego descomponen la pena en tres normas separadas:<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li>Una penalizaci\u00f3n global que mide qu\u00e9 tan grandes son en promedio nuestros vectores de par\u00e1metros de columna:Vayametroyanorte(A)=|\u00afa|2Vayametroyanorte(A)=|a\u00af|2.<\/li><li>Una medida de la varianza entre conglomerados que mide qu\u00e9 tan cerca est\u00e1n los conglomerados entre s\u00ed:&nbsp;Vayabytenyynorte(A)=\u2211CC=1TC|\u00afaC\u2212\u00afa|2Vayabytenyynorte(A)=\u2211C=1CTC|a\u00afC\u2212a\u00af|2d\u00f3ndeTCTCes el n\u00famero de tareas en elCC-\u00e9simo grupo y\u00afaCa\u00afCes el vector medio de los vectores de par\u00e1metros de tarea en elCC-\u00e9simo grupo.<\/li><li>Una medida de la varianza dentro del grupo que mide qu\u00e9 tan compacto es cada grupo:Vayaenithinorte=\u2211CC=1\u2211t\u2208j(C)|a\u22c5,t\u2212\u00afaC|2Vayaenithinorte=\u2211C=1C\u2211t\u2208j(C)|a\u22c5,t\u2212a\u00afC|2d\u00f3ndej(C)j(C)es el conjunto de tareas en elCC-\u00e9simo grupo.<\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">La restricci\u00f3n final entonces es la suma ponderada de las tres normas:<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Vaya(A)=yo1Vayametroyanorte(A)+yo2Vayabytenyynorte(A)+yo3Vayaenithinorte(A)Vaya(A)=yo1Vayametroyanorte(A)+yo2Vayabytenyynorte(A)+yo3Vayaenithinorte(A).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Como esta restricci\u00f3n supone que los grupos se conocen de antemano, introducen una relajaci\u00f3n convexa de la penalizaci\u00f3n anterior que permite aprender los grupos al mismo tiempo.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">En otro escenario, es posible que las tareas no ocurran en cl\u00fasteres pero tengan una estructura inherente.&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn22\">[22]<\/a><\/sup>&nbsp;extiende el lazo de grupo para tratar con tareas que ocurren en una estructura de \u00e1rbol, mientras que&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn23\">[23]<\/a><\/sup>&nbsp;lo aplica a tareas con estructuras gr\u00e1ficas.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Mientras que los enfoques anteriores para modelar la relaci\u00f3n entre tareas emplean la regularizaci\u00f3n de normas, otros enfoques lo hacen sin regularizaci\u00f3n:&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn24\">[24]<\/a><\/sup>&nbsp;fueron los primeros en presentar un algoritmo de agrupaci\u00f3n de tareas utilizando k-vecino m\u00e1s cercano, mientras que&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn25\">[25]<\/a><\/sup>&nbsp;aprenden una estructura com\u00fan de m\u00faltiples tareas relacionadas con una aplicaci\u00f3n al aprendizaje semi-supervisado.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Muchos otros trabajos sobre las relaciones de tareas de aprendizaje para el aprendizaje multitarea utilizan m\u00e9todos bayesianos:<br><sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn26\">[26]<\/a><\/sup>&nbsp;proponen una red neuronal bayesiana para el aprendizaje multitarea colocando una prioridad en los par\u00e1metros del modelo para fomentar par\u00e1metros similares en todas las tareas.&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn27\">[27]<\/a><\/sup>&nbsp;extiende los procesos gaussianos (GP) a MTL infiriendo par\u00e1metros para una matriz de covarianza compartida.&nbsp;Como esto es computacionalmente muy costoso, adoptan un esquema de aproximaci\u00f3n escasa que selecciona con avidez los ejemplos m\u00e1s informativos.&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn28\">[28]<\/a><\/sup>&nbsp;tambi\u00e9n usan GP para MTL asumiendo que todos los modelos se muestrean a partir de un previo com\u00fan.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn29\">[29]<\/a><\/sup>&nbsp;coloque una Gaussiana como una distribuci\u00f3n previa en cada capa espec\u00edfica de la tarea.&nbsp;Para fomentar la similitud entre diferentes tareas, proponen hacer que la tarea media sea dependiente e introducir una agrupaci\u00f3n de tareas utilizando una distribuci\u00f3n mixta.&nbsp;Es importante destacar que requieren que las caracter\u00edsticas de la tarea que definen los grupos y el n\u00famero de mezclas se especifiquen de antemano.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Bas\u00e1ndose en esto,&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn30\">[30]<\/a><\/sup>&nbsp;dibuje la distribuci\u00f3n a partir de un proceso de Dirichlet y permita que el modelo aprenda la similitud entre las tareas, as\u00ed como la cantidad de grupos.&nbsp;Luego comparten el mismo modelo entre todas las tareas en el mismo cl\u00faster.&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn31\">[31]<\/a><\/sup>&nbsp;propone un modelo bayesiano jer\u00e1rquico, que aprende una jerarqu\u00eda de tareas latentes, mientras que&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn32\">[32]<\/a><\/sup>&nbsp;utiliza una regularizaci\u00f3n basada en GP para MTL y ampl\u00eda un enfoque anterior basado en GP para que sea computacionalmente m\u00e1s factible en entornos m\u00e1s grandes.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Otros enfoques se centran en el entorno de aprendizaje multitarea en l\u00ednea:&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn33\">[33]<\/a><\/sup>&nbsp;adaptan algunos m\u00e9todos existentes, como el enfoque de Evgeniou et al.&nbsp;(2005) a la configuraci\u00f3n en l\u00ednea.&nbsp;Tambi\u00e9n proponen una extensi\u00f3n MTL del Perceptron regularizado, que codifica la relaci\u00f3n de tareas en una matriz.&nbsp;Usan diferentes formas de regularizaci\u00f3n para sesgar esta matriz de relaci\u00f3n de tareas, por ejemplo, la cercan\u00eda de los vectores caracter\u00edsticos de la tarea o la dimensi\u00f3n del subespacio abarcado.&nbsp;Es importante destacar que, al igual que algunos enfoques anteriores, requieren que las caracter\u00edsticas de la tarea que componen esta matriz se proporcionen por adelantado.&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn34\">[34]<\/a><\/sup>&nbsp;luego extienda el enfoque anterior aprendiendo la matriz de relaci\u00f3n de tareas.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn35\">[35]<\/a><\/sup>&nbsp;supone que las tareas forman grupos disjuntos y que las tareas dentro de cada grupo se encuentran en un subespacio de baja dimensi\u00f3n.&nbsp;Dentro de cada grupo, las tareas comparten la misma representaci\u00f3n de caracter\u00edsticas cuyos par\u00e1metros se aprenden junto con la matriz de asignaci\u00f3n del grupo utilizando un esquema de minimizaci\u00f3n alterna.&nbsp;Sin embargo, una separaci\u00f3n total entre grupos podr\u00eda no ser la forma ideal, ya que las tareas a\u00fan pueden compartir algunas caracter\u00edsticas que son \u00fatiles para la predicci\u00f3n.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn36\">[36]<\/a><\/sup>&nbsp;a su vez permite que dos tareas de diferentes grupos se superpongan asumiendo que existe un peque\u00f1o n\u00famero de tareas de base latente.&nbsp;Luego modelan el vector de par\u00e1metrosatatde cada tarea realttcomo una combinaci\u00f3n lineal de estos:at=Lstat=Lstd\u00f3ndeL&nbsp;\u2208Rk\u00d7dL&nbsp;\u2208Rk\u00d7des una matriz que contiene los vectores de par\u00e1metros dekktareas latentes, mientrasst&nbsp;\u2208Rkst&nbsp;\u2208Rkes un vector que contiene los coeficientes de la combinaci\u00f3n lineal.&nbsp;Adem\u00e1s, obligan a que la combinaci\u00f3n lineal sea escasa en las tareas latentes;&nbsp;la superposici\u00f3n en los patrones de escasez entre dos tareas controla la cantidad de intercambio entre estas.&nbsp;Finalmente,&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn37\">[37]<\/a><\/sup>&nbsp;aprende un peque\u00f1o grupo de hip\u00f3tesis compartidas y luego asigna cada tarea a una sola hip\u00f3tesis.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"recentworkonmtlfordeeplearning\">Trabajo reciente sobre MTL para aprendizaje profundo<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Si bien muchos enfoques recientes de aprendizaje profundo han utilizado el aprendizaje de tareas m\u00faltiples, ya sea expl\u00edcita o impl\u00edcitamente, como parte de su modelo (los ejemplos destacados se presentar\u00e1n en la siguiente secci\u00f3n), todos emplean los dos enfoques que presentamos anteriormente, duro y blando. intercambio de par\u00e1metros.&nbsp;Por el contrario, solo unos pocos art\u00edculos han analizado el desarrollo de mejores mecanismos para MTL en redes neuronales profundas.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"deeprelationshipnetworks\">Redes de relaciones profundas<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">En MTL para visi\u00f3n por computadora, los enfoques a menudo comparten las capas convolucionales, mientras aprenden capas totalmente conectadas espec\u00edficas de la tarea.&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn38\">[38]<\/a><\/sup>&nbsp;mejoran estos modelos proponiendo Redes de Relaciones Profundas.&nbsp;Adem\u00e1s de la estructura de capas compartidas y espec\u00edficas de tareas, que se puede ver en la Figura 3, colocan matrices previas en las capas completamente conectadas, lo que permite que el modelo aprenda la relaci\u00f3n entre tareas, similar a algunos de los modelos bayesianos que usamos. haber mirado antes.&nbsp;Este enfoque, sin embargo, todav\u00eda se basa en una estructura predefinida para compartir, que puede ser adecuada para problemas de visi\u00f3n por computadora bien estudiados, pero puede resultar propenso a errores para tareas novedosas.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/ruder.io\/content\/images\/2017\/05\/relationship_networks.png\" alt=\"\"\/><figcaption>Figura 3: Una red de relaciones profundas con capas compartidas convolucionales y espec\u00edficas de tareas completamente conectadas con matrices previas (Long y Wang, 2015).<\/figcaption><\/figure><\/div>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"fullyadaptivefeaturesharing\">Uso compartido de funciones totalmente adaptable<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Comenzando en el otro extremo,&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn39\">[39]<\/a><\/sup>&nbsp;propone un enfoque de abajo hacia arriba que comienza con una red delgada y la ampl\u00eda din\u00e1micamente con avidez durante el entrenamiento utilizando un criterio que promueve la agrupaci\u00f3n de tareas similares.&nbsp;El procedimiento de ampliaci\u00f3n, que crea ramas de forma din\u00e1mica, se puede ver en la Figura 4. Sin embargo, es posible que el m\u00e9todo voraz no pueda descubrir un modelo que sea globalmente \u00f3ptimo, mientras que asignar cada rama exactamente a una tarea no permite que el modelo aprenda cosas m\u00e1s complejas. interacciones entre tareas.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/ruder.io\/content\/images\/2017\/05\/fully_adaptive_feature_sharing.png\" alt=\"\"\/><figcaption>Figura 4: El procedimiento de ampliaci\u00f3n para el intercambio de caracter\u00edsticas completamente adaptable (Lu et al., 2016).<\/figcaption><\/figure><\/div>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"crossstitchnetworks\">Punto de Cruz Redes<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\"><sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn40\">[40]<\/a><\/sup>&nbsp;comienzan con dos arquitecturas de modelo separadas al igual que en el intercambio de par\u00e1metros suaves.&nbsp;Luego usan lo que llaman unidades de punto de cruz para permitir que el modelo determine de qu\u00e9 manera las redes espec\u00edficas de la tarea aprovechan el conocimiento de la otra tarea al aprender una combinaci\u00f3n lineal de la salida de las capas anteriores.&nbsp;Su arquitectura se puede ver en la Figura 5, en la que solo colocan unidades de punto de cruz despu\u00e9s de agrupar y unir completamente las capas.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/ruder.io\/content\/images\/2017\/05\/cross-stitch_networks.png\" alt=\"\"\/><figcaption>Figura 5: Redes de punto de cruz para dos tareas (Misra et al., 2016).<\/figcaption><\/figure><\/div>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"lowsupervision\">Baja supervisi\u00f3n<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Por el contrario, en el procesamiento del lenguaje natural (NLP), el trabajo reciente se centr\u00f3 en encontrar mejores jerarqu\u00edas de tareas para el aprendizaje de tareas m\u00faltiples:&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn41\">[41]<\/a><\/sup>&nbsp;muestran que las tareas de bajo nivel, es decir, las tareas de NLP que se usan t\u00edpicamente para el preprocesamiento, como el etiquetado de parte del discurso y el reconocimiento de entidades nombradas, debe ser supervisado en las capas inferiores cuando se utiliza como tarea auxiliar.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"ajointmanytaskmodel\">Un modelo conjunto de muchas tareas<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Sobre la base de este hallazgo,&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn42\">[42]<\/a><\/sup>&nbsp;predefine una arquitectura jer\u00e1rquica que consta de varias tareas de PNL, que se puede ver en la Figura 6, como un modelo conjunto para el aprendizaje de tareas m\u00faltiples.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/ruder.io\/content\/images\/2017\/05\/joint_many_task_model.png\" alt=\"\"\/><figcaption>Figura 6: Un modelo conjunto de muchas tareas (Hashimoto et al., 2016).<\/figcaption><\/figure><\/div>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"weightinglosseswithuncertainty\">Ponderaci\u00f3n de p\u00e9rdidas con incertidumbre<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">En lugar de aprender la estructura de compartir,&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn43\">[43]<\/a><\/sup>&nbsp;adopte un enfoque ortogonal considerando la incertidumbre de cada tarea.&nbsp;Luego ajustan el peso relativo de cada tarea en la funci\u00f3n de costo al derivar una funci\u00f3n de p\u00e9rdida de tareas m\u00faltiples basada en maximizar la probabilidad gaussiana con incertidumbre dependiente de la tarea.&nbsp;Su arquitectura para la regresi\u00f3n de profundidad por p\u00edxel, la segmentaci\u00f3n sem\u00e1ntica y de instancias se puede ver en la Figura 7.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/ruder.io\/content\/images\/2017\/05\/weighting_using_uncertainty.png\" alt=\"\"\/><figcaption>Figura 7: Ponderaci\u00f3n de la funci\u00f3n de p\u00e9rdida basada en la incertidumbre para el aprendizaje de tareas m\u00faltiples (Kendall et al., 2017).<\/figcaption><\/figure><\/div>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"tensorfactorisationformtl\">Tensorizaci\u00f3n factorial para MTL<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">El trabajo m\u00e1s reciente busca generalizar los enfoques existentes de MTL para el aprendizaje profundo:&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn44\">[44]<\/a><\/sup>&nbsp;generalizar algunos de los enfoques de factorizaci\u00f3n de matriz discutidos anteriormente utilizando la factorizaci\u00f3n de tensor para dividir los par\u00e1metros del modelo en par\u00e1metros compartidos y espec\u00edficos de la tarea para cada capa.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"sluicenetworks\">Redes de Esclusas<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Finalmente, proponemos Sluice Networks&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn45\">[45]<\/a><\/sup>&nbsp;, un modelo que generaliza los enfoques MTL basados \u200b\u200ben Deep Learning, como compartir par\u00e1metros duros y redes de punto de cruz, enfoques de regularizaci\u00f3n de bloques dispersos, as\u00ed como enfoques recientes de NLP que crean una jerarqu\u00eda de tareas.&nbsp;El modelo, que se puede ver en la Figura 8, permite conocer qu\u00e9 capas y subespacios se deben compartir, as\u00ed como en qu\u00e9 capas la red ha aprendido las mejores representaciones de las secuencias de entrada.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/ruder.io\/content\/images\/2017\/05\/sluice_network-003.png\" alt=\"\"\/><figcaption>Figura 8: Una red de esclusas para dos tareas (Ruder et al., 2017).<\/figcaption><\/figure><\/div>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"whatshouldishareinmymodel\">\u00bfQu\u00e9 debo compartir en mi modelo?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Habiendo examinado estos enfoques recientes, resumamos brevemente y saquemos una conclusi\u00f3n sobre qu\u00e9 compartir en nuestros modelos MTL profundos.&nbsp;La mayor\u00eda de los enfoques en la historia de MTL se han centrado en el escenario donde las tareas se extraen de la misma distribuci\u00f3n (Baxter, 1997).&nbsp;Si bien este escenario es beneficioso para compartir, no siempre se cumple.&nbsp;Para desarrollar modelos robustos para MTL, tenemos que ser capaces de lidiar con tareas no relacionadas o solo vagamente relacionadas.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Si bien el trabajo inicial en MTL para Deep Learning ha especificado previamente qu\u00e9 capas compartir para cada emparejamiento de tareas, esta estrategia no escala y sesga en gran medida las arquitecturas MTL.&nbsp;El intercambio de par\u00e1metros duros, una t\u00e9cnica propuesta originalmente por Caruana (1996), sigue siendo la norma 20 a\u00f1os despu\u00e9s.&nbsp;Si bien es \u00fatil en muchos escenarios, el uso compartido de par\u00e1metros duros se descompone r\u00e1pidamente si las tareas no est\u00e1n estrechamente relacionadas o requieren razonamiento en diferentes niveles.&nbsp;Por lo tanto, los enfoques recientes han buscado&nbsp;<em>aprender<\/em>&nbsp;qu\u00e9 compartir y, en general, superan el intercambio de par\u00e1metros duros.&nbsp;Adem\u00e1s, es \u00fatil dar a nuestros modelos la capacidad de aprender una jerarqu\u00eda de tareas, particularmente en casos que requieren diferentes granularidades.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Como se mencion\u00f3 inicialmente, estamos haciendo MTL tan pronto como estamos optimizando m\u00e1s de una funci\u00f3n de p\u00e9rdida.&nbsp;En lugar de restringir nuestro modelo para comprimir el conocimiento de todas las tareas en el mismo espacio de par\u00e1metros, es \u00fatil aprovechar los avances en MTL que hemos discutido y permitir que nuestro modelo aprenda c\u00f3mo las tareas deben interactuar entre s\u00ed.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"auxiliarytasks\">Tareas auxiliares<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">MTL encaja naturalmente en situaciones en las que estamos interesados \u200b\u200ben obtener predicciones para m\u00faltiples tareas a la vez.&nbsp;Tales escenarios son comunes, por ejemplo, en pron\u00f3sticos financieros o econ\u00f3micos, en los que podr\u00edamos querer predecir el valor de muchos indicadores posiblemente relacionados, o en bioinform\u00e1tica, donde podr\u00edamos querer predecir s\u00edntomas de m\u00faltiples enfermedades simult\u00e1neamente.&nbsp;En escenarios como el descubrimiento de f\u00e1rmacos, donde se deben predecir decenas o cientos de compuestos activos, la precisi\u00f3n de MTL aumenta continuamente con la cantidad de tareas (Ramsundar et al., 2015).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">En la mayor\u00eda de las situaciones, sin embargo, solo nos preocupamos por el desempe\u00f1o en una tarea.&nbsp;En esta secci\u00f3n, veremos c\u00f3mo podemos encontrar una tarea auxiliar adecuada para seguir cosechando los beneficios del aprendizaje multitarea.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"relatedtask\">Tarea relacionada<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Usar una tarea relacionada como tarea auxiliar para MTL es la elecci\u00f3n cl\u00e1sica.&nbsp;Para tener una idea de lo que puede ser una tarea relacionada, presentaremos algunos ejemplos destacados.&nbsp;Caruana (1998) utiliza tareas que predicen diferentes caracter\u00edsticas de la carretera como tareas auxiliares para predecir la direcci\u00f3n de la direcci\u00f3n en un autom\u00f3vil aut\u00f3nomo;&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn46\">[46]<\/a><\/sup>&nbsp;utilizan la estimaci\u00f3n de la postura de la cabeza y la inferencia de atributos faciales como tareas auxiliares para la detecci\u00f3n de puntos de referencia faciales;&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn47\">[47]<\/a><\/sup>&nbsp;aprender conjuntamente clasificaci\u00f3n de consultas y b\u00fasqueda web;&nbsp;Girshick (2015) predice conjuntamente la clase y las coordenadas de un objeto en una imagen;&nbsp;finalmente,&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn48\">[48]<\/a><\/sup>&nbsp;predicen conjuntamente la duraci\u00f3n de los fonemas y el perfil de frecuencia para la conversi\u00f3n de texto a voz.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"adversarial\">Adversario<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">A menudo, los datos etiquetados para una tarea relacionada no est\u00e1n disponibles.&nbsp;En algunas circunstancias, sin embargo, tenemos acceso a una tarea que es&nbsp;<em>opuesta<\/em>&nbsp;a lo que queremos lograr.&nbsp;Estos datos se pueden aprovechar utilizando una p\u00e9rdida de adversario, que no busca minimizar sino maximizar el error de entrenamiento utilizando una capa de inversi\u00f3n de gradiente.&nbsp;Esta configuraci\u00f3n ha encontrado un \u00e9xito reciente en la adaptaci\u00f3n del dominio&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn49\">[49]<\/a><\/sup>&nbsp;.&nbsp;La tarea contradictoria en este caso es predecir el dominio de la entrada;&nbsp;al invertir el gradiente de la tarea contradictoria, se maximiza la p\u00e9rdida de la tarea contradictoria, lo que es beneficioso para la tarea principal, ya que obliga al modelo a aprender representaciones que no pueden distinguir entre dominios.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"hints\">Sugerencias<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Como se mencion\u00f3 anteriormente, MTL se puede usar para aprender caracter\u00edsticas que pueden no ser f\u00e1ciles de aprender simplemente usando la tarea original.&nbsp;Una forma efectiva de lograr esto es usar sugerencias, es decir, predecir las caracter\u00edsticas como una tarea auxiliar.&nbsp;Ejemplos recientes de esta estrategia en el contexto del procesamiento del lenguaje natural son&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn50\">[50]<\/a><\/sup>&nbsp;quienes predicen si una oraci\u00f3n de entrada contiene una palabra de sentimiento positivo o negativo como tareas auxiliares para el an\u00e1lisis de sentimiento y&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn51\">[51]<\/a><\/sup>&nbsp;quienes predicen si un nombre est\u00e1 presente en una oraci\u00f3n como tarea auxiliar para la detecci\u00f3n de errores de nombre.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"focusingattention\">Centrando la atenci\u00f3n<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">De manera similar, la tarea auxiliar se puede utilizar para centrar la atenci\u00f3n en partes de la imagen que una red normalmente ignorar\u00eda.&nbsp;Por ejemplo, para aprender a conducir (Caruana, 1998), un modelo de una sola tarea normalmente podr\u00eda ignorar las marcas de los carriles, ya que constituyen solo una peque\u00f1a parte de la imagen y no siempre est\u00e1n presentes.&nbsp;Sin embargo, la predicci\u00f3n de marcas de carril como tarea auxiliar obliga al modelo a aprender a representarlas;&nbsp;este conocimiento tambi\u00e9n se puede utilizar para la tarea principal.&nbsp;De manera an\u00e1loga, para el reconocimiento facial, uno podr\u00eda aprender a predecir la ubicaci\u00f3n de los puntos de referencia faciales como tareas auxiliares, ya que estos suelen ser distintivos.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"quantizationsmoothing\">Suavizado de cuantizaci\u00f3n<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Para muchas tareas, el objetivo de entrenamiento est\u00e1 cuantificado, es decir, mientras que una escala continua podr\u00eda ser m\u00e1s plausible, las etiquetas est\u00e1n disponibles como un conjunto discreto.&nbsp;Este es el caso en muchos escenarios que requieren evaluaci\u00f3n humana para la recopilaci\u00f3n de datos, como predecir el riesgo de una enfermedad (por ejemplo, bajo\/medio\/alto) o an\u00e1lisis de sentimiento (positivo\/neutral\/negativo).&nbsp;El uso de tareas auxiliares menos cuantificadas podr\u00eda ayudar en estos casos, ya que podr\u00edan aprenderse m\u00e1s f\u00e1cilmente debido a que su objetivo es m\u00e1s fluido.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"predictinginputs\">Entradas de predicci\u00f3n<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">En algunos escenarios, no es pr\u00e1ctico usar algunas funciones como entradas, ya que no son \u00fatiles para predecir el objetivo deseado.&nbsp;Sin embargo, es posible que a\u00fan puedan guiar el aprendizaje de la tarea.&nbsp;En esos casos, las funciones se pueden utilizar como salidas en lugar de entradas.&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn52\">[52]<\/a><\/sup>&nbsp;presentan varios problemas donde esto es aplicable.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"usingthefuturetopredictthepresent\">Usar el futuro para predecir el presente<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">En muchas situaciones, algunas funciones solo est\u00e1n disponibles&nbsp;<em>despu\u00e9s<\/em>&nbsp;de que se supone que se deben realizar las predicciones.&nbsp;Por ejemplo, para los autom\u00f3viles aut\u00f3nomos, se pueden realizar mediciones m\u00e1s precisas de los obst\u00e1culos y las marcas de carril una vez que el autom\u00f3vil los rebasa.&nbsp;Caruana (1998) tambi\u00e9n da el ejemplo de la predicci\u00f3n de neumon\u00eda, despu\u00e9s de lo cual estar\u00e1n disponibles los resultados de ensayos m\u00e9dicos adicionales.&nbsp;Para estos ejemplos, los datos adicionales no se pueden usar como funciones, ya que no estar\u00e1n disponibles como entrada en tiempo de ejecuci\u00f3n.&nbsp;Sin embargo, puede usarse como una tarea auxiliar para impartir conocimientos adicionales al modelo durante el entrenamiento.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"representationlearning\">Aprendizaje de representaci\u00f3n<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">El objetivo de una tarea auxiliar en MTL es permitir que el modelo aprenda representaciones que son compartidas o \u00fatiles para la tarea principal.&nbsp;Todas las tareas auxiliares discutidas hasta ahora hacen esto impl\u00edcitamente: est\u00e1n estrechamente relacionadas con la tarea principal, por lo que aprenderlas probablemente le permita al modelo aprender representaciones beneficiosas.&nbsp;Es posible un modelado m\u00e1s expl\u00edcito, por ejemplo, empleando una tarea que se sabe que permite que un modelo aprenda representaciones transferibles.&nbsp;El objetivo de modelado del lenguaje empleado por Cheng et al.&nbsp;(2015) y&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn53\">[53]<\/a><\/sup>&nbsp;cumple este papel.&nbsp;De manera similar, un objetivo de codificador autom\u00e1tico tambi\u00e9n se puede utilizar como tarea auxiliar.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"whatauxiliarytasksarehelpful\">\u00bfQu\u00e9 tareas auxiliares son \u00fatiles?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">En esta secci\u00f3n, hemos discutido diferentes tareas auxiliares que se pueden usar para aprovechar MTL, incluso si solo nos preocupamos por una tarea.&nbsp;Sin embargo, todav\u00eda no sabemos qu\u00e9 tarea auxiliar ser\u00e1 \u00fatil en la pr\u00e1ctica.&nbsp;Encontrar una tarea auxiliar se basa en gran medida en la suposici\u00f3n de que la tarea auxiliar deber\u00eda estar relacionada con la tarea principal de alguna manera y que deber\u00eda ser \u00fatil para predecir la tarea principal.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Sin embargo, todav\u00eda no tenemos una buena noci\u00f3n de cu\u00e1ndo dos tareas deben considerarse similares o relacionadas.&nbsp;Caruana (1998) define dos tareas como similares si utilizan las mismas caracter\u00edsticas para tomar una decisi\u00f3n.&nbsp;Baxter (2000) argumenta s\u00f3lo te\u00f3ricamente que las tareas relacionadas comparten una clase de hip\u00f3tesis \u00f3ptima com\u00fan, es decir, tienen el mismo sesgo inductivo.&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn54\">[54]<\/a><\/sup>&nbsp;proponen que dos tareas sonFF-relacionado si los datos para ambas tareas se pueden generar a partir de una distribuci\u00f3n de probabilidad fija utilizando un conjunto de transformacionesFF.&nbsp;Si bien esto permite razonar sobre tareas en las que diferentes sensores recopilan datos para el mismo problema de clasificaci\u00f3n, por ejemplo, reconocimiento de objetos con datos de c\u00e1maras con diferentes \u00e1ngulos y condiciones de iluminaci\u00f3n, no es aplicable a tareas que no abordan el mismo problema.&nbsp;Xue et al.&nbsp;(2007) finalmente argumentan que dos tareas son similares si sus l\u00edmites de clasificaci\u00f3n, es decir, los vectores de par\u00e1metros est\u00e1n cerca.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">A pesar de estos primeros avances te\u00f3ricos en la comprensi\u00f3n de la relaci\u00f3n entre tareas, no hemos hecho mucho progreso reciente hacia este objetivo.&nbsp;La similitud de tareas no es binaria, sino que reside en un espectro.&nbsp;M\u00e1s tareas similares deber\u00edan ayudar m\u00e1s en MTL, mientras que tareas menos similares deber\u00edan ayudar menos.&nbsp;Permitir que nuestros modelos aprendan qu\u00e9 compartir con cada tarea podr\u00eda permitirnos eludir temporalmente la falta de teor\u00eda y hacer un mejor uso incluso de las tareas relacionadas de forma vaga.&nbsp;Sin embargo, tambi\u00e9n necesitamos desarrollar una noci\u00f3n m\u00e1s basada en principios de similitud de tareas con respecto al aprendizaje de tareas m\u00faltiples para saber qu\u00e9 tareas deber\u00edamos preferir.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Trabajos recientes&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn55\">[55]<\/a><\/sup>&nbsp;han encontrado que las tareas auxiliares con distribuciones de etiquetas compactas y uniformes son preferibles para los problemas de etiquetado de secuencias en NLP, lo que hemos confirmado en experimentos (Ruder et al., 2017).&nbsp;Adem\u00e1s, se ha encontrado que las ganancias son m\u00e1s probables para las tareas principales que se estancan r\u00e1pidamente con las tareas auxiliares que no se estancan&nbsp;<sup><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fn56\">[56]<\/a><\/sup>&nbsp;.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Estos experimentos, sin embargo, hasta ahora han tenido un alcance limitado y los hallazgos recientes solo brindan las primeras pistas para una comprensi\u00f3n m\u00e1s profunda del aprendizaje multitarea en redes neuronales.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"conclusion\">Conclusi\u00f3n<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">En esta descripci\u00f3n general, he revisado tanto la historia de la literatura sobre el aprendizaje multitarea como el trabajo m\u00e1s reciente sobre MTL para el aprendizaje profundo.&nbsp;Si bien MTL se usa con m\u00e1s frecuencia, el paradigma de uso compartido de par\u00e1metros duros de 20 a\u00f1os sigue siendo generalizado para MTL basado en redes neuronales.&nbsp;Sin embargo, los avances recientes sobre c\u00f3mo aprender qu\u00e9 compartir son prometedores.&nbsp;Al mismo tiempo, nuestra comprensi\u00f3n de las tareas (su similitud, relaci\u00f3n, jerarqu\u00eda y beneficio para MTL) a\u00fan es limitada y necesitamos aprender m\u00e1s sobre ellas para obtener una mejor comprensi\u00f3n de las capacidades de generalizaci\u00f3n de MTL con respecto a profundidad. Redes neuronales.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Espero que haya encontrado \u00fatil esta descripci\u00f3n general.&nbsp;Si comet\u00ed alg\u00fan error, me perd\u00ed una referencia o tergivers\u00e9 alg\u00fan aspecto, o si simplemente desea compartir sus pensamientos, deje un comentario a continuaci\u00f3n.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"printableversionandcitation\">Versi\u00f3n imprimible y cita<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Esta publicaci\u00f3n de blog tambi\u00e9n est\u00e1 disponible como&nbsp;<a href=\"https:\/\/arxiv.org\/abs\/1706.05098\">art\u00edculo en arXiv<\/a>&nbsp;, en caso de que quiera consultarla m\u00e1s adelante.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">En caso de que lo haya encontrado \u00fatil, considere citar el art\u00edculo de arXiv correspondiente como:<br><em>Sebastian Ruder (2017).&nbsp;Una descripci\u00f3n general del aprendizaje multitarea en redes neuronales profundas.&nbsp;preimpresi\u00f3n de arXiv arXiv:1706.05098.<\/em><\/p>\n\n\n\n<hr class=\"wp-block-separator\"\/>\n\n\n\n<ol class=\"wp-block-list\"><li>Collobert, R. y Weston, J. (2008).&nbsp;Una arquitectura unificada para el procesamiento del lenguaje natural.&nbsp;Actas de la 25.\u00aa Conferencia internacional sobre aprendizaje autom\u00e1tico &#8211; ICML &#8217;08, 20(1), 160\u2013167.&nbsp;<a href=\"https:\/\/doi.org\/10.1145\/1390156.1390177\">https:\/\/doi.org\/10.1145\/1390156.1390177&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref1\">\u21a9\ufe0e<\/a><\/li><li>Deng, L., Hinton, GE y Kingsbury, B. (2013).&nbsp;Nuevos tipos de aprendizaje de redes neuronales profundas para el reconocimiento de voz y aplicaciones relacionadas: una descripci\u00f3n general.&nbsp;Conferencia internacional IEEE de 2013 sobre procesamiento de se\u00f1ales, voz y ac\u00fastica, 8599\u20138603.&nbsp;<a href=\"https:\/\/doi.org\/10.1109\/ICASSP.2013.6639344\">https:\/\/doi.org\/10.1109\/ICASSP.2013.6639344&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref2\">\u21a9\ufe0e<\/a><\/li><li>Girshick, R. (2015).&nbsp;R-CNN r\u00e1pido.&nbsp;En Actas de la Conferencia Internacional IEEE sobre Visi\u00f3n por Computador (p\u00e1gs. 1440\u20131448).&nbsp;<a href=\"https:\/\/doi.org\/10.1109\/iccv.2015.169\">https:\/\/doi.org\/10.1109\/iccv.2015.169&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref3\">\u21a9\ufe0e<\/a><\/li><li>Ramsundar, B., Kearnes, S., Riley, P., Webster, D., Konerding, D. y Pande, V. (2015).&nbsp;Redes masivamente multitarea para el descubrimiento de f\u00e1rmacos.&nbsp;<a href=\"https:\/\/doi.org\/https:\/\/arxiv.org\/abs\/1502.02072\">https:\/\/doi.org\/https:\/\/arxiv.org\/abs\/1502.02072&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref4\">\u21a9\ufe0e<\/a><\/li><li>Caruana, R. (1998).&nbsp;Aprendizaje multitarea.&nbsp;Agentes aut\u00f3nomos y sistemas multiagente, 27(1), 95\u2013133.&nbsp;<a href=\"https:\/\/doi.org\/10.1016\/j.csl.2009.08.003\">https:\/\/doi.org\/10.1016\/j.csl.2009.08.003&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref5\">\u21a9\ufe0e<\/a><\/li><li>Caruana, R. &#8220;Aprendizaje multitarea: una fuente de sesgo inductivo basada en el conocimiento&#8221;.&nbsp;Actas de la D\u00e9cima Conferencia Internacional sobre Aprendizaje Autom\u00e1tico.&nbsp;1993.&nbsp;<a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref6\">\u21a9\ufe0e<\/a><\/li><li>Baxter, J. (1997).&nbsp;Un modelo bayesiano\/te\u00f3rico de la informaci\u00f3n de aprender a aprender a trav\u00e9s del muestreo de tareas m\u00faltiples.&nbsp;Aprendizaje autom\u00e1tico, 28, 7\u201339.&nbsp;Obtenido de&nbsp;<a href=\"https:\/\/link.springer.com\/article\/10.1023\/A:1007327622663\">http:\/\/link.springer.com\/article\/10.1023\/A:1007327622663&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref7\">\u21a9\ufe0e<\/a><\/li><li>Duong, L., Cohn, T., Bird, S. y Cook, P. (2015).&nbsp;An\u00e1lisis de baja dependencia de recursos: uso compartido de par\u00e1metros entre idiomas en un analizador de red neuronal.&nbsp;Actas de la 53.\u00aa Reuni\u00f3n Anual de la Asociaci\u00f3n de Ling\u00fc\u00edstica Computacional y la 7.\u00aa Conferencia Internacional Conjunta sobre Procesamiento del Lenguaje Natural (Art\u00edculos Cortos), 845\u2013850.&nbsp;<a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref8\">\u21a9\ufe0e<\/a><\/li><li>Yang, Y., &amp; Hospedales, TM (2017).&nbsp;Trace Norm Aprendizaje multitarea profundo regularizado.&nbsp;En la pista del taller &#8211; ICLR 2017. Obtenido de&nbsp;<a href=\"https:\/\/arxiv.org\/abs\/1606.04038\">http:\/\/arxiv.org\/abs\/1606.04038&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref9\">\u21a9\ufe0e<\/a><\/li><li>Abu-Mostafa, YS (1990).&nbsp;Aprendiendo de sugerencias en redes neuronales.&nbsp;Revista de Complejidad, 6(2), 192\u2013198.&nbsp;<a href=\"https:\/\/doi.org\/10.1016\/0885-064X(90)90006-Y\">https:\/\/doi.org\/10.1016\/0885-064X(90)90006-Y&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref10\">\u21a9\ufe0e<\/a><\/li><li>Baxter, J. (2000).&nbsp;Un modelo de aprendizaje de sesgo inductivo.&nbsp;Revista de Investigaci\u00f3n de Inteligencia Artificial, 12, 149\u2013198.&nbsp;<a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref11\">\u21a9\ufe0e<\/a><\/li><li>Argyriou, A. y Pontil, M. (2007).&nbsp;Aprendizaje de funciones multitarea.&nbsp;En Avances en Sistemas de Procesamiento de Informaci\u00f3n Neural.&nbsp;<a href=\"https:\/\/doi.org\/10.1007\/s10994-007-5040-8\">http:\/\/doi.org\/10.1007\/s10994-007-5040-8&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref12\">\u21a9\ufe0e<\/a><\/li><li>C.Zhang y J.Huang.&nbsp;Modelo de consistencia de selecci\u00f3n de la selecci\u00f3n de lazo en regresi\u00f3n lineal de alta dimensi\u00f3n.&nbsp;Anales de Estad\u00edstica, 36:1567\u20131594, 2008&nbsp;<a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref13\">\u21a9\ufe0e<\/a><\/li><li>Yuan, Ming y Yi Lin.&nbsp;&#8220;Selecci\u00f3n y estimaci\u00f3n de modelos en regresi\u00f3n con variables agrupadas&#8221;.&nbsp;Journal of the Royal Statistical Society: Serie B (Metodolog\u00eda estad\u00edstica) 68.1 (2006): 49-67.&nbsp;<a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref14\">\u21a9\ufe0e<\/a><\/li><li>Lounici, K., Pontil, M., Tsybakov, AB y van de Geer, S. (2009).&nbsp;Aprovechando la escasez en el aprendizaje multitarea.&nbsp;Estado, (1).&nbsp;Obtenido de&nbsp;<a href=\"https:\/\/arxiv.org\/pdf\/0903.1468\">http:\/\/arxiv.org\/pdf\/0903.1468&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref15\">\u21a9\ufe0e<\/a><\/li><li>Negahban, S. y Wainwright, MJ (2008).&nbsp;Recuperaci\u00f3n de soporte conjunto bajo escalado de alta dimensi\u00f3n: Beneficios y peligros de\u21131,\u221e\u21131,\u221e-regularizaci\u00f3n.&nbsp;Avances en los sistemas de procesamiento de informaci\u00f3n neuronal, 1161\u20131168.&nbsp;<a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref16\">\u21a9\ufe0e<\/a><\/li><li>Jalali, A., Ravikumar, P., Sanghavi, S. y Ruan, C. (2010).&nbsp;Un modelo sucio para el aprendizaje multitarea.&nbsp;Avances en Sistemas de Procesamiento de Informaci\u00f3n Neural.&nbsp;Obtenido de&nbsp;<a href=\"https:\/\/papers.nips.cc\/paper\/4125-a-dirty-model-for-multi-task-learning.pdf\">https:\/\/papers.nips.cc\/paper\/4125-a-dirty-model-for-multi-task-learning.pdf&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref17\">\u21a9\ufe0e<\/a><\/li><li>Liu, S., Pan, SJ y Ho, Q. (2016).&nbsp;Aprendizaje relacional multitarea distribuido.&nbsp;En Actas de la 19.\u00aa Conferencia Internacional sobre Inteligencia Artificial y Estad\u00edsticas (AISTATS) (p\u00e1gs. 751\u2013760).&nbsp;Obtenido de&nbsp;<a href=\"https:\/\/arxiv.org\/abs\/1612.04022\">http:\/\/arxiv.org\/abs\/1612.04022&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref18\">\u21a9\ufe0e<\/a><\/li><li>Evgeniou, T., Micchelli, C. y Pontil, M. (2005).&nbsp;Aprendizaje de m\u00faltiples tareas con m\u00e9todos kernel.&nbsp;Revista de investigaci\u00f3n de aprendizaje autom\u00e1tico, 6, 615\u2013637.&nbsp;Obtenido de&nbsp;<a href=\"http:\/\/discovery.ucl.ac.uk\/13423\/\">http:\/\/discovery.ucl.ac.uk\/13423\/&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref19\">\u21a9\ufe0e<\/a><\/li><li>Evgeniou, T. y Pontil, M. (2004).&nbsp;Aprendizaje multitarea regularizado.&nbsp;Conferencia Internacional sobre Descubrimiento de Conocimiento y Miner\u00eda de Datos, 109.&nbsp;<a href=\"https:\/\/doi.org\/10.1145\/1014052.1014067\">https:\/\/doi.org\/10.1145\/1014052.1014067&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref20\">\u21a9\ufe0e<\/a><\/li><li>Jacob, L., Vert, J., Bach, FR y Vert, J. (2009).&nbsp;Aprendizaje multitarea agrupado: una formulaci\u00f3n convexa.&nbsp;Avances en sistemas de procesamiento de informaci\u00f3n neuronal 21, 745\u2013752.&nbsp;Obtenido de&nbsp;<a href=\"http:\/\/eprints.pascal-network.org\/archive\/00004705\/%5Cnhttp:\/\/papers.nips.cc\/paper\/3499-clustered-multi-task-learning-a-convex-formulation.pdf\">http:\/\/eprints.pascal-network.org\/archive\/00004705\/\\nhttp:\/\/papers.nips.cc\/paper\/3499-clustered-multi-task-learning-a-convex-formulation.pdf&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref21\">\u21a9\ufe0e<\/a><\/li><li>Kim, S. y Xing, EP (2010).&nbsp;Lazo de grupo guiado por \u00e1rbol para regresi\u00f3n multitarea con dispersi\u00f3n estructurada.&nbsp;27.\u00aa Conferencia internacional sobre aprendizaje autom\u00e1tico, 1\u201314.&nbsp;<a href=\"https:\/\/doi.org\/10.1214\/12-AOAS549\">https:\/\/doi.org\/10.1214\/12-AOAS549&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref22\">\u21a9\ufe0e<\/a><\/li><li>Chen, X., Kim, S., Lin, Q., Carbonell, JG y Xing, EP (2010).&nbsp;Regresi\u00f3n multitarea estructurada por gr\u00e1ficos y un m\u00e9todo de optimizaci\u00f3n eficiente para Lasso fusionado general, 1\u201321.&nbsp;<a href=\"https:\/\/doi.org\/10.1146\/annurev.arplant.56.032604.144204\">https:\/\/doi.org\/10.1146\/annurev.arplant.56.032604.144204&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref23\">\u21a9\ufe0e<\/a><\/li><li>Thrun, S. y O&#8217;Sullivan, J. (1996).&nbsp;Descubriendo la Estructura en M\u00faltiples Tareas de Aprendizaje: El Algoritmo TC.&nbsp;Actas de la Decimotercera Conferencia Internacional sobre Aprendizaje Autom\u00e1tico, 28(1), 5\u20135.&nbsp;Obtenido de&nbsp;<a href=\"https:\/\/scholar.google.com\/scholar?cluster=956054018507723832&amp;hl=en\">http:\/\/scholar.google.com\/scholar?cluster=956054018507723832&amp;hl=en&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref24\">\u21a9\ufe0e<\/a><\/li><li>Ando, \u200b\u200bRK y Tong, Z. (2005).&nbsp;Un marco para el aprendizaje de estructuras predictivas a partir de m\u00faltiples tareas y datos sin etiquetar.&nbsp;Revista de investigaci\u00f3n de aprendizaje autom\u00e1tico, 6, 1817\u20131853.&nbsp;<a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref25\">\u21a9\ufe0e<\/a><\/li><li>Heskes, T. (2000).&nbsp;Bayesiano emp\u00edrico para aprender a aprender.&nbsp;Actas de la Decimos\u00e9ptima Conferencia Internacional sobre Aprendizaje Autom\u00e1tico, 367\u2013364.&nbsp;<a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref26\">\u21a9\ufe0e<\/a><\/li><li>Lawrence, ND y Platt, JC (2004).&nbsp;Aprendiendo a aprender con la m\u00e1quina de vectores informativos.&nbsp;XXI Conferencia Internacional sobre Aprendizaje Autom\u00e1tico &#8211; ICML &#8217;04, 65.&nbsp;<a href=\"https:\/\/doi.org\/10.1145\/1015330.1015382\">https:\/\/doi.org\/10.1145\/1015330.1015382&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref27\">\u21a9\ufe0e<\/a><\/li><li>Yu, K., Tresp, V. y Schwaighofer, A. (2005).&nbsp;Aprendizaje de procesos gaussianos a partir de m\u00faltiples tareas.&nbsp;Actas de la Conferencia Internacional sobre Aprendizaje Autom\u00e1tico (ICML), 22, 1012\u20131019.&nbsp;<a href=\"https:\/\/doi.org\/10.1145\/1102351.1102479\">https:\/\/doi.org\/10.1145\/1102351.1102479&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref28\">\u21a9\ufe0e<\/a><\/li><li>Bakker, B. y Heskes, T. (2003).&nbsp;Agrupaci\u00f3n de tareas y gating para el aprendizaje multitarea bayesiano.&nbsp;Revista de investigaci\u00f3n de aprendizaje autom\u00e1tico, 1(1), 83\u201399.&nbsp;<a href=\"https:\/\/doi.org\/10.1162\/153244304322765658\">https:\/\/doi.org\/10.1162\/153244304322765658&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref29\">\u21a9\ufe0e<\/a><\/li><li>Xue, Y., Liao, X., Carin, L. y Krishnapuram, B. (2007).&nbsp;Aprendizaje multitarea para clasificaci\u00f3n con procesos previos de Dirichlet.&nbsp;Revista de investigaci\u00f3n de aprendizaje autom\u00e1tico, 8, 35\u201363.&nbsp;<a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref30\">\u21a9\ufe0e<\/a><\/li><li>Daume III, H. (2009).&nbsp;Aprendizaje multitarea bayesiano con jerarqu\u00edas latentes, 135\u2013142.&nbsp;Obtenido de&nbsp;<a href=\"http:\/\/dl.acm.org.sci-hub.io\/citation.cfm?id=1795131\">http:\/\/dl.acm.org.sci-hub.io\/citation.cfm?id=1795131&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref31\">\u21a9\ufe0e<\/a><\/li><li>Zhang, Y. y Yeung, D. (2010).&nbsp;Una formulaci\u00f3n convexa para las relaciones de tareas de aprendizaje en el aprendizaje de tareas m\u00faltiples.&nbsp;Uai, 733\u2013442.&nbsp;<a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref32\">\u21a9\ufe0e<\/a><\/li><li>Cavallanti, G., Cesa-Bianchi, N. y Gentile, C. (2010).&nbsp;Algoritmos lineales para la clasificaci\u00f3n multitarea en l\u00ednea.&nbsp;Revista de investigaci\u00f3n de aprendizaje autom\u00e1tico, 11, 2901\u20132934.&nbsp;<a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref33\">\u21a9\ufe0e<\/a><\/li><li>Saha, A., Rai, P., Daum\u00e9, H. y Venkatasubramanian, S. (2011).&nbsp;Aprendizaje en l\u00ednea de m\u00faltiples tareas y sus relaciones.&nbsp;Revista de investigaci\u00f3n de aprendizaje autom\u00e1tico, 15, 643\u2013651.&nbsp;Obtenido de&nbsp;<a href=\"https:\/\/www.scopus.com\/inward\/record.url?eid=2-s2.0-84862275213&amp;partnerID=tZOtx3y1\">http:\/\/www.scopus.com\/inward\/record.url?eid=2-s2.0-84862275213&amp;partnerID=tZOtx3y1&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref34\">\u21a9\ufe0e<\/a><\/li><li>Kang, Z., Grauman, K. y Sha, F. (2011).&nbsp;Aprender con qui\u00e9n compartir en el aprendizaje de funciones multitarea.&nbsp;Actas de la 28.\u00aa Conferencia Internacional sobre Aprendizaje Autom\u00e1tico, (4), 4\u20135.&nbsp;Obtenido de&nbsp;<a href=\"http:\/\/machinelearning.wustl.edu\/mlpapers\/paper_files\/ICML2011Kang_344.pdf\">http:\/\/machinelearning.wustl.edu\/mlpapers\/paper_files\/ICML2011Kang_344.pdf&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref35\">\u21a9\ufe0e<\/a><\/li><li>Kumar, A. y Daum\u00e9 III, H. (2012).&nbsp;Agrupaci\u00f3n de tareas de aprendizaje y superposici\u00f3n en el aprendizaje multitarea.&nbsp;Actas de la 29.\u00aa Conferencia internacional sobre aprendizaje autom\u00e1tico, 1383\u20131390.&nbsp;<a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref36\">\u21a9\ufe0e<\/a><\/li><li>Crammer, K. y Mansour, Y. (2012).&nbsp;Aprendizaje de tareas m\u00faltiples utilizando hip\u00f3tesis compartidas.&nbsp;Sistemas de procesamiento de informaci\u00f3n neuronal (NIPS), 1484\u20131492&nbsp;<a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref37\">\u21a9\ufe0e<\/a><\/li><li>Long, M. y Wang, J. (2015).&nbsp;Aprendizaje de tareas m\u00faltiples con redes de relaciones profundas.&nbsp;arXiv Preimpresi\u00f3n arXiv:1506.02117.&nbsp;Obtenido de&nbsp;<a href=\"https:\/\/arxiv.org\/abs\/1506.02117\">http:\/\/arxiv.org\/abs\/1506.02117&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref38\">\u21a9\ufe0e<\/a><\/li><li>Lu, Y., Kumar, A., Zhai, S., Cheng, Y., Javidi, T. y Feris, R. (2016).&nbsp;Uso compartido de caracter\u00edsticas totalmente adaptativo en redes multitarea con aplicaciones en la clasificaci\u00f3n de atributos de persona.&nbsp;Obtenido de&nbsp;<a href=\"https:\/\/arxiv.org\/abs\/1611.05377\">http:\/\/arxiv.org\/abs\/1611.05377&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref39\">\u21a9\ufe0e<\/a><\/li><li>Misra, I., Shrivastava, A., Gupta, A. y Hebert, M. (2016).&nbsp;Redes de punto de cruz para el aprendizaje multitarea.&nbsp;En Actas de la Conferencia IEEE sobre visi\u00f3n artificial y reconocimiento de patrones.&nbsp;<a href=\"https:\/\/doi.org\/10.1109\/CVPR.2016.433\">https:\/\/doi.org\/10.1109\/CVPR.2016.433&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref40\">\u21a9\ufe0e<\/a><\/li><li>S\u00f8gaard, A. y Goldberg, Y. (2016).&nbsp;Aprendizaje profundo de m\u00faltiples tareas con tareas de bajo nivel supervisadas en capas inferiores.&nbsp;Actas de la 54.\u00aa Reuni\u00f3n Anual de la Asociaci\u00f3n de Ling\u00fc\u00edstica Computacional, 231\u2013235.&nbsp;<a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref41\">\u21a9\ufe0e<\/a><\/li><li>Hashimoto, K., Xiong, C., Tsuruoka, Y. y Socher, R. (2016).&nbsp;Un modelo conjunto de muchas tareas: crecimiento de una red neuronal para m\u00faltiples tareas de PNL.&nbsp;arXiv Preimpresi\u00f3n arXiv:1611.01587.&nbsp;Obtenido de&nbsp;<a href=\"https:\/\/arxiv.org\/abs\/1611.01587\">http:\/\/arxiv.org\/abs\/1611.01587&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref42\">\u21a9\ufe0e<\/a><\/li><li>Kendall, A., Gal, Y. y Cipolla, R. (2017).&nbsp;Aprendizaje multitarea utilizando la incertidumbre para sopesar las p\u00e9rdidas en la geometr\u00eda y la sem\u00e1ntica de la escena.&nbsp;Obtenido de&nbsp;<a href=\"https:\/\/arxiv.org\/abs\/1705.07115\">http:\/\/arxiv.org\/abs\/1705.07115&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref43\">\u21a9\ufe0e<\/a><\/li><li>Yang, Y., &amp; Hospedales, T. (2017).&nbsp;Aprendizaje profundo de representaci\u00f3n multitarea: un enfoque de factorizaci\u00f3n tensorial.&nbsp;En ICLR 2017.&nbsp;<a href=\"https:\/\/doi.org\/10.1002\/joe.20070\">https:\/\/doi.org\/10.1002\/joe.20070&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref44\">\u21a9\ufe0e<\/a><\/li><li>Ruder, S., Bingel, J., Augenstein, I. y S\u00f8gaard, A. (2017).&nbsp;Redes de esclusas: aprender qu\u00e9 compartir entre tareas vagamente relacionadas.&nbsp;Obtenido de&nbsp;<a href=\"https:\/\/arxiv.org\/abs\/1705.08142\">http:\/\/arxiv.org\/abs\/1705.08142&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref45\">\u21a9\ufe0e<\/a><\/li><li>Zhang, Z., Luo, P., Loy, CC y Tang, X. (2014).&nbsp;Detecci\u00f3n de puntos de referencia faciales mediante aprendizaje multitarea profundo.&nbsp;En European Conference on Computer Vision (p\u00e1gs. 94\u2013108).&nbsp;<a href=\"https:\/\/doi.org\/10.1007\/978-3-319-10599-4_7\">https:\/\/doi.org\/10.1007\/978-3-319-10599-4_7&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref46\">\u21a9\ufe0e<\/a><\/li><li>Liu, X., Gao, J., He, X., Deng, L., Duh, K. y Wang, Y.-Y.&nbsp;(2015).&nbsp;Aprendizaje de representaci\u00f3n utilizando redes neuronales profundas multitarea para clasificaci\u00f3n sem\u00e1ntica y recuperaci\u00f3n de informaci\u00f3n.&nbsp;Naacl-2015, 912\u2013921.&nbsp;<a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref47\">\u21a9\ufe0e<\/a><\/li><li>Ar\u0131k, S. \u00d6., Chrzanowski, M., Coates, A., Diamos, G., Gibiansky, A., Kang, Y., &#8230; Shoeybi, M. (2017).&nbsp;Voz profunda: texto a voz neuronal en tiempo real.&nbsp;En ICML 2017.&nbsp;<a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref48\">\u21a9\ufe0e<\/a><\/li><li>Ganin, Y. y Lempitsky, V. (2015).&nbsp;Adaptaci\u00f3n de dominio no supervisada por retropropagaci\u00f3n.&nbsp;En Actas de la 32.\u00aa Conferencia Internacional sobre Aprendizaje Autom\u00e1tico.&nbsp;(Vol. 37).&nbsp;<a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref49\">\u21a9\ufe0e<\/a><\/li><li>Yu, J. y Jiang, J. (2016).&nbsp;Aprendizaje de incrustaciones de oraciones con tareas auxiliares para la clasificaci\u00f3n de sentimientos entre dominios.&nbsp;Actas de la Conferencia de 2016 sobre m\u00e9todos emp\u00edricos en el procesamiento del lenguaje natural (EMNLP2016), 236\u2013246.&nbsp;Obtenido de&nbsp;<a href=\"http:\/\/www.aclweb.org\/anthology\/D\/D16\/D16-1023.pdf\">http:\/\/www.aclweb.org\/anthology\/D\/D16\/D16-1023.pdf&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref50\">\u21a9\ufe0e<\/a><\/li><li>Cheng, H., Fang, H. y Ostendorf, M. (2015).&nbsp;Detecci\u00f3n de errores de nombre de dominio abierto mediante un RNN multitarea.&nbsp;En Actas de la Conferencia de 2015 sobre m\u00e9todos emp\u00edricos en el procesamiento del lenguaje natural (p\u00e1gs. 737\u2013746).&nbsp;<a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref51\">\u21a9\ufe0e<\/a><\/li><li>Caruana, R. y Sa, VR de.&nbsp;(1997).&nbsp;Promoci\u00f3n de caracter\u00edsticas deficientes a los supervisores: algunas entradas funcionan mejor como salidas.&nbsp;Advances in Neural Information Processing Systems 9: Proceedings of The 1996 Conference, 9, 389. Obtenido de&nbsp;<a href=\"https:\/\/scholar.google.com\/scholar?start=20&amp;q=author:%22Rich+Caruana%22&amp;hl=en#6\">http:\/\/scholar.google.com\/scholar?start=20&amp;q=author:&#8221;Rich+Caruana&#8221;&amp;hl=en#6&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref52\">\u21a9\ufe0e<\/a><\/li><li>Rey, M. (2017).&nbsp;Aprendizaje multitarea semisupervisado para el etiquetado de secuencias.&nbsp;En ACL 2017.&nbsp;<a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref53\">\u21a9\ufe0e<\/a><\/li><li>Ben-David, S. y Schuller, R. (2003).&nbsp;Explotaci\u00f3n de la relaci\u00f3n de tareas para el aprendizaje de tareas m\u00faltiples.&nbsp;Teor\u00eda del aprendizaje y m\u00e1quinas del n\u00facleo, 567\u2013580.&nbsp;<a href=\"https:\/\/doi.org\/10.1007\/978-3-540-45167-9_41\">https:\/\/doi.org\/10.1007\/978-3-540-45167-9_41&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref54\">\u21a9\ufe0e<\/a><\/li><li>Alonso, HM y Plank, B. (2017).&nbsp;\u00bfCu\u00e1ndo es efectivo el aprendizaje multitarea?&nbsp;Aprendizaje multitarea para la predicci\u00f3n de secuencias sem\u00e1nticas en diferentes condiciones de datos.&nbsp;En EACL.&nbsp;Obtenido de&nbsp;<a href=\"https:\/\/arxiv.org\/abs\/1612.02251\">http:\/\/arxiv.org\/abs\/1612.02251&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref55\">\u21a9\ufe0e<\/a><\/li><li>Bingel, J. y S\u00f8gaard, A. (2017).&nbsp;Identificar relaciones de tareas beneficiosas para el aprendizaje multitarea en redes neuronales profundas.&nbsp;En EACL.&nbsp;Obtenido de&nbsp;<a href=\"https:\/\/arxiv.org\/abs\/1702.08303\">http:\/\/arxiv.org\/abs\/1702.08303&nbsp;<\/a><a href=\"https:\/\/ruder.io\/multi-task\/index.html#fnref56\">\u21a9\ufe0e<\/a><\/li><\/ol>\n\n\n<div class=\"kk-star-ratings kksr-auto kksr-align-right kksr-valign-bottom\"\n    data-payload='{&quot;align&quot;:&quot;right&quot;,&quot;id&quot;:&quot;8378&quot;,&quot;slug&quot;:&quot;default&quot;,&quot;valign&quot;:&quot;bottom&quot;,&quot;ignore&quot;:&quot;&quot;,&quot;reference&quot;:&quot;auto&quot;,&quot;class&quot;:&quot;&quot;,&quot;count&quot;:&quot;0&quot;,&quot;legendonly&quot;:&quot;&quot;,&quot;readonly&quot;:&quot;&quot;,&quot;score&quot;:&quot;0&quot;,&quot;starsonly&quot;:&quot;&quot;,&quot;best&quot;:&quot;5&quot;,&quot;gap&quot;:&quot;5&quot;,&quot;greet&quot;:&quot;Valora este art\u00edculo&quot;,&quot;legend&quot;:&quot;0\\\/5 - (0 votes)&quot;,&quot;size&quot;:&quot;24&quot;,&quot;title&quot;:&quot;El aprendizaje multitarea en redes neuronales profundas&quot;,&quot;width&quot;:&quot;0&quot;,&quot;_legend&quot;:&quot;{score}\\\/{best} - ({count} {votes})&quot;,&quot;font_factor&quot;:&quot;1.25&quot;}'>\n            \n<div class=\"kksr-stars\">\n    \n<div class=\"kksr-stars-inactive\">\n            <div class=\"kksr-star\" data-star=\"1\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" data-star=\"2\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" data-star=\"3\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" data-star=\"4\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" data-star=\"5\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n    <\/div>\n    \n<div class=\"kksr-stars-active\" style=\"width: 0px;\">\n            <div class=\"kksr-star\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n    <\/div>\n<\/div>\n                \n\n<div class=\"kksr-legend\" style=\"font-size: 19.2px;\">\n            <span class=\"kksr-muted\">Valora este art\u00edculo<\/span>\n    <\/div>\n    <\/div>\n","protected":false},"excerpt":{"rendered":"An interesting article by Sebastian Ruder, Google research scientist based in Berlin, Germany, working on natural language processing (NLP) for underrepresented languages.","protected":false},"author":8,"featured_media":8390,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[80],"tags":[297,317,381],"class_list":["post-8378","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-translations-spanish","tag-deep-learning","tag-machine-learning","tag-redes-neuronales"],"acf":[],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"An interesting article by Sebastian Ruder, Google research scientist based in Berlin, Germany, working on natural language processing (NLP) for underrepresented languages.\" \/>\n\t<meta name=\"robots\" content=\"max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n\t<meta name=\"author\" content=\"Mauri\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/www.ibidem-translations.com\/edu\/aprendizaje-multitarea-redes-neuronales-profundas\/\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"en_US\" \/>\n\t\t<meta property=\"og:site_name\" content=\"IBIDEM TRANSLATIONS EDU |\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"El aprendizaje multitarea en redes neuronales profundas\" \/>\n\t\t<meta property=\"og:description\" content=\"An interesting article by Sebastian Ruder, Google research scientist based in Berlin, Germany, working on natural language processing (NLP) for underrepresented languages.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/www.ibidem-translations.com\/edu\/aprendizaje-multitarea-redes-neuronales-profundas\/\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2022-11-26T09:03:17+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2023-02-13T19:49:48+00:00\" \/>\n\t\t<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n\t\t<meta name=\"twitter:title\" content=\"El aprendizaje multitarea en redes neuronales profundas\" \/>\n\t\t<meta name=\"twitter:description\" content=\"An interesting article by Sebastian Ruder, Google research scientist based in Berlin, Germany, working on natural language processing (NLP) for underrepresented languages.\" \/>\n\t\t<script type=\"application\/ld+json\" class=\"aioseo-schema\">\n\t\t\t{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/aprendizaje-multitarea-redes-neuronales-profundas\\\/#article\",\"name\":\"El aprendizaje multitarea en redes neuronales profundas\",\"headline\":\"El aprendizaje multitarea en redes neuronales profundas\",\"author\":{\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/author\\\/mau\\\/#author\"},\"publisher\":{\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/#organization\"},\"image\":{\"@type\":\"ImageObject\",\"url\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/wp-content\\\/uploads\\\/2022\\\/11\\\/Mukltitarea.png\",\"width\":1140,\"height\":380,\"caption\":\"Overview of the current state of multitasking learning\"},\"datePublished\":\"2022-11-26T10:03:17+01:00\",\"dateModified\":\"2023-02-13T20:49:48+01:00\",\"inLanguage\":\"en-US\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/aprendizaje-multitarea-redes-neuronales-profundas\\\/#webpage\"},\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/aprendizaje-multitarea-redes-neuronales-profundas\\\/#webpage\"},\"articleSection\":\"Translations into Spanish, deep learning, machine learning, redes neuronales\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/aprendizaje-multitarea-redes-neuronales-profundas\\\/#breadcrumblist\",\"itemListElement\":[{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/#listItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/\",\"nextItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/translations-spanish\\\/#listItem\",\"name\":\"Translations into Spanish\"}},{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/translations-spanish\\\/#listItem\",\"position\":2,\"name\":\"Translations into Spanish\",\"item\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/translations-spanish\\\/\",\"nextItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/aprendizaje-multitarea-redes-neuronales-profundas\\\/#listItem\",\"name\":\"El aprendizaje multitarea en redes neuronales profundas\"},\"previousItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/#listItem\",\"name\":\"Home\"}},{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/aprendizaje-multitarea-redes-neuronales-profundas\\\/#listItem\",\"position\":3,\"name\":\"El aprendizaje multitarea en redes neuronales profundas\",\"previousItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/translations-spanish\\\/#listItem\",\"name\":\"Translations into Spanish\"}}]},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/#organization\",\"name\":\"IBIDEM TRANSLATIONS EDU\",\"url\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/\"},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/author\\\/mau\\\/#author\",\"url\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/author\\\/mau\\\/\",\"name\":\"Mauri\",\"image\":{\"@type\":\"ImageObject\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/aprendizaje-multitarea-redes-neuronales-profundas\\\/#authorImage\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/b7b325afa7a8af8c21ac26bbaac9118b81803ff10d6c403a1b84df7063a874dd?s=96&d=mm&r=g\",\"width\":96,\"height\":96,\"caption\":\"Mauri\"}},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/aprendizaje-multitarea-redes-neuronales-profundas\\\/#webpage\",\"url\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/aprendizaje-multitarea-redes-neuronales-profundas\\\/\",\"name\":\"El aprendizaje multitarea en redes neuronales profundas\",\"description\":\"An interesting article by Sebastian Ruder, Google research scientist based in Berlin, Germany, working on natural language processing (NLP) for underrepresented languages.\",\"inLanguage\":\"en-US\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/#website\"},\"breadcrumb\":{\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/aprendizaje-multitarea-redes-neuronales-profundas\\\/#breadcrumblist\"},\"author\":{\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/author\\\/mau\\\/#author\"},\"creator\":{\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/author\\\/mau\\\/#author\"},\"image\":{\"@type\":\"ImageObject\",\"url\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/wp-content\\\/uploads\\\/2022\\\/11\\\/Mukltitarea.png\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/aprendizaje-multitarea-redes-neuronales-profundas\\\/#mainImage\",\"width\":1140,\"height\":380,\"caption\":\"Overview of the current state of multitasking learning\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/aprendizaje-multitarea-redes-neuronales-profundas\\\/#mainImage\"},\"datePublished\":\"2022-11-26T10:03:17+01:00\",\"dateModified\":\"2023-02-13T20:49:48+01:00\"},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/#website\",\"url\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/\",\"name\":\"IBIDEM TRANSLATIONS EDU\",\"inLanguage\":\"en-US\",\"publisher\":{\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/#organization\"}}]}\n\t\t<\/script>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"El aprendizaje multitarea en redes neuronales profundas","description":"An interesting article by Sebastian Ruder, Google research scientist based in Berlin, Germany, working on natural language processing (NLP) for underrepresented languages.","canonical_url":"https:\/\/www.ibidem-translations.com\/edu\/aprendizaje-multitarea-redes-neuronales-profundas\/","robots":"max-snippet:-1, max-image-preview:large, max-video-preview:-1","keywords":"","webmasterTools":{"miscellaneous":""},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www.ibidem-translations.com\/edu\/aprendizaje-multitarea-redes-neuronales-profundas\/#article","name":"El aprendizaje multitarea en redes neuronales profundas","headline":"El aprendizaje multitarea en redes neuronales profundas","author":{"@id":"https:\/\/www.ibidem-translations.com\/edu\/author\/mau\/#author"},"publisher":{"@id":"https:\/\/www.ibidem-translations.com\/edu\/#organization"},"image":{"@type":"ImageObject","url":"https:\/\/www.ibidem-translations.com\/edu\/wp-content\/uploads\/2022\/11\/Mukltitarea.png","width":1140,"height":380,"caption":"Overview of the current state of multitasking learning"},"datePublished":"2022-11-26T10:03:17+01:00","dateModified":"2023-02-13T20:49:48+01:00","inLanguage":"en-US","mainEntityOfPage":{"@id":"https:\/\/www.ibidem-translations.com\/edu\/aprendizaje-multitarea-redes-neuronales-profundas\/#webpage"},"isPartOf":{"@id":"https:\/\/www.ibidem-translations.com\/edu\/aprendizaje-multitarea-redes-neuronales-profundas\/#webpage"},"articleSection":"Translations into Spanish, deep learning, machine learning, redes neuronales"},{"@type":"BreadcrumbList","@id":"https:\/\/www.ibidem-translations.com\/edu\/aprendizaje-multitarea-redes-neuronales-profundas\/#breadcrumblist","itemListElement":[{"@type":"ListItem","@id":"https:\/\/www.ibidem-translations.com\/edu\/#listItem","position":1,"name":"Home","item":"https:\/\/www.ibidem-translations.com\/edu\/","nextItem":{"@type":"ListItem","@id":"https:\/\/www.ibidem-translations.com\/edu\/translations-spanish\/#listItem","name":"Translations into Spanish"}},{"@type":"ListItem","@id":"https:\/\/www.ibidem-translations.com\/edu\/translations-spanish\/#listItem","position":2,"name":"Translations into Spanish","item":"https:\/\/www.ibidem-translations.com\/edu\/translations-spanish\/","nextItem":{"@type":"ListItem","@id":"https:\/\/www.ibidem-translations.com\/edu\/aprendizaje-multitarea-redes-neuronales-profundas\/#listItem","name":"El aprendizaje multitarea en redes neuronales profundas"},"previousItem":{"@type":"ListItem","@id":"https:\/\/www.ibidem-translations.com\/edu\/#listItem","name":"Home"}},{"@type":"ListItem","@id":"https:\/\/www.ibidem-translations.com\/edu\/aprendizaje-multitarea-redes-neuronales-profundas\/#listItem","position":3,"name":"El aprendizaje multitarea en redes neuronales profundas","previousItem":{"@type":"ListItem","@id":"https:\/\/www.ibidem-translations.com\/edu\/translations-spanish\/#listItem","name":"Translations into Spanish"}}]},{"@type":"Organization","@id":"https:\/\/www.ibidem-translations.com\/edu\/#organization","name":"IBIDEM TRANSLATIONS EDU","url":"https:\/\/www.ibidem-translations.com\/edu\/"},{"@type":"Person","@id":"https:\/\/www.ibidem-translations.com\/edu\/author\/mau\/#author","url":"https:\/\/www.ibidem-translations.com\/edu\/author\/mau\/","name":"Mauri","image":{"@type":"ImageObject","@id":"https:\/\/www.ibidem-translations.com\/edu\/aprendizaje-multitarea-redes-neuronales-profundas\/#authorImage","url":"https:\/\/secure.gravatar.com\/avatar\/b7b325afa7a8af8c21ac26bbaac9118b81803ff10d6c403a1b84df7063a874dd?s=96&d=mm&r=g","width":96,"height":96,"caption":"Mauri"}},{"@type":"WebPage","@id":"https:\/\/www.ibidem-translations.com\/edu\/aprendizaje-multitarea-redes-neuronales-profundas\/#webpage","url":"https:\/\/www.ibidem-translations.com\/edu\/aprendizaje-multitarea-redes-neuronales-profundas\/","name":"El aprendizaje multitarea en redes neuronales profundas","description":"An interesting article by Sebastian Ruder, Google research scientist based in Berlin, Germany, working on natural language processing (NLP) for underrepresented languages.","inLanguage":"en-US","isPartOf":{"@id":"https:\/\/www.ibidem-translations.com\/edu\/#website"},"breadcrumb":{"@id":"https:\/\/www.ibidem-translations.com\/edu\/aprendizaje-multitarea-redes-neuronales-profundas\/#breadcrumblist"},"author":{"@id":"https:\/\/www.ibidem-translations.com\/edu\/author\/mau\/#author"},"creator":{"@id":"https:\/\/www.ibidem-translations.com\/edu\/author\/mau\/#author"},"image":{"@type":"ImageObject","url":"https:\/\/www.ibidem-translations.com\/edu\/wp-content\/uploads\/2022\/11\/Mukltitarea.png","@id":"https:\/\/www.ibidem-translations.com\/edu\/aprendizaje-multitarea-redes-neuronales-profundas\/#mainImage","width":1140,"height":380,"caption":"Overview of the current state of multitasking learning"},"primaryImageOfPage":{"@id":"https:\/\/www.ibidem-translations.com\/edu\/aprendizaje-multitarea-redes-neuronales-profundas\/#mainImage"},"datePublished":"2022-11-26T10:03:17+01:00","dateModified":"2023-02-13T20:49:48+01:00"},{"@type":"WebSite","@id":"https:\/\/www.ibidem-translations.com\/edu\/#website","url":"https:\/\/www.ibidem-translations.com\/edu\/","name":"IBIDEM TRANSLATIONS EDU","inLanguage":"en-US","publisher":{"@id":"https:\/\/www.ibidem-translations.com\/edu\/#organization"}}]},"og:locale":"en_US","og:site_name":"IBIDEM TRANSLATIONS EDU |","og:type":"article","og:title":"El aprendizaje multitarea en redes neuronales profundas","og:description":"An interesting article by Sebastian Ruder, Google research scientist based in Berlin, Germany, working on natural language processing (NLP) for underrepresented languages.","og:url":"https:\/\/www.ibidem-translations.com\/edu\/aprendizaje-multitarea-redes-neuronales-profundas\/","article:published_time":"2022-11-26T09:03:17+00:00","article:modified_time":"2023-02-13T19:49:48+00:00","twitter:card":"summary_large_image","twitter:title":"El aprendizaje multitarea en redes neuronales profundas","twitter:description":"An interesting article by Sebastian Ruder, Google research scientist based in Berlin, Germany, working on natural language processing (NLP) for underrepresented languages."},"aioseo_meta_data":{"post_id":"8378","title":null,"description":null,"keywords":null,"keyphrases":null,"focus_keyword":null,"additional_keywords":null,"truseo_locale":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_custom_url":null,"og_image_custom_fields":null,"og_image_url":null,"og_image_width":null,"og_image_height":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_image_url":null,"twitter_title":null,"twitter_description":null,"schema_type":"default","schema_type_options":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"limit_modified_date":false,"ai":null,"breadcrumb_settings":null,"seo_analyzer_scan_date":null,"created":"2026-10-22 21:56:33","updated":"2026-10-22 21:56:33"},"aioseo_breadcrumb":"<div class=\"aioseo-breadcrumbs\"><span class=\"aioseo-breadcrumb\">\n\t\t\t<a href=\"https:\/\/www.ibidem-translations.com\/edu\/\" title=\"Home\">Home<\/a>\n\t\t<\/span><span class=\"aioseo-breadcrumb-separator\">\u00bb<\/span><span class=\"aioseo-breadcrumb\">\n\t\t\t<a href=\"https:\/\/www.ibidem-translations.com\/edu\/translations-spanish\/\" title=\"Translations into Spanish\">Translations into Spanish<\/a>\n\t\t<\/span><span class=\"aioseo-breadcrumb-separator\">\u00bb<\/span><span class=\"aioseo-breadcrumb\">\n\t\t\tEl aprendizaje multitarea en redes neuronales profundas\n\t\t<\/span><\/div>","aioseo_breadcrumb_json":[{"label":"Home","link":"https:\/\/www.ibidem-translations.com\/edu\/"},{"label":"Translations into Spanish","link":"https:\/\/www.ibidem-translations.com\/edu\/translations-spanish\/"},{"label":"El aprendizaje multitarea en redes neuronales profundas","link":"https:\/\/www.ibidem-translations.com\/edu\/aprendizaje-multitarea-redes-neuronales-profundas\/"}],"_links":{"self":[{"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/posts\/8378","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/users\/8"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/comments?post=8378"}],"version-history":[{"count":20,"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/posts\/8378\/revisions"}],"predecessor-version":[{"id":8514,"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/posts\/8378\/revisions\/8514"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/media\/8390"}],"wp:attachment":[{"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/media?parent=8378"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/categories?post=8378"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/tags?post=8378"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}