{"id":5966,"date":"2022-05-02T18:02:33","date_gmt":"2022-05-02T16:02:33","guid":{"rendered":"https:\/\/www.ibidem-translations.com\/edu\/?p=5966"},"modified":"2022-11-04T11:20:38","modified_gmt":"2022-11-04T10:20:38","slug":"traduccion-bert-elmo-pnl","status":"publish","type":"post","link":"https:\/\/www.ibidem-translations.com\/edu\/traduccion-bert-elmo-pnl\/","title":{"rendered":"Los insignes BERT, ELMo y compa\u00f1\u00eda. (C\u00f3mo PNL descifr\u00f3 el aprendizaje de transferencia)"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\" style=\"text-align:center\"><span style=\"color:#0693e3\" class=\"color\"> A free translation by Chema, a Spain-based translator specializing in&nbsp;<\/span><a href=\"https:\/\/www.ibidem-translations.com\/spanish.php\"><span style=\"color:#0693e3\" class=\"color\">English to Spanish translations<\/span><\/a><span style=\"color:#0693e3\" class=\"color\">, with a growing interest in Machine Learning Models and Machine Translation.<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\" style=\"text-align:center\"><strong><span style=\"color:#0693e3\" class=\"color\">An original text written by Jay Alammar, originally published in<\/span><\/strong><span style=\"color:#0693e3\" class=\"color\"> <br><\/span><a rel=\"noreferrer noopener\" href=\"https:\/\/jalammar.github.io\/illustrated-bert\/\" target=\"_blank\"><span style=\"color:#0693e3\" class=\"color\">https:\/\/jalammar.github.io\/illustrated-bert\/<\/span><\/a><span style=\"color:#0693e3\" class=\"color\"> <\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\" style=\"text-align:center\">* * *<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Actualizaci\u00f3n 2021<\/strong><br>Echa un vistazo a esta breve y sencilla introducci\u00f3n en video sobre BERT<\/p>\n\n\n\n<figure class=\"wp-block-embed-youtube alignleft wp-block-embed is-type-video is-provider-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio\"><div class=\"wp-block-embed__wrapper\">\n<iframe loading=\"lazy\" title=\"Language Processing with BERT: The 3 Minute Intro (Deep learning for NLP)\" width=\"500\" height=\"281\" src=\"https:\/\/www.youtube.com\/embed\/ioGry-89gqE?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe>\n<\/div><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\"><\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><\/p>\n\n\n\n<p>&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">El a\u00f1o 2018 ha sido un importante punto de inflexi\u00f3n para los modelos de aprendizaje autom\u00e1tico que manejan texto (o, m\u00e1s exactamente, Procesamiento del Lenguaje Natural o PNL para abreviar). Nuestra comprensi\u00f3n conceptual de la mejor forma de representar palabras y oraciones comprendiendo los significados y las relaciones subyacentes est\u00e1 evolucionando r\u00e1pidamente. Adem\u00e1s, la comunidad de NLP ha estado presentando componentes incre\u00edblemente poderosos que puedes descargar y usar libremente en tus propios modelos y versiones (lo que se conoce como <a href=\"http:\/\/ruder.io\/nlp-imagenet\/\">el momento ImageNet de NLP<\/a>, en referencia a c\u00f3mo hace a\u00f1os desarrollos similares aceleraron el desarrollo del aprendizaje autom\u00e1tico en tareas de Visi\u00f3n Artificial) .<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/transformer-ber-ulmfit-elmo.png\" alt=\"\"\/><figcaption> ULM-FiT no tiene nada que ver con el monstruo de las galletas pero no se me ocurri\u00f3 nada mejor \ud83d\ude42 <\/figcaption><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Uno de los \u00faltimos hitos en este desarrollo es el&nbsp;<a href=\"https:\/\/ai.googleblog.com\/2018\/11\/open-sourcing-bert-state-of-art-pre.html\">lanzamiento<\/a>&nbsp;de&nbsp;<a href=\"https:\/\/github.com\/google-research\/bert\">BERT<\/a>, un evento&nbsp;<a href=\"https:\/\/twitter.com\/lmthang\/status\/1050543868041555969\">descrito<\/a> como el comienzo de una nueva era en la PNL. BERT es un modelo que rompi\u00f3 varios r\u00e9cords relativos a la forma en la que estos modelos pueden manejar tareas basadas en el lenguaje. Poco despu\u00e9s del lanzamiento del documento que presenta Bert, el equipo abri\u00f3 el c\u00f3digo del modelo y puso a libre disposici\u00f3n la descarga de versiones del modelo pre-entrenadas con conjuntos de datos masivos. Este es un desarrollo trascendental, ya que permite a cualquier persona desarrollar un modelo de aprendizaje autom\u00e1tico que involucre procesamiento del lenguaje, usando este motor como un componente f\u00e1cilmente disponible, ahorrando el tiempo, la energ\u00eda, el conocimiento y los recursos que habr\u00eda tenido que destinar a entrenar un modelo de procesamiento del lenguaje construido desde cero. <\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/bert-transfer-learning.png\" alt=\"\"\/><figcaption>Estos son los 2 pasos a seguir para usar BERT. Primero descargas el modelo previamente entrenado con datos no anotados (PASO 1) y luego te concentras en ajustarlo (PASO 2). [<a href=\"https:\/\/commons.wikimedia.org\/wiki\/File:Documents_icon_-_noun_project_5020.svg\">Fuente<\/a> de la imagen]. <\/figcaption><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\"><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">BERT se basa en algunas buenas ideas que han ido surgiendo recientemente en la comunidad de NLP, y que incluyen, entre otros, el <a href=\"https:\/\/arxiv.org\/abs\/1511.01432\">aprendizaje semi-supervisado&nbsp;<\/a>(de <a href=\"https:\/\/twitter.com\/iamandrewdai\">Andrew Dai<\/a>&nbsp;y&nbsp;<a href=\"https:\/\/twitter.com\/quocleix\">Quoc Le<\/a>), <a href=\"https:\/\/arxiv.org\/abs\/1802.05365\">ELMo&nbsp;<\/a>(de <a href=\"https:\/\/twitter.com\/mattthemathman\">Matthew Peters<\/a>&nbsp;e investigadores de&nbsp;<a href=\"https:\/\/allenai.org\/\">AI2<\/a>&nbsp;y&nbsp;<a href=\"https:\/\/www.engr.washington.edu\/about\/bldgs\/cse\">UW CSE<\/a> ), <a href=\"https:\/\/arxiv.org\/abs\/1801.06146\">ULMFiT&nbsp;<\/a>(del fundador de fast.ai <a href=\"https:\/\/twitter.com\/jeremyphoward\">Jeremy Howard<\/a>&nbsp;y&nbsp;<a href=\"https:\/\/twitter.com\/seb_ruder\">Sebastian Ruder<\/a>),  <a href=\"https:\/\/s3-us-west-2.amazonaws.com\/openai-assets\/research-covers\/language-unsupervised\/language_understanding_paper.pdf\">transformer OpenAI <\/a>(de los investigadores de OpenAI <a href=\"https:\/\/twitter.com\/alecrad\">Radford<\/a>,&nbsp;<a href=\"https:\/\/twitter.com\/karthik_r_n\">Narasimhan<\/a>,&nbsp;<a href=\"https:\/\/twitter.com\/timsalimans\">Salimans<\/a>&nbsp;y&nbsp;<a href=\"https:\/\/twitter.com\/ilyasut\">Sutskever<\/a>) y los Transformer (de <a href=\"https:\/\/arxiv.org\/pdf\/1706.03762.pdf\">Vaswani et alia<\/a>.) .<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Conviene conocer bien algunos conceptos esenciales para comprender correctamente qu\u00e9 es BERT. Pero comencemos por ver las formas en que puedes usar BERT, antes de ver los conceptos involucrados en el modelo en s\u00ed.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"example-sentence-classification\">Ejemplo: clasificaci\u00f3n de oraciones<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">La forma m\u00e1s directa de emplear BERT es usarlo para clasificar un fragmento de texto. El modelo tendr\u00eda este aspecto:<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/BERT-classification-spam.png\" alt=\"\"\/><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Para entrenar un modelo de este tipo, principalmente se tiene que entrenar el clasificador, con cambios m\u00ednimos en el modelo BERT durante la fase de entrenamiento. Este proceso de entrenamiento se llama Ajuste Fino (Fine-Tunning) y tiene sus ra\u00edces en <a href=\"https:\/\/arxiv.org\/abs\/1511.01432\">el Aprendizaje Secuencial Semi-supervisado<\/a>&nbsp;y ULMFiT.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Para las personas que no est\u00e1n versadas en el tema, dado que hablamos de clasificadores, estamos en el dominio del aprendizaje supervisado, dentro del campo del aprendizaje autom\u00e1tico. Lo que significar\u00eda que necesitamos un conjunto de datos etiquetados para entrenar dicho modelo. Para este ejemplo de clasificador de spam, el conjunto de datos etiquetado ser\u00eda una lista de mensajes de correo electr\u00f3nico y una etiqueta (&#8220;spam&#8221; o &#8220;no spam&#8221; para cada mensaje).<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/spam-labeled-dataset.png\" alt=\"\"\/><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Otros ejemplos de este uso podr\u00edan incluir:<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li><strong>An\u00e1lisis de sentimientos<\/strong><ul><li>Entrada: Rese\u00f1a de pel\u00edcula\/producto.&nbsp;Salida: \u00bfla revisi\u00f3n es positiva o negativa?<\/li><li>Conjunto de datos de ejemplo:&nbsp;<a href=\"https:\/\/nlp.stanford.edu\/sentiment\/\">SST<\/a><\/li><\/ul><\/li><li><strong>Comprobaci\u00f3n de hechos<\/strong><ul><li>Entrada: oraci\u00f3n. Salida: &#8220;Declaraci\u00f3n&#8221; o &#8220;No declaraci\u00f3n&#8221;<\/li><li>Ejemplo m\u00e1s ambicioso\/futurista:<ul><li>Entrada: Declaraci\u00f3n. Salida: &#8220;Verdadera&#8221; o &#8220;Falsa&#8221;<\/li><\/ul><\/li><li><a href=\"https:\/\/fullfact.org\/\">Full Fact<\/a> es una organizaci\u00f3n que crea herramientas autom\u00e1ticas de verificaci\u00f3n de datos y declaraciones para el beneficio del p\u00fablico. Parte de su flujo de trabajo es un clasificador autom\u00e1tico que lee art\u00edculos de noticias y detecta declaraciones y datos falsos (clasifica los textos como afirmaciones veraces o falsas) que luego pueden verificarse (por humanos de momento, con ML m\u00e1s adelante).<\/li><li>Video: <a href=\"https:\/\/www.youtube.com\/watch?v=ddf0lgPCoSo\">frases incrustadas y verificaci\u00f3n autom\u00e1tica de datos: Lev Konstantinovskiy<\/a>&nbsp;.<\/li><\/ul><\/li><\/ul>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"model-architecture\">Arquitectura del modelo<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Ahora que tienes en tu cabeza un ejemplo sobre c\u00f3mo usar BERT, echemos un vistazo m\u00e1s de cerca a c\u00f3mo funciona.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/bert-base-bert-large.png\" alt=\"\"\/><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">El paper original del BERT presenta dos tama\u00f1os del modelo:<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li>BERT BASE: comparable en tama\u00f1o al Transformer OpenAI (para comparar rendimiento)<\/li><li>BERT LARGE: un modelo rid\u00edculamente enorme que logr\u00f3 los incre\u00edbles resultados rese\u00f1ados en el paper original<\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">BERT es b\u00e1sicamente una pila de codificadores de transformers entrenados. Este es un buen momento para sugerir que leas mi publicaci\u00f3n anterior <a href=\"https:\/\/jalammar.github.io\/illustrated-transformer\/\">The Illustrated Transformer<\/a>, donde explico en profundidad el modelo Transformer, un concepto fundamental para entender BERT y los conceptos que discutiremos a continuaci\u00f3n.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/bert-base-bert-large-encoders.png\" alt=\"\"\/><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Ambos tama\u00f1os de modelos BERT tienen una gran cantidad de capas de codificador (que el documento llama Bloques de transformers): 12 para la versi\u00f3n b\u00e1sica y 24 para la versi\u00f3n grande. Estos tambi\u00e9n tienen redes feedforward m\u00e1s grandes (768 y 1024 unidades ocultas respectivamente) y m\u00e1s attention heads  (12 y 16 respectivamente) que la configuraci\u00f3n predeterminada en la implementaci\u00f3n de referencia del Transformer en el paper inicial (6 capas de codificador, 512 unidades ocultas, y 8 attention heads).<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"model-inputs\">Entradas del modelo<\/h3>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/bert-input-output.png\" alt=\"\"\/><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">El primer token de entrada viene con un token [CLS] especial por motivos que se aclarar\u00e1n m\u00e1s adelante. CLS aqu\u00ed significa Clasificaci\u00f3n.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Al igual que el codificador Vanilla del transformer, BERT toma una secuencia de palabras como entrada que sigue fluyendo hacia arriba en la pila. Cada capa aplica auto atenci\u00f3n, pasa sus resultados a trav\u00e9s de una red de avance y luego los devuelve al siguiente codificador.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/bert-encoders-input.png\" alt=\"\"\/><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">En t\u00e9rminos de arquitectura, es id\u00e9ntica a la del Transformer hasta este punto (aparte del tama\u00f1o, que no deja de ser una configuraciones a elecci\u00f3n de cada uno). Es en la salida donde empezamos a ver c\u00f3mo cambian las cosas.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"model-outputs\">Salidas del modelo<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Cada posici\u00f3n genera un vector de tama\u00f1o&nbsp;<em>hidden_size<\/em>&nbsp;(768 en BERT Base).&nbsp;Para el ejemplo de clasificaci\u00f3n de oraciones que vimos anteriormente, nos enfocamos en la salida de solo la primera posici\u00f3n (a la que le pasamos el token [CLS] especial).<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/bert-output-vector.png\" alt=\"\"\/><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Ese vector ahora se puede usar como entrada para un clasificador de nuestra elecci\u00f3n. El documento logra excelentes resultados usando \u00fanicamente una red neuronal de una sola capa como clasificador.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/bert-classifier.png\" alt=\"\"\/><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Si tienes m\u00e1s etiquetas (por ejemplo, si es un servicio de correo electr\u00f3nico que etiqueta los correos electr\u00f3nicos como &#8220;spam&#8221;, &#8220;no spam&#8221;, &#8220;social&#8221; y &#8220;promoci\u00f3n&#8221;), simplemente modifica la red clasificadora para tener m\u00e1s neuronas de salida que luego pasar por softmax.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"parallels-with-convolutional-nets\">Paralelismos con Redes Convolucionales<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Para aquellos con experiencia en visi\u00f3n por computadora, este traspaso de vectores deber\u00eda recordar lo que sucede entre la parte de convoluci\u00f3n de una red como VGGNet y la parte de clasificaci\u00f3n totalmente conectada al final de la red.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/vgg-net-classifier.png\" alt=\"\"\/><\/figure><\/div>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"a-new-age-of-embedding\">Una nueva era de integraci\u00f3n<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Estos nuevos desarrollos traen consigo un nuevo cambio en la forma en que se codifican las palabras. Hasta ahora, las incrustaciones de palabras han sido un motor importante en la forma en que los principales modelos de PNL tratan el lenguaje. M\u00e9todos como Word2Vec y Glove se han utilizado ampliamente para este tipo de tareas. Recapitulemos c\u00f3mo se usan antes de se\u00f1alar lo que ahora ha cambiado.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"word-embedding-recap\">Resumen de incrustaci\u00f3n de palabras<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Para que las palabras sean procesadas por modelos de aprendizaje autom\u00e1tico, necesitan alguna forma de representaci\u00f3n num\u00e9rica que los modelos puedan usar en sus c\u00e1lculos.&nbsp;Word2Vec demostr\u00f3 que podemos usar un vector (una lista de n\u00fameros) para representar correctamente las palabras de una manera que captura las relaciones&nbsp;<em>sem\u00e1nticas<\/em> o relacionadas con el significado (por ejemplo, la capacidad de saber si las palabras son similares u opuestas, o que un par de palabras como \u201cEstocolmo\u201d y \u201cSuecia\u201d tienen entre ellos la misma relaci\u00f3n que tienen entre ellos \u201cEl Cairo\u201d y \u201cEgipto\u201d), as\u00ed como relaciones sint\u00e1cticas o basadas en la gram\u00e1tica (por ejemplo, la relaci\u00f3n entre \u201cten\u00eda\u201d y \u201ctengo\u201d es la  mismo que entre \u201cera\u201d y \u201ces\u201d).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La comunidad r\u00e1pidamente se dio cuenta de que era mucho mejor idea usar incrustaciones previamente entrenadas con grandes cantidades de datos de texto, en lugar de entrenarlas junto con el modelo en lo que con frecuencia eran peque\u00f1os conjuntos de datos. Se pudo as\u00ed descargar una lista de palabras y sus incrustaciones a partir del entrenamiento previo con Word2Vec o GloVe. Este es un ejemplo de la incrustaci\u00f3n GloVe de la palabra &#8220;palo&#8221; (con un tama\u00f1o de vector de incrustaci\u00f3n de 200)<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/glove-embedding.png\" alt=\"\"\/><figcaption> La incrustaci\u00f3n GloVe de la palabra &#8220;palo&#8221;: un vector de 200 floats (redondeados a dos decimales). Contin\u00faa con m\u00e1s de doscientos valores. <\/figcaption><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\"><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dada su longitud y la gran cantidad de n\u00fameros, en las ilustraciones de mis publicaciones utilizo esta cuadr\u00edcula simplificada para representar vectores:<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/vector-boxes.png\" alt=\"\"\/><\/figure><\/div>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"elmo-context-matters\">ELMo: el contexto importa<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Si estamos usando esta representaci\u00f3n GloVe, entonces la palabra &#8220;palo&#8221; estar\u00eda representada por este vector sin importar el contexto. &#8220;Espera un minuto&#8221;, dijeron varios investigadores de PNL (<a href=\"https:\/\/arxiv.org\/abs\/1705.00108\">Peters et. al., 2017<\/a>&nbsp;,&nbsp;<a href=\"https:\/\/arxiv.org\/abs\/1708.00107\">McCann et. al., 2017<\/a>&nbsp;, y una vez m\u00e1s&nbsp;<a href=\"https:\/\/arxiv.org\/pdf\/1802.05365.pdf\">Peters et. al., 2018 en el art\u00edculo de ELMo<\/a>&nbsp;)&nbsp;, &#8221;&nbsp;<em>palo<\/em>&#8221; tiene m\u00faltiples significados dependiendo de d\u00f3nde se use. \u00bfPor qu\u00e9 no darle una incrustaci\u00f3n basada en el contexto en el que se usa, tanto para capturar el significado de la palabra en ese contexto como para otra informaci\u00f3n contextual?\u201d. Y as\u00ed nacieron las incrustaciones de palabras <em>contextualizadas .<\/em><\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/elmo-embedding-robin-williams.png\" alt=\"\"\/><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Las incrustaciones de palabras contextualizadas pueden dar a las palabras incrustaciones diferentes seg\u00fan el significado que tengan en el contexto de la oraci\u00f3n.&nbsp;Adem\u00e1s,&nbsp;<a href=\"https:\/\/www.youtube.com\/watch?v=OwwdgsN9wF8\">RIP Robin Williams<\/a><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">En lugar de usar una incrustaci\u00f3n fija para cada palabra, ELMo analiza la oraci\u00f3n completa antes de asignarle una incrustaci\u00f3n a cada palabra.&nbsp;Utiliza un LSTM bidireccional entrenado en una tarea espec\u00edfica para poder crear esas incrustaciones.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/elmo-word-embedding.png\" alt=\"\"\/><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">ELMo supuso un paso significativo hacia la formaci\u00f3n previa en el contexto de la PNL.&nbsp;El ELMo LSTM se entrenar\u00eda en un conjunto de datos masivo en el idioma de nuestro conjunto de datos, y luego podemos usarlo como componente en otros modelos que necesitan manejar el idioma.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u00bfCu\u00e1l es el secreto de ELMo?<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">ELMo adquiri\u00f3 su comprensi\u00f3n del idioma al ser entrenado para predecir la siguiente palabra en una secuencia de palabras, una tarea llamada <em>Modelado del Lenguaje<\/em>. Esto es muy interesante porque tenemos grandes cantidades de datos de texto de los que dicho modelo puede aprender sin necesidad de etiquetas.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/Bert-language-modeling.png\" alt=\"\"\/><figcaption>Uno de los pasos en el proceso de pre-entrenamiento de ELMo: dado &#8220;Lets stick to&#8221; como entrada, predecir la siguiente palabra m\u00e1s probable: una tarea de <em>Modelado de Lenguaje . <\/em>Cuando se entrena en un gran conjunto de datos, el modelo comienza a captar patrones de lenguaje. Es poco probable que adivine con precisi\u00f3n la siguiente palabra en este ejemplo. De manera m\u00e1s realista, despu\u00e9s de una palabra como &#8220;pasar&#8221;, asignar\u00e1 una mayor probabilidad a una palabra como &#8220;tiempo&#8221; (para conformar &#8220;pasar tiempo&#8221;) que a &#8220;c\u00e1mara&#8221;. <\/figcaption><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\"><br><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Podemos entrever cada uno de los pasos de LSTM asomando por detr\u00e1s de la cabeza de ELMo. Resultan muy \u00fatiles en el proceso de incrustaci\u00f3n despu\u00e9s de que realizar este entrenamiento previo.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">ELMo en realidad va un paso m\u00e1s all\u00e1 y entrena un LSTM bidireccional, de modo que su modelo de lenguaje no solo se hace una idea de la palabra siguiente, sino tambi\u00e9n de la palabra anterior.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/elmo-forward-backward-language-model-embedding.png\" alt=\"\"\/><figcaption> <a href=\"https:\/\/www.slideshare.net\/shuntaroy\/a-review-of-deep-contextualized-word-representations-peters-2018\">Excelente presentaci\u00f3n sobre<\/a> ELMo <\/figcaption><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\"><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">ELMo llega a la incrustaci\u00f3n contextualizada mediante la agrupaci\u00f3n de los estados ocultos (y la incrustaci\u00f3n inicial) de cierta manera (concatenaci\u00f3n seguida de suma ponderada).<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/elmo-embedding.png\" alt=\"\"\/><\/figure><\/div>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"ulm-fit-nailing-down-transfer-learning-in-nlp\">ULM-FiT: dando en la diana del Aprendizaje de Transferencia en PNL<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">ULM-FiT introdujo nuevos m\u00e9todos para utilizar de manera m\u00e1s efectiva mucho de lo que el modelo aprende durante el entrenamiento previo, m\u00e1s all\u00e1 de las meras incrustaciones e incrustaciones contextualizadas. ULM-FiT introdujo un nuevo modelo de lenguaje y un proceso para ajustar efectivamente ese modelo de lenguaje para resolver varias tareas.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La PNL tuvo por fin una forma de transferir el aprendizaje probablemente tan bien como lo hace la Visi\u00f3n Computerizada. <\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"the-transformer-going-beyond-lstms\">El Transformer: yendo m\u00e1s all\u00e1 que los LSTM<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">El lanzamiento del paper y el c\u00f3digo de Transformer, y los resultados que logr\u00f3 en tareas como la traducci\u00f3n autom\u00e1tica, comenzaron a hacer que algunos pensaran en ellos como un reemplazo de los LSTM. Esto se vio agravado por el hecho de que los Transformers manejan las dependencias a largo plazo mejor que los LSTM.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La estructura Codificador-Decodificador del Transformer lo hizo perfecto para la traducci\u00f3n autom\u00e1tica. Pero, \u00bfc\u00f3mo lo usar\u00edas para la clasificaci\u00f3n de oraciones? \u00bfC\u00f3mo lo usar\u00eda para entrenar previamente un modelo de idioma que se puede ajustar para otras tareas (tareas posteriores <em>es<\/em>&nbsp;lo que el campo llama tareas de aprendizaje supervisado que utilizan un modelo o componente entrenado previamente).<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"openai-transformer-pre-training-a-transformer-decoder-for-language-modeling\">OpenAI Transformer: pre-entrenando un Decodificador de Transformer para  Modelado de Lenguaje<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Resulta que no necesitamos un Transformer completo para adoptar el aprendizaje por transferencia y un modelo de lenguaje ajustable para tareas de PNL. Podemos hacerlo solo con el decodificador del Transformer. El decodificador es una buena opci\u00f3n porque es una opci\u00f3n natural para el modelado del lenguaje (predecir la siguiente palabra) ya que est\u00e1 dise\u00f1ado para enmascarar tokens futuros, una caracter\u00edstica valiosa cuando genera una traducci\u00f3n palabra por palabra.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/openai-transformer-1.png\" alt=\"\"\/><figcaption> El transformer OpenAI est\u00e1 integrado por la pila de decodificadores del Transformer <\/figcaption><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\"><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">El modelo apil\u00f3 doce capas de decodificador. Dado que no hay codificador en esta configuraci\u00f3n, estas capas de decodificador no tendr\u00edan la subcapa de atenci\u00f3n de codificador-decodificador que tienen las capas de decodificador de Transformer est\u00e1ndar. Sin embargo, todav\u00eda tendr\u00eda la capa de auto atenci\u00f3n (enmascarada para que no alcance su punto m\u00e1ximo en tokens futuros).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Con esta estructura, podemos proceder a entrenar el modelo en la misma tarea de modelado de lenguaje: predecir la siguiente palabra utilizando conjuntos de datos masivos (sin etiquetar). \u00a1M\u00e9tele 7.000 libros y que aprenda! Los libros son excelentes para este tipo de tareas, ya que permiten que el modelo aprenda a asociar informaci\u00f3n relacionada, incluso si est\u00e1n separados por mucho texto, algo que no se obtiene, por ejemplo, cuando se entrena con tweets o art\u00edculos.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/openai-transformer-language-modeling.png\" alt=\"\"\/><figcaption> OpenAI Transformer listo para ser entrenado para predecir la siguiente palabra, con un conjunto de datos compuesto por 7.000 libros. <\/figcaption><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\"><\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"transfer-learning-to-downstream-tasks\">Aprendizaje por transferencia a tareas posteriores<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Ahora que el Transformer OpenAI est\u00e1 preentrenado y sus capas se han ajustado para manejar razonablemente el lenguaje, podemos comenzar a usarlo para tareas posteriores. Primero veamos la clasificaci\u00f3n de oraciones (clasificar un mensaje de correo electr\u00f3nico como &#8220;spam&#8221; o &#8220;no spam&#8221;):<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/openai-transformer-sentence-classification.png\" alt=\"\"\/><figcaption> C\u00f3mo usar un Transformer OpenAI preentrenado para clasificar oraciones <\/figcaption><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\"><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">El documento de OpenAI describe una serie de transformaciones de entrada para manejar las entradas para diferentes tipos de tareas.&nbsp;La siguiente imagen del paper muestra las estructuras de los modelos y las transformaciones de entrada para llevar a cabo diferentes tareas.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/openai-input%20transformations.png\" alt=\"\"\/><figcaption> Muy inteligente, no? <\/figcaption><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\"><\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"bert-from-decoders-to-encoders\">BERT: de Decodificadores a Codificadores<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">El Transformer openAI nos brind\u00f3 un modelo preentrenado ajustable con precisi\u00f3n basado en el Transformer. Pero  faltaba algo en esta transici\u00f3n de LSTM a Transformers. El modelo de lenguaje de ELMo era bidireccional, pero el Transformer openAI solo entrena un modelo de lenguaje directo. \u00bfPodr\u00edamos construir un modelo basado en Transformers cuyo modelo de lenguaje mire tanto hacia adelante como hacia atr\u00e1s (en la jerga t\u00e9cnica, \u201cest\u00e9 condicionado tanto en el contexto izquierdo como en el derecho\u201d)?<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8220;Agu\u00e1ntame la cerveza&#8221;, dijo BERT -R.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"masked-language-model\">Modelo de lenguaje enmascarado<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u201cUsaremos codificadores de transformer\u201d, dijo BERT.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8220;Eso es una locura&#8221;, respondi\u00f3 Ernie, &#8220;Todo el mundo sabe que el condicionamiento bidireccional permitir\u00eda que cada palabra se viera indirectamente en un contexto de varias capas&#8221;.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u201cUsaremos m\u00e1scaras\u201d, sentenci\u00f3 BERT.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/BERT-language-modeling-masked-lm.png\" alt=\"\"\/><figcaption> El proceso de modelado de lenguaje inteligente de BERT enmascara el 15% de las palabras en la entrada y le pide al modelo que prediga la palabra que falta. <\/figcaption><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\"><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Encontrar la tarea correcta para entrenar una pila de codificadores de Transformer es un obst\u00e1culo complejo que BERT resuelve adoptando un concepto de &#8220;modelo de lenguaje enmascarado&#8221; de la literatura anterior (donde se denomina tarea Cloze).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">M\u00e1s all\u00e1 de enmascarar el 15% de la entrada, BERT tambi\u00e9n mezcla un poco las cosas para mejorar la forma en que el modelo se ajusta m\u00e1s tarde.&nbsp;A veces reemplaza aleatoriamente una palabra con otra palabra y le pide al modelo que prediga la palabra correcta en esa posici\u00f3n.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"two-sentence-tasks\">Tareas de dos oraciones<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Si miramos atr\u00e1s en las transformaciones de entrada que hace el Transformer OpenAI para gestionar diferentes tareas, notaremos que algunas tareas requieren que el modelo diga algo inteligente sobre dos oraciones (por ejemplo, \u00bfson simplemente versiones parafraseadas una de la otra? Dada una entrada de wikipedia como entrada, y una pregunta sobre esa entrada como otra entrada, \u00bfpodemos responder esa pregunta?).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Para hacer que BERT sea mejor en el manejo de relaciones entre m\u00faltiples oraciones, el proceso de entrenamiento previo incluye una tarea adicional: dadas dos oraciones (A y B), \u00bfes probable que B sea la oraci\u00f3n que sigue a A, o no?<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/bert-next-sentence-prediction.png\" alt=\"\"\/><figcaption> La segunda tarea en la que BERT est\u00e1 pre-entrenado es una tarea de clasificaci\u00f3n de dos oraciones. La tokenizaci\u00f3n esta muy simplificada en este gr\u00e1fico, ya que BERT en realidad usa WordPieces como tokens en lugar de palabras, por lo que algunas palabras se dividen en fragmentos m\u00e1s peque\u00f1os. <\/figcaption><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\"><\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"task-specific-models\">Modelos espec\u00edficos de tareas<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">El paper de BERT muestra varias formas de usar BERT para diferentes tareas.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/bert-tasks.png\" alt=\"\"\/><\/figure><\/div>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"bert-for-feature-extraction\">BERT para extracci\u00f3n de caracter\u00edsticas<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">El enfoque de Ajuste Fino no es la \u00fanica forma de utilizar BERT. Al igual que ELMo, se puede usar BERT previamente entrenado para crear incrustaciones de palabras contextualizadas. Luego, se puede alimentar estas incrustaciones a un modelo existente, un proceso que el paper muestra que produce resultados no muy lejanos del Ajuste Fino de BERT en tareas como el reconocimiento de entidades.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/bert-contexualized-embeddings.png\" alt=\"\"\/><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">\u00bfQu\u00e9 vector funciona mejor como incrustaci\u00f3n contextualizada?&nbsp;Yo creo que depende de la tarea.&nbsp;El documento examina seis opciones (en comparaci\u00f3n con el modelo ajustado que logr\u00f3 una puntuaci\u00f3n de 96,4):<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/jalammar.github.io\/images\/bert-feature-extraction-contextualized-embeddings.png\" alt=\"\"\/><\/figure><\/div>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"take-bert-out-for-a-spin\">Dale a BERT una vuelta de tuerca<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">La mejor manera de probar BERT es a trav\u00e9s del&nbsp;<a href=\"https:\/\/colab.research.google.com\/github\/tensorflow\/tpu\/blob\/master\/tools\/colab\/bert_finetuning_with_cloud_tpus.ipynb\">cuaderno BERT FineTuning con Cloud TPU<\/a> alojado en Google Colab. Si nunca ha usado Cloud TPU antes, este tambi\u00e9n es un buen punto de partida, ya que el c\u00f3digo BERT tambi\u00e9n funciona en TPU, CPU y GPU.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">El siguiente paso ser\u00eda mirar el c\u00f3digo en el&nbsp;<a href=\"https:\/\/github.com\/google-research\/bert\">repositorio BERT<\/a>&nbsp;:<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li>El modelo est\u00e1 construido en&nbsp;<a href=\"https:\/\/github.com\/google-research\/bert\/blob\/master\/modeling.py\">modeling.py<\/a>&nbsp;(&nbsp;<code>class BertModel<\/code>) y es pr\u00e1cticamente id\u00e9ntico a un codificador Transformer de Vanilla.<\/li><li><a href=\"https:\/\/github.com\/google-research\/bert\/blob\/master\/run_classifier.py\">run_classifier.py<\/a> es un ejemplo del proceso de ajuste. Tambi\u00e9n construye la capa de clasificaci\u00f3n para el modelo supervisado. Si deseas construir tu propio clasificador, consulta el m\u00e9todo <code>create_model()<\/code>en ese archivo.<\/li><li>Existen varios modelos preentrenados disponibles para descargar. Incluyen BERT Base y BERT Large, as\u00ed como idiomas como ingl\u00e9s, chino y un modelo multiling\u00fce que cubre 102 idiomas entrenados en wikipedia.<\/li><li>BERT no entiende las palabras como fichas, sino m\u00e1s bien como WordPieces. <a href=\"https:\/\/github.com\/google-research\/bert\/blob\/master\/tokenization.py\">tokenization.py<\/a> es el tokenizador que puede convertir tus palabras en tokens apropiadas para BERT.<\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Consulta tambi\u00e9n la <a href=\"https:\/\/github.com\/huggingface\/pytorch-pretrained-BERT\">implementaci\u00f3n PyTorch de BERT<\/a>.&nbsp;La biblioteca&nbsp;<a href=\"https:\/\/github.com\/allenai\/allennlp\">AllenNLP<\/a>&nbsp;usa esta implementaci\u00f3n para&nbsp;<a href=\"https:\/\/github.com\/allenai\/allennlp\/pull\/2067\">permitir el uso de incrustaciones BERT<\/a>&nbsp;con cualquier modelo.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"acknowledgements\">Agradecimientos<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Gracias a&nbsp;<a href=\"https:\/\/github.com\/jacobdevlin-google\">Jacob Devlin<\/a>&nbsp;,&nbsp;<a href=\"https:\/\/twitter.com\/nlpmattg\">Matt Gardner<\/a>&nbsp;,&nbsp;<a href=\"https:\/\/github.com\/kentonl\">Kenton Lee<\/a>&nbsp;,&nbsp;<a href=\"https:\/\/twitter.com\/markneumannnn\">Mark Neumann<\/a>&nbsp;y&nbsp;<a href=\"https:\/\/twitter.com\/mattthemathman\">Matthew Peters<\/a>&nbsp;por brindar sus comentarios sobre los borradores anteriores de esta publicaci\u00f3n.<br>Escrito el 3 de diciembre de 2018<\/p>\n\n\n<div class=\"kk-star-ratings kksr-auto kksr-align-right kksr-valign-bottom\"\n    data-payload='{&quot;align&quot;:&quot;right&quot;,&quot;id&quot;:&quot;5966&quot;,&quot;slug&quot;:&quot;default&quot;,&quot;valign&quot;:&quot;bottom&quot;,&quot;ignore&quot;:&quot;&quot;,&quot;reference&quot;:&quot;auto&quot;,&quot;class&quot;:&quot;&quot;,&quot;count&quot;:&quot;0&quot;,&quot;legendonly&quot;:&quot;&quot;,&quot;readonly&quot;:&quot;&quot;,&quot;score&quot;:&quot;0&quot;,&quot;starsonly&quot;:&quot;&quot;,&quot;best&quot;:&quot;5&quot;,&quot;gap&quot;:&quot;5&quot;,&quot;greet&quot;:&quot;Valora este art\u00edculo&quot;,&quot;legend&quot;:&quot;0\\\/5 - (0 votes)&quot;,&quot;size&quot;:&quot;24&quot;,&quot;title&quot;:&quot;Los insignes BERT, ELMo y compa\u00f1\u00eda. (C\u00f3mo PNL descifr\u00f3 el aprendizaje de transferencia)&quot;,&quot;width&quot;:&quot;0&quot;,&quot;_legend&quot;:&quot;{score}\\\/{best} - ({count} {votes})&quot;,&quot;font_factor&quot;:&quot;1.25&quot;}'>\n            \n<div class=\"kksr-stars\">\n    \n<div class=\"kksr-stars-inactive\">\n            <div class=\"kksr-star\" data-star=\"1\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" data-star=\"2\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" data-star=\"3\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" data-star=\"4\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" data-star=\"5\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n    <\/div>\n    \n<div class=\"kksr-stars-active\" style=\"width: 0px;\">\n            <div class=\"kksr-star\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n    <\/div>\n<\/div>\n                \n\n<div class=\"kksr-legend\" style=\"font-size: 19.2px;\">\n            <span class=\"kksr-muted\">Valora este art\u00edculo<\/span>\n    <\/div>\n    <\/div>\n","protected":false},"excerpt":{"rendered":"Translation into Spanish of an interesting article by Jay Alammar, a brilliant ML research engineer, builder, writter and developper focused on NLP language models and visualization.","protected":false},"author":8,"featured_media":6127,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[80],"tags":[257,258,247,218],"class_list":["post-5966","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-translations-spanish","tag-bert","tag-elmo","tag-nlp","tag-translation-into-spanish"],"acf":[],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"Translation into Spanish of an interesting article by Jay Alammar, a brilliant ML research engineer, builder, writter and developper focused on NLP language models and visualization.\" \/>\n\t<meta name=\"robots\" content=\"max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n\t<meta name=\"author\" content=\"Mauri\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/www.ibidem-translations.com\/edu\/traduccion-bert-elmo-pnl\/\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"en_US\" \/>\n\t\t<meta property=\"og:site_name\" content=\"IBIDEM TRANSLATIONS EDU |\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"Los insignes BERT, ELMo y compa\u00f1\u00eda. (C\u00f3mo PNL descifr\u00f3 el aprendizaje de transferencia)\" \/>\n\t\t<meta property=\"og:description\" content=\"Translation into Spanish of an interesting article by Jay Alammar, a brilliant ML research engineer, builder, writter and developper focused on NLP language models and visualization.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/www.ibidem-translations.com\/edu\/traduccion-bert-elmo-pnl\/\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2022-05-02T16:02:33+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2022-11-04T10:20:38+00:00\" \/>\n\t\t<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n\t\t<meta name=\"twitter:title\" content=\"Los insignes BERT, ELMo y compa\u00f1\u00eda. (C\u00f3mo PNL descifr\u00f3 el aprendizaje de transferencia)\" \/>\n\t\t<meta name=\"twitter:description\" content=\"Translation into Spanish of an interesting article by Jay Alammar, a brilliant ML research engineer, builder, writter and developper focused on NLP language models and visualization.\" \/>\n\t\t<script type=\"application\/ld+json\" class=\"aioseo-schema\">\n\t\t\t{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/traduccion-bert-elmo-pnl\\\/#article\",\"name\":\"Los insignes BERT, ELMo y compa\\u00f1\\u00eda. (C\\u00f3mo PNL descifr\\u00f3 el aprendizaje de transferencia)\",\"headline\":\"Los insignes BERT, ELMo y compa\\u00f1\\u00eda. (C\\u00f3mo PNL descifr\\u00f3 el aprendizaje de transferencia)\",\"author\":{\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/author\\\/mau\\\/#author\"},\"publisher\":{\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/#organization\"},\"image\":{\"@type\":\"ImageObject\",\"url\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/wp-content\\\/uploads\\\/2022\\\/05\\\/ilustrated_bert_elmo_transfer_learning.jpg\",\"width\":1140,\"height\":380,\"caption\":\"How NLP cracked transfer learning.\"},\"datePublished\":\"2022-05-02T18:02:33+02:00\",\"dateModified\":\"2022-11-04T11:20:38+01:00\",\"inLanguage\":\"en-US\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/traduccion-bert-elmo-pnl\\\/#webpage\"},\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/traduccion-bert-elmo-pnl\\\/#webpage\"},\"articleSection\":\"Translations into Spanish, bert, elmo, nlp, translation into spanish\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/traduccion-bert-elmo-pnl\\\/#breadcrumblist\",\"itemListElement\":[{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/#listItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/\",\"nextItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/translations-spanish\\\/#listItem\",\"name\":\"Translations into Spanish\"}},{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/translations-spanish\\\/#listItem\",\"position\":2,\"name\":\"Translations into Spanish\",\"item\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/translations-spanish\\\/\",\"nextItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/traduccion-bert-elmo-pnl\\\/#listItem\",\"name\":\"Los insignes BERT, ELMo y compa\\u00f1\\u00eda. (C\\u00f3mo PNL descifr\\u00f3 el aprendizaje de transferencia)\"},\"previousItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/#listItem\",\"name\":\"Home\"}},{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/traduccion-bert-elmo-pnl\\\/#listItem\",\"position\":3,\"name\":\"Los insignes BERT, ELMo y compa\\u00f1\\u00eda. (C\\u00f3mo PNL descifr\\u00f3 el aprendizaje de transferencia)\",\"previousItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/translations-spanish\\\/#listItem\",\"name\":\"Translations into Spanish\"}}]},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/#organization\",\"name\":\"IBIDEM TRANSLATIONS EDU\",\"url\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/\"},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/author\\\/mau\\\/#author\",\"url\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/author\\\/mau\\\/\",\"name\":\"Mauri\",\"image\":{\"@type\":\"ImageObject\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/traduccion-bert-elmo-pnl\\\/#authorImage\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/b7b325afa7a8af8c21ac26bbaac9118b81803ff10d6c403a1b84df7063a874dd?s=96&d=mm&r=g\",\"width\":96,\"height\":96,\"caption\":\"Mauri\"}},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/traduccion-bert-elmo-pnl\\\/#webpage\",\"url\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/traduccion-bert-elmo-pnl\\\/\",\"name\":\"Los insignes BERT, ELMo y compa\\u00f1\\u00eda. (C\\u00f3mo PNL descifr\\u00f3 el aprendizaje de transferencia)\",\"description\":\"Translation into Spanish of an interesting article by Jay Alammar, a brilliant ML research engineer, builder, writter and developper focused on NLP language models and visualization.\",\"inLanguage\":\"en-US\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/#website\"},\"breadcrumb\":{\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/traduccion-bert-elmo-pnl\\\/#breadcrumblist\"},\"author\":{\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/author\\\/mau\\\/#author\"},\"creator\":{\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/author\\\/mau\\\/#author\"},\"image\":{\"@type\":\"ImageObject\",\"url\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/wp-content\\\/uploads\\\/2022\\\/05\\\/ilustrated_bert_elmo_transfer_learning.jpg\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/traduccion-bert-elmo-pnl\\\/#mainImage\",\"width\":1140,\"height\":380,\"caption\":\"How NLP cracked transfer learning.\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/traduccion-bert-elmo-pnl\\\/#mainImage\"},\"datePublished\":\"2022-05-02T18:02:33+02:00\",\"dateModified\":\"2022-11-04T11:20:38+01:00\"},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/#website\",\"url\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/\",\"name\":\"IBIDEM TRANSLATIONS EDU\",\"inLanguage\":\"en-US\",\"publisher\":{\"@id\":\"https:\\\/\\\/www.ibidem-translations.com\\\/edu\\\/#organization\"}}]}\n\t\t<\/script>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"Los insignes BERT, ELMo y compa\u00f1\u00eda. (C\u00f3mo PNL descifr\u00f3 el aprendizaje de transferencia)","description":"Translation into Spanish of an interesting article by Jay Alammar, a brilliant ML research engineer, builder, writter and developper focused on NLP language models and visualization.","canonical_url":"https:\/\/www.ibidem-translations.com\/edu\/traduccion-bert-elmo-pnl\/","robots":"max-snippet:-1, max-image-preview:large, max-video-preview:-1","keywords":"","webmasterTools":{"miscellaneous":""},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www.ibidem-translations.com\/edu\/traduccion-bert-elmo-pnl\/#article","name":"Los insignes BERT, ELMo y compa\u00f1\u00eda. (C\u00f3mo PNL descifr\u00f3 el aprendizaje de transferencia)","headline":"Los insignes BERT, ELMo y compa\u00f1\u00eda. (C\u00f3mo PNL descifr\u00f3 el aprendizaje de transferencia)","author":{"@id":"https:\/\/www.ibidem-translations.com\/edu\/author\/mau\/#author"},"publisher":{"@id":"https:\/\/www.ibidem-translations.com\/edu\/#organization"},"image":{"@type":"ImageObject","url":"https:\/\/www.ibidem-translations.com\/edu\/wp-content\/uploads\/2022\/05\/ilustrated_bert_elmo_transfer_learning.jpg","width":1140,"height":380,"caption":"How NLP cracked transfer learning."},"datePublished":"2022-05-02T18:02:33+02:00","dateModified":"2022-11-04T11:20:38+01:00","inLanguage":"en-US","mainEntityOfPage":{"@id":"https:\/\/www.ibidem-translations.com\/edu\/traduccion-bert-elmo-pnl\/#webpage"},"isPartOf":{"@id":"https:\/\/www.ibidem-translations.com\/edu\/traduccion-bert-elmo-pnl\/#webpage"},"articleSection":"Translations into Spanish, bert, elmo, nlp, translation into spanish"},{"@type":"BreadcrumbList","@id":"https:\/\/www.ibidem-translations.com\/edu\/traduccion-bert-elmo-pnl\/#breadcrumblist","itemListElement":[{"@type":"ListItem","@id":"https:\/\/www.ibidem-translations.com\/edu\/#listItem","position":1,"name":"Home","item":"https:\/\/www.ibidem-translations.com\/edu\/","nextItem":{"@type":"ListItem","@id":"https:\/\/www.ibidem-translations.com\/edu\/translations-spanish\/#listItem","name":"Translations into Spanish"}},{"@type":"ListItem","@id":"https:\/\/www.ibidem-translations.com\/edu\/translations-spanish\/#listItem","position":2,"name":"Translations into Spanish","item":"https:\/\/www.ibidem-translations.com\/edu\/translations-spanish\/","nextItem":{"@type":"ListItem","@id":"https:\/\/www.ibidem-translations.com\/edu\/traduccion-bert-elmo-pnl\/#listItem","name":"Los insignes BERT, ELMo y compa\u00f1\u00eda. (C\u00f3mo PNL descifr\u00f3 el aprendizaje de transferencia)"},"previousItem":{"@type":"ListItem","@id":"https:\/\/www.ibidem-translations.com\/edu\/#listItem","name":"Home"}},{"@type":"ListItem","@id":"https:\/\/www.ibidem-translations.com\/edu\/traduccion-bert-elmo-pnl\/#listItem","position":3,"name":"Los insignes BERT, ELMo y compa\u00f1\u00eda. (C\u00f3mo PNL descifr\u00f3 el aprendizaje de transferencia)","previousItem":{"@type":"ListItem","@id":"https:\/\/www.ibidem-translations.com\/edu\/translations-spanish\/#listItem","name":"Translations into Spanish"}}]},{"@type":"Organization","@id":"https:\/\/www.ibidem-translations.com\/edu\/#organization","name":"IBIDEM TRANSLATIONS EDU","url":"https:\/\/www.ibidem-translations.com\/edu\/"},{"@type":"Person","@id":"https:\/\/www.ibidem-translations.com\/edu\/author\/mau\/#author","url":"https:\/\/www.ibidem-translations.com\/edu\/author\/mau\/","name":"Mauri","image":{"@type":"ImageObject","@id":"https:\/\/www.ibidem-translations.com\/edu\/traduccion-bert-elmo-pnl\/#authorImage","url":"https:\/\/secure.gravatar.com\/avatar\/b7b325afa7a8af8c21ac26bbaac9118b81803ff10d6c403a1b84df7063a874dd?s=96&d=mm&r=g","width":96,"height":96,"caption":"Mauri"}},{"@type":"WebPage","@id":"https:\/\/www.ibidem-translations.com\/edu\/traduccion-bert-elmo-pnl\/#webpage","url":"https:\/\/www.ibidem-translations.com\/edu\/traduccion-bert-elmo-pnl\/","name":"Los insignes BERT, ELMo y compa\u00f1\u00eda. (C\u00f3mo PNL descifr\u00f3 el aprendizaje de transferencia)","description":"Translation into Spanish of an interesting article by Jay Alammar, a brilliant ML research engineer, builder, writter and developper focused on NLP language models and visualization.","inLanguage":"en-US","isPartOf":{"@id":"https:\/\/www.ibidem-translations.com\/edu\/#website"},"breadcrumb":{"@id":"https:\/\/www.ibidem-translations.com\/edu\/traduccion-bert-elmo-pnl\/#breadcrumblist"},"author":{"@id":"https:\/\/www.ibidem-translations.com\/edu\/author\/mau\/#author"},"creator":{"@id":"https:\/\/www.ibidem-translations.com\/edu\/author\/mau\/#author"},"image":{"@type":"ImageObject","url":"https:\/\/www.ibidem-translations.com\/edu\/wp-content\/uploads\/2022\/05\/ilustrated_bert_elmo_transfer_learning.jpg","@id":"https:\/\/www.ibidem-translations.com\/edu\/traduccion-bert-elmo-pnl\/#mainImage","width":1140,"height":380,"caption":"How NLP cracked transfer learning."},"primaryImageOfPage":{"@id":"https:\/\/www.ibidem-translations.com\/edu\/traduccion-bert-elmo-pnl\/#mainImage"},"datePublished":"2022-05-02T18:02:33+02:00","dateModified":"2022-11-04T11:20:38+01:00"},{"@type":"WebSite","@id":"https:\/\/www.ibidem-translations.com\/edu\/#website","url":"https:\/\/www.ibidem-translations.com\/edu\/","name":"IBIDEM TRANSLATIONS EDU","inLanguage":"en-US","publisher":{"@id":"https:\/\/www.ibidem-translations.com\/edu\/#organization"}}]},"og:locale":"en_US","og:site_name":"IBIDEM TRANSLATIONS EDU |","og:type":"article","og:title":"Los insignes BERT, ELMo y compa\u00f1\u00eda. (C\u00f3mo PNL descifr\u00f3 el aprendizaje de transferencia)","og:description":"Translation into Spanish of an interesting article by Jay Alammar, a brilliant ML research engineer, builder, writter and developper focused on NLP language models and visualization.","og:url":"https:\/\/www.ibidem-translations.com\/edu\/traduccion-bert-elmo-pnl\/","article:published_time":"2022-05-02T16:02:33+00:00","article:modified_time":"2022-11-04T10:20:38+00:00","twitter:card":"summary_large_image","twitter:title":"Los insignes BERT, ELMo y compa\u00f1\u00eda. (C\u00f3mo PNL descifr\u00f3 el aprendizaje de transferencia)","twitter:description":"Translation into Spanish of an interesting article by Jay Alammar, a brilliant ML research engineer, builder, writter and developper focused on NLP language models and visualization."},"aioseo_meta_data":{"post_id":"5966","title":null,"description":null,"keywords":null,"keyphrases":null,"focus_keyword":null,"additional_keywords":null,"truseo_locale":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_custom_url":null,"og_image_custom_fields":null,"og_image_url":null,"og_image_width":null,"og_image_height":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_image_url":null,"twitter_title":null,"twitter_description":null,"schema_type":"default","schema_type_options":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"limit_modified_date":false,"ai":null,"breadcrumb_settings":null,"seo_analyzer_scan_date":null,"created":"2026-10-22 21:56:35","updated":"2026-10-22 21:56:35"},"aioseo_breadcrumb":"<div class=\"aioseo-breadcrumbs\"><span class=\"aioseo-breadcrumb\">\n\t\t\t<a href=\"https:\/\/www.ibidem-translations.com\/edu\/\" title=\"Home\">Home<\/a>\n\t\t<\/span><span class=\"aioseo-breadcrumb-separator\">\u00bb<\/span><span class=\"aioseo-breadcrumb\">\n\t\t\t<a href=\"https:\/\/www.ibidem-translations.com\/edu\/translations-spanish\/\" title=\"Translations into Spanish\">Translations into Spanish<\/a>\n\t\t<\/span><span class=\"aioseo-breadcrumb-separator\">\u00bb<\/span><span class=\"aioseo-breadcrumb\">\n\t\t\tLos insignes BERT, ELMo y compa\u00f1\u00eda. (C\u00f3mo PNL descifr\u00f3 el aprendizaje de transferencia)\n\t\t<\/span><\/div>","aioseo_breadcrumb_json":[{"label":"Home","link":"https:\/\/www.ibidem-translations.com\/edu\/"},{"label":"Translations into Spanish","link":"https:\/\/www.ibidem-translations.com\/edu\/translations-spanish\/"},{"label":"Los insignes BERT, ELMo y compa\u00f1\u00eda. (C\u00f3mo PNL descifr\u00f3 el aprendizaje de transferencia)","link":"https:\/\/www.ibidem-translations.com\/edu\/traduccion-bert-elmo-pnl\/"}],"_links":{"self":[{"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/posts\/5966","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/users\/8"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/comments?post=5966"}],"version-history":[{"count":37,"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/posts\/5966\/revisions"}],"predecessor-version":[{"id":8292,"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/posts\/5966\/revisions\/8292"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/media\/6127"}],"wp:attachment":[{"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/media?parent=5966"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/categories?post=5966"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ibidem-translations.com\/edu\/wp-json\/wp\/v2\/tags?post=5966"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}