Resumen breve del contenido
En este vídeo de Palabras Binarias: Informática para lingüistas explicamos qué son los tokens (frecuencia de uso) y los types (frecuencia de inventario), cómo se calculan y para qué sirven en el análisis de corpus lingüísticos.
También aprenderás a calcular el Type-Token Ratio (TTR), una medida utilizada para analizar la diversidad léxica de los textos, y veremos algunos ejemplos prácticos utilizando ESLORA, el Corpus para el Estudio del Español Oral.
📚 ¿Qué aprenderás en este vídeo?
- Qué son los tokens y los types en lingüística de corpus.
- Diferencias entre frecuencia de uso y frecuencia de inventario.
- Cómo calcular el Type-Token Ratio (TTR).
- Cómo interpretar la diversidad léxica de un texto.
- Cómo consultar tokens y types en un corpus lingüístico.
📩 Suscríbete para no perderte los próximos vídeos.
Enlaces de interés
- Visual Studio Code: "https://code.visualstudio.com"
Transcripción
Bienvenidos y bienvenidas a una nueva entrega de Palabras binarias: Informática para lingüistas. Ya sabéis que aquí podéis estar informados sobre diferentes cuestiones relacionadas con la lingüística computacional, la lingüística de corpus, la inteligencia artificial y la informática en general.
Hoy vamos a hablar de tokens y types, qué es esto de la frecuencia de uso y la frecuencia de inventario. Vamos a verlo. Token y type son conceptos o palabras utilizadas en diferentes subáreas de la lingüística computacional y por eso conviene aclarar aquí que me voy a referir al significado que tienen dentro de, tradicionalmente dentro de la lingüística de corpus.
Tenemos por una parte que los tokens o frecuencia de uso es el número total de palabras que aparecen en un texto o conjunto de textos contando todas las repeticiones de las palabras y, por contra, types, o frecuencia de inventario, es el número de palabras diferentes que aparecen en un texto sin contar las repeticiones.
Por si no queda claro de las explicaciones tenemos ahí el ejemplo: "el gato come pescado y el perro come carne". Ahí habría, si eso fuera un documento y sólo tuviera ese texto, habría nueve tokens que son las nueve palabras que hay en el documento, en este caso sería "el", "gato", "come", "pescado", "y", "el", "perro", "come", "carne", son nueve palabras y habría siete types, "el", "gato", "come", "pescado", "y", "perro" y "carne". ¿Por qué? Pues porque "el" aparece dos veces y "come" aparece dos veces y sólo se cuenta una vez. Espero que se entienda el concepto, tokens, las palabras con todas sus repeticiones, types, se cuenta cada palabra diferente una única vez.
A veces estos dos conceptos se utilizan para crear el type token ratio, que sería, que permite analizar la diversidad léxica de un texto. A mayor TTR mayor diversidad léxica y se calcularía dividiendo los types entre los tokens y multiplicarlos por 100, sería un porcentaje, ¿vale? Creo que se entiende bien por qué representa un mayor TTR, una mayor diversidad léxica. A medida que tenemos más types tenemos más palabras diferentes, más riqueza léxica. A medida que tenemos menos types, pues tenemos menos palabras diferentes, habría menor diversidad léxica. Aquí en el ejemplo anterior, el TTR, si dividimos 7 entre 9 y lo multiplicamos por 100, nos daría un 77,8%, ¿vale?
Bien, vamos a ver cómo podemos utilizar estos conceptos pero dentro de lo que son las consultas de un corpus, y para ello vamos a utilizar el corpus ESLORA, el corpus para el estudio del español oral, que, bueno, ya tenéis varios vídeos en nuestro canal donde podéis ver detalles sobre qué tipo de corpus es y qué búsquedas se pueden hacer en él.
Vale, aquí en ESLORA, voy a abrir la aplicación, la tenemos aquí y vamos a ir a "Búsquedas" y aquí en "Búsquedas" vamos a ir al apartado de inventarios, ¿vale? Fijaos, si yo busco aquí un asterisco, que es buscar todas las palabras, me voy a poner aquí idioma "cualquiera" para que me coja todas las palabras del corpus, en una búsqueda de inventario lo que nos va a hacer es inventariar, o sea, listar todas las palabras diferentes del corpus y nos va a decir cuántas veces aparece cada palabra, ¿veis? Las tenéis aquí a la izquierda y aquí cuántas veces aparece. Veis aquí que aparece "resultados 1 a 50 de 26.483" y entre paréntesis "799.474". Bien, pues 799.474, y ya aparece ahí la información cuando pasamos con el ratón por encima del número, es la frecuencia de uso, es decir, el número total de palabras del corpus y 26.483 es el número de palabras diferentes del corpus, ¿vale? Es la frecuencia de inventario, los types, ¿vale? Estos serían los types y estos los tokens. Esto podríamos hacerlo para ver pues la riqueza léxica de un corpus o de un subcorpus, si yo aquí limito el subcorpus podría comparar la riqueza léxica pues eso, de los menores de 19 años con respecto a las personas de 35 a 54, ¿no? Por ejemplo, podríamos comparar la riqueza léxica comparando todo el corpus o todo el subcorpus.
Pero esto también se puede llegar a utilizar, a ver, no tiene mucho sentido poner sólo una palabra, si yo pongo aquí "deshacer" y nos sale aquí una palabra, "deshacer", y aquí nos dice "resultados 1 a 1 de 6", o sea, la frecuencia de uso es 1 para la palabra "deshacer" cuando la estoy buscando. Esto no tiene mucho sentido esta búsqueda, ¿no? Porque estoy buscando sólo una palabra. Dice que sí, que aparece una vez la palabra "deshacer" en 6, o sea, 6 veces. La palabra "deshacer" aparece 6 veces en el corpus. El 6 sí sería su frecuencia en el corpus, pero este 1 no nos dice mucho, ¿vale?
Pero si nos vamos aquí a elementos gramaticales y buscamos el lema "deshacer", esto sí que, bueno, podría llegar a ser útil si queremos analizar un poco la variabilidad léxica de algún lema o de alguna categoría gramatical frente a otra. Por ejemplo, si buscamos aquí, como decía, el lema "deshacer", nos dice "resultados 1 a 6 de 26". 26 es el número de veces que aparece cualquier forma que tiene lema "deshacer", y 6 es el número de formas diferentes que aparecen en el corpus relacionadas con el lema "deshacer", ¿vale? Esto puede ser resultar de utilidad para hacer ciertos tipos de estudios y análisis, ¿vale?
Y de la misma manera, pues podríamos utilizarlo aquí con categorías, podríamos incluso comparar la riqueza léxica por, bueno, por categorías, si eso puede llegar a tener sentido en algún momento, ¿vale? Yo simplemente voy a buscar aquí los sustantivos, ¿vale? Acabo de hacer una búsqueda de todos los sustantivos del corpus. Nos dice aquí que hay 106.902 sustantivos, los tokens, el número de sustantivos total que hay en el corpus, y este es la frecuencia de inventario, el número de sustantivos diferentes que hay en el corpus, ¿lo veis? Vale, o sea que estos valores de tokens y types se pueden utilizar para calcular variabilidad léxica dentro de corpus o subcorpus, o incluso dentro de un documento, pero bueno, también se podría usar para hacer ciertos estudios cuando se hacen búsquedas por lema o etiqueta. ¿Sí?
Bueno, si os queda alguna duda sobre esto podéis mandarnos un mensaje en la web de palabrasbinarias.com, como siempre, o incluso dejarnos un comentario en YouTube, que es donde se publican también estos vídeos.
Antes de despedirme, os recuerdo que aquí en palabrasbinarias.com tenéis una campanita donde os podéis suscribir a nuestro boletín informativo. Ahí enviamos información de vez en cuando sobre..., cada vez que publicamos uno de estos vídeos y sobre los cursos que vamos organizando, y además la gente que está ahí suele tener un descuento por hacer, por realizar nuestros cursos.
Así que nada, os invito a que os suscribáis, es gratuito, y nada, espero que os haya gustado el vídeo y hasta la próxima. ¡Chao!
