Muestrear no es pecado

Construyendo un simulador de encuestas con Claude Code

Sun, 08 Mar 2026 23:00:00 GMT

Listening

La idea

Llevo tiempo queriendo hacer una herramienta educativa para enseñar conceptos de muestreo. Una de esas cosas que siempre tienes en la cabeza pero que nunca te pones a hacer porque “es mucho curro”. El caso es que quería algo que mostrara de forma interactiva cómo el tamaño muestral, el diseño de muestreo y los sesgos afectan a la precisión de una encuesta electoral. Algo que un alumno pudiera tocar y ver qué pasa cuando cambias las cosas.

La idea en sí no es complicada: generar una población sintética basada en datos reales de las elecciones de 2023, y luego simular encuestas sobre esa población con Monte Carlo. Pero la implementación sí que tiene bastante trabajo: crear la población con estratificación por provincia, edad y sexo, implementar varios tipos de muestreo, meter sesgos realistas, hacer un dashboard en Shiny… En fin, un proyecto que en condiciones normales me habría llevado unos cuantos fines de semana.

Y aquí es donde entra Claude Code.

Qué es Claude Code

Para el que no lo conozca, Claude Code es un agente de programación que funciona en terminal. Le describes lo que quieres y él va escribiendo el código, ejecutándolo, corrigiendo errores y haciendo commits. Es como tener un programador junior bastante competente al que le puedes ir dando instrucciones en lenguaje natural.

No es magia, tiene sus limitaciones y hay que saber dirigirle, pero para cierto tipo de proyectos es francamente útil.

El proceso

Planificación

Lo primero fue explicarle a Claude Code qué quería: un simulador de encuestas electorales basado en datos de las generales de 2023, con población sintética, varios diseños de muestreo, sesgos y una app Shiny. Le di la idea general y él generó un plan de implementación bastante detallado que se guardó en docs/plans/.

El plan dividía el proyecto en unas 20 tareas, cada una con pasos concretos. Desde la estructura del proyecto y los datos, pasando por la creación de la población sintética, las funciones de simulación, hasta el dashboard y el deployment. Cada tarea incluía el código a escribir, los tests a ejecutar y el commit a hacer.

Esto es algo que me gustó: antes de escribir ni una línea de código, tenía un plan completo. Algo que los humanos muchas veces no hacemos (yo el primero).

La población sintética

El corazón del proyecto es una población de 1.5 millones de individuos sintéticos que representan los ~37 millones de electores españoles. Cada individuo tiene provincia, grupo de edad, sexo y voto asignado según los resultados reales de 2023, modulados por patrones demográficos conocidos (los jóvenes votan diferente a los mayores, etc.).

La estructura tiene 624 combinaciones: 52 provincias × 6 grupos de edad × 2 sexos. Con sus partidos regionales que solo tienen presencia en determinadas provincias (ERC y Junts en Cataluña, PNV y Bildu en País Vasco, BNG en Galicia).

# Así se ve la estructura básica
marco_poblacion <- dist_provincial |>
  crossing(dist_demografica) |>
  mutate(
    pct_total = pct_poblacion / 100 * porcentaje / 100,
    n_individuos = round(pct_total * 1500000)
  )

Los diseños de muestreo

Se implementaron 4 tipos de muestreo:

Aleatorio simple: el clásico, coges n personas al azar
Estratificado por provincia: respetas la distribución territorial
Estratificado por edad/sexo: respetas la estructura demográfica
Multinivel: combinas estratificación provincial y demográfica

La gracia del simulador es que puedes comparar cómo se comportan estos diseños con el mismo tamaño muestral. Spoiler: el estratificado gana, como era de esperar. Pero verlo con tus propios ojos y con datos concretos es mucho más convincente que una demostración teórica.

Los sesgos

Aquí es donde la cosa se pone interesante desde el punto de vista pedagógico. Se modelaron tres sesgos realistas:

No-respuesta por edad: los jóvenes responden un 40% mientras que los mayores llegan al 85%. Esto sesga la muestra hacia perfiles más mayores y, por tanto, hacia ciertos partidos.
Deseabilidad social: un ~15% de votantes de Vox no declaran su voto real. El famoso “voto oculto”.
Marco muestral: si haces la encuesta por teléfono fijo, infrarepresentas a los jóvenes (solo un 15% de los 18-24 tiene fijo).

Y luego se puede aplicar ponderación post-estratificación para intentar corregir estos sesgos. Que a veces funciona y a veces no tanto.

El dashboard Shiny

La app permite configurar todo: tamaño muestral, número de réplicas, tipo de muestreo, qué sesgos activar, si ponderar o no. Y luego te muestra resultados agregados, distribuciones por partido, y permite comparar escenarios.

Se puede probar online: https://canadasreche.shinyapps.io/sim-encuestas-electorales/

Mi experiencia con Claude Code

Lo bueno

Velocidad. El proyecto tiene unos 2000 líneas de R entre los 4 scripts principales. Hacerlo desde cero me habría llevado varios días. Con Claude Code, la estructura básica estaba en unas pocas horas de una tarde.

Estructura. El código que genera es razonablemente limpio y bien organizado. Divide las cosas en funciones con documentación, hace validaciones, pone mensajes informativos. Es más disciplinado que yo escribiendo código un viernes por la tarde.

Iteración rápida. Cuando algo no funcionaba o quería cambiar algo, simplemente se lo decía y lo arreglaba. “Oye, el sesgo de deseabilidad social no está redistribuyendo bien los NS/NC” y lo corregía.

Los planes. El hecho de que primero genere un plan detallado antes de ponerse a escribir código me parece muy acertado. Te permite revisar el enfoque antes de que se ponga a implementar. Si ves algo raro, lo corriges en la fase de diseño, no cuando ya tienes 500 líneas escritas.

Lo menos bueno

Hay que saber qué pedir. Si le dices “haz un simulador de encuestas” a secas, el resultado va a ser mediocre. Hay que darle contexto: qué datos usar, qué diseños de muestreo, qué sesgos modelar, cómo calcular las métricas. El conocimiento del dominio sigue siendo tuyo.

A veces se pasa de frenada. Hay funciones que son más complejas de lo necesario. El cálculo de métricas, por ejemplo, tenía una primera versión con unos joins anidados dentro de un mutate que eran innecesariamente rebuscados. Tuve que pedirle que simplificara.

El Shiny. El dashboard funciona, pero usa shinydashboard que no es lo que yo habría elegido (prefiero bslib). Además, 830 líneas en un solo archivo para una app Shiny es bastante. Con más tiempo lo habría modularizado con Shiny modules, pero para un prototipo funcional vale.

No sustituye el criterio. Los multiplicadores demográficos para el voto (que los jóvenes votan más a Sumar y menos a PP, por ejemplo) son simplificaciones razonables pero no rigurosas. Claude Code los puso basándose en “patrones conocidos”, pero si quieres algo serio tienes que ir a las encuestas postelectorales del CIS y validar. La IA te monta la estructura, pero el rigor lo pones tú.

Reflexión

Hay gente que dice que la IA va a sustituir a los programadores. Yo no lo veo así todavía, al menos no para este tipo de trabajo. Lo que sí hace es cambiar radicalmente la velocidad a la que puedes prototipar. Un proyecto que en mi cabeza iba a ser “para cuando tenga tiempo” pasó a estar desplegado en shinyapps.io en una tarde.

Pero el valor añadido sigue estando en saber qué quieres construir, por qué, y poder evaluar si lo que te devuelve tiene sentido. Si no sabes lo que es un muestreo estratificado o por qué la no-respuesta sesga tus resultados, da igual que tengas la herramienta más potente del mundo. Volvemos al principio: basura entra, basura sale.

Al final, la combinación de conocimiento de dominio + herramientas de IA es bastante potente. Ni el uno sin el otro.

El repo está en GitHub y la app se puede probar en shinyapps.io.

Cachitos 2025. Tercera parte. The hard way

Sat, 03 Jan 2026 23:00:00 GMT

Anteriores entradas:

El csv con el texto de los rótulos para 2025 lo tenemos en este enlace

Intro

Este año simplemente estoy reejecutando el código con nuevos datos y si no veo nada raro no estoy cambiando ni el texto en el qmd. A este post lo he llamado “The hard way” porque implica limpiar texto a mano, analizar con un modelo de LDA etc. En el siguiente post veremos el camino fácil, simplemente pasándole los rótulos a un llm y a ver qué puede hacer, cómo adelanto, un llm suelta esto

Tip

2️⃣ Cuando aparece política, el gobierno sale más

En los rótulos con target político claro:

El gobierno aparece más veces que la oposición.
El tono hacia el gobierno es:
- más irónico
- más persistente

La oposición aparece menos, pero de forma más caricaturesca.

👉 No es tanto a quién se critica, sino cómo.

Librerías

Show the code

Cachitos 2025. Segunda parte

Fri, 02 Jan 2026 23:00:00 GMT

Una vez que ya hemos visto en la entrada anterior como extraer los rótulos, vamos a juntarlos todos en un sólo csv y hacer algo de limpieza.

Dejo el enlace a los ficheros de texto construidos por tesseract enlace directorio

Lectura rótulos


library(tidyverse)

root_directory = "~/proyecto_cachitos/"
anno <- "2025"


nombre_ficheros <- list.files(path = str_glue("{root_directory}{anno}_txt/")) %>% 
    enframe() %>% 
    rename(n_fichero = value)

nombre_ficheros
#> # A tibble: 717 × 2
#>     name n_fichero                     
#>                              
#>  1     1 00000014.jpg.subtitulo.tif.txt
#>  2     2 00000015.jpg.subtitulo.tif.txt
#>  3     3 00000016.jpg.subtitulo.tif.txt
#>  4     4 00000019.jpg.subtitulo.tif.txt
#>  5     5 00000020.jpg.subtitulo.tif.txt
#>  6     6 00000021.jpg.subtitulo.tif.txt
#>  7     7 00000022.jpg.subtitulo.tif.txt
#>  8     8 00000023.jpg.subtitulo.tif.txt
#>  9     9 00000025.jpg.subtitulo.tif.txt
#> 10    10 00000026.jpg.subtitulo.tif.txt
#> # ℹ 707 more rows

Ahora los podemos leer en orden


subtitulos <-  list.files(path = str_glue("{root_directory}{anno}_txt/"), 
                        pattern = "*.txt", full.names = TRUE) %>% 
    map(~read_file(.)) %>% 
    enframe() %>%  
    left_join(nombre_ficheros)

glimpse(subtitulos)
#> Rows: 717
#> Columns: 3
#> $ name       1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 1…
#> $ value      "ESKORBUTO - Cuidado\n(Café Panamá, 1986)\n", "Aviso para o…
#> $ n_fichero  "00000014.jpg.subtitulo.tif.txt", "00000015.jpg.subtitulo.ti…
subtitulos
#> # A tibble: 717 × 3
#>     name value     n_fichero                     
#>                                  
#>  1     1  00000014.jpg.subtitulo.tif.txt
#>  2     2  00000015.jpg.subtitulo.tif.txt
#>  3     3  00000016.jpg.subtitulo.tif.txt
#>  4     4  00000019.jpg.subtitulo.tif.txt
#>  5     5  00000020.jpg.subtitulo.tif.txt
#>  6     6  00000021.jpg.subtitulo.tif.txt
#>  7     7  00000022.jpg.subtitulo.tif.txt
#>  8     8  00000023.jpg.subtitulo.tif.txt
#>  9     9  00000025.jpg.subtitulo.tif.txt
#> 10    10  00000026.jpg.subtitulo.tif.txt
#> # ℹ 707 more rows

Tenemos 717 rótulos de los cuales la mayoría estarán vacíos

Contando letras

En n_fichero tenemos el nombre y en value el texto. Si vemos alguno de los subtítulos.


subtitulos %>%
    pull(value) %>%
    pluck(604)
#> [1] "¡Un abrazo a todos los corruptos que nos ven desde la cárcel!\n\n¡Feliz año.. a la sombra!\n"

Contemos letras.


subtitulos <- subtitulos %>% 
    mutate(n_caracteres = nchar(value)) 

subtitulos %>% 
    group_by(n_caracteres) %>% 
    count()
#> # A tibble: 114 × 2
#> # Groups:   n_caracteres [114]
#>    n_caracteres     n
#>            
#>  1            8     1
#>  2           10     3
#>  3           11     1
#>  4           12     3
#>  5           13     2
#>  6           14     3
#>  7           15     1
#>  8           17     2
#>  9           18     2
#> 10           19     1
#> # ℹ 104 more rows

subtitulos %>% 
    group_by(n_caracteres) %>% 
    count() %>% 
  ggplot(aes(x = n_caracteres, y = n)) +
  geom_col()

Y viendo el conteo podríamos ver cómo son los rótulos con menos de 23 caracteres. Y suele ser por haber pillado el nombre de la canción en vez del rótulo


subtitulos %>% 
    filter(n_caracteres <= 23, n_caracteres > 0 ) %>% 
    arrange(desc(n_caracteres)) %>% 
    head(40) %>%
    pull(value)
#> [[1]]
#> [1] "Carbonell virgen extra\n"
#> 
#> [[2]]
#> [1] "¡Antonio Lobatooooo!!\n"
#> 
#> [[3]]
#> [1] "Buayas, buayacadash\n"
#> 
#> [[4]]
#> [1] "Yes, We Can..arias!\n"
#> 
#> [[5]]
#> [1] "“Operación Salido”.\n"
#> 
#> [[6]]
#> [1] "(0ouay> :uoanjos)\n\n"
#> 
#> [[7]]
#> [1] "SPOILER: sale mal\n"
#> 
#> [[8]]
#> [1] "“GTA: San Isidro”\n"
#> 
#> [[9]]
#> [1] "— —-—=—Lde q - E\n"
#> 
#> [[10]]
#> [1] "Rock pata negra.\n"
#> 
#> [[11]]
#> [1] "Sola y Selena.\n"
#> 
#> [[12]]
#> [1] "- u : VA A .A\n"
#> 
#> [[13]]
#> [1] "( TECHNO sKA\n\n"
#> 
#> [[14]]
#> [1] "¡Bi-bi-Bizet!\n"
#> 
#> [[15]]
#> [1] "Turra Mítica\n"
#> 
#> [[16]]
#> [1] "$iñ'r (“'\n\n.\n"
#> 
#> [[17]]
#> [1] "Buayaaaaash\n"
#> 
#> [[18]]
#> [1] "Buayaaagash\n"
#> 
#> [[19]]
#> [1] "E\n\n7\n\nra\n\nA\n"
#> 
#> [[20]]
#> [1] "+ EE — E E\n"
#> 
#> [[21]]
#> [1] "E\n.\n\"»\n\n=\n"
#> 
#> [[22]]
#> [1] "—\nT — AEE\n"
#> 
#> [[23]]
#> [1] "\" áenmnnX\n"
#> 
#> [[24]]
#> [1] "p\n\n—7 |\n"

subtitulos %>% 
    filter(n_caracteres >= 30) %>% 
    arrange(n_caracteres)
#> # A tibble: 688 × 4
#>     name value     n_fichero                      n_caracteres
#>                                          
#>  1    62  00000119.jpg.subtitulo.tif.txt           30
#>  2   675  00001261.jpg.subtitulo.tif.txt           30
#>  3   390  00000708.jpg.subtitulo.tif.txt           31
#>  4   413  00000746.jpg.subtitulo.tif.txt           32
#>  5   103  00000197.jpg.subtitulo.tif.txt           33
#>  6   104  00000198.jpg.subtitulo.tif.txt           33
#>  7   493  00000886.jpg.subtitulo.tif.txt           33
#>  8   176  00000337.jpg.subtitulo.tif.txt           34
#>  9   714  00001346.jpg.subtitulo.tif.txt           34
#> 10   265  00000489.jpg.subtitulo.tif.txt           35
#> # ℹ 678 more rows

Usando la librería magick en R que permite usar imagemagick en R, ver post de Raúl Vaquerizo y su homenaje a Sean Connery, podemos ver el fotograma correspondiente

library(magick)
(directorio_imagenes <- str_glue("{root_directory}video/{anno}_jpg/"))
#> ~/proyecto_cachitos/video/2025_jpg/

image_read(str_glue("{directorio_imagenes}00000225.jpg"))

image_read(str_glue("{directorio_imagenes}00000311.jpg"))

Así que nos quedamos con los rótulos con más de 30 caracteres

subtitulos <-  subtitulos %>% 
    filter(n_caracteres > 30)

dim(subtitulos)
#> [1] 686   4

Detección duplicados

Mini limpieza de caracteres extraños y puntuación

string_mini_clean <-  function(string){
    string <- gsub("?\n|\n", " ", string)
    string <- gsub("\r|?\f|=", " ", string)
    string <- gsub('“|”|—|>'," ", string)
    
    string <- gsub("[[:punct:][:blank:]]+", " ", string)
    string <- tolower(string)
    string <- gsub("  ", " ", string)
    
    return(string)
}

# Haciendo uso de programación funciona con purrr es muy fácil pasar esta función a cada elemento. y decirle que 
# el resultado es string con map_chr

subtitulos_proces <- subtitulos %>% 
    mutate(texto = map_chr(value, string_mini_clean)) %>% 
    select(-value)

subtitulos_proces %>% 
  select(texto)
#> # A tibble: 686 × 1
#>    texto                                                                        
#>                                                                            
#>  1 "eskorbuto cuidado café panamá 1986 "                                        
#>  2 "aviso para ofendiditos llevamos más de una década haciendo esto y seguimos …
#>  3 "si quieres prevenir el eskorbuto déjate de pepino y de chuminadas y ponle l…
#>  4 "los toreros muertos los toreros muertos tocata 1987 "                       
#>  5 "estos son los únicos toreros sobre los que existe cierto consenso están fat…
#>  6 "estos son los únicos toreros sobre los que existe cierto consenso están fat…
#>  7 "casi cuarenta años esquivando las cornadas de la corrección política "      
#>  8 "seguridad social acción plastic 1990 "                                      
#>  9 "ahora en varias comunidades autónomas se les conoce como seguro privado "   
#> 10 "seis chavales compartiendo un garaje plastic se adelantó varios años a la c…
#> # ℹ 676 more rows

Distancia de texto entre rótulos consecutivos. Usamos método lcs “longest common substring distance”.

Si tienen distancia 0 es que son el mismo subtítulo


subtitulos_proces <- subtitulos_proces %>% 
    mutate(texto_anterior = lag(texto)) %>% 
    mutate(distancia = stringdist::stringdist(texto, texto_anterior, method = "lcs"))
    
 
subtitulos_proces %>% 
    filter(!is.na(distancia)) %>% 
    select(name,texto,distancia, texto_anterior, everything()) %>% 
    arrange(distancia) %>% 
    DT::datatable(options = list(scrollX=TRUE))

Decidimos eliminar texto cuya distancia sea menor de 30

subtitulos_proces <-  subtitulos_proces %>% 
    filter(distancia >= 30) %>% 
    select(-texto_anterior)

subtitulos_proces %>% 
    select(name,texto, everything()) %>% 
    DT::datatable()

No nos hemos quitado todos los duplicados pero sí algunos de ellos.

dim(subtitulos_proces)
#> [1] 630   5

Y ya solo tenemos 630 rótulos

Guardamos el fichero unido


write_csv(subtitulos_proces,
          file = str_glue("{root_directory}{anno}_txt_unido.csv"))


DT::datatable(
    subtitulos_proces %>%
        select(-distancia) %>% 
        arrange(n_fichero))

Y en el DT ya podéis buscar rótulos dedicados a Pedro Sánches por ejemplo.


rot_sanchez <- subtitulos_proces |> 
    filter(texto |> tolower() |> stringr::str_detect("sánchez"))
rot_sanchez
#> # A tibble: 6 × 5
#>    name n_fichero                      n_caracteres texto              distancia
#>                                                        
#> 1    44 00000090.jpg.subtitulo.tif.txt          102 "leticia sabater …        94
#> 2    45 00000091.jpg.subtitulo.tif.txt           62 "marta sánchez qu…        86
#> 3   190 00000359.jpg.subtitulo.tif.txt           87 "el estribillo es…        81
#> 4   276 00000507.jpg.subtitulo.tif.txt          102 "na na na na na n…        99
#> 5   417 00000753.jpg.subtitulo.tif.txt          100 "pedro sánchez es…       108
#> 6   574 00001049.jpg.subtitulo.tif.txt           83 "el viaje en coch…        93


rot_sanchez$texto
#> [1] "leticia sabater marta sánchez si la categoría es rubio de bote ya tarda en salir david broncano "   
#> [2] "marta sánchez quizás quizás quizás tariro tariro 1988 "                                             
#> [3] "el estribillo es una versión desechada de la primera carta a la ciudadanía de sánchez "             
#> [4] "na na na na na na na na la respuesta de sánchez cuando le preguntan cuánto sabía de la trama koldo "
#> [5] "pedro sánchez está pillando tips de maquillaje para cuando se filtre el próximo informe de la uco " 
#> [6] "el viaje en coche más arriesgado desde el del peugeot de las primarias de sánchez "

Ahora nos quesmoa con el nombre del fichero para poder identificar rápidamente el fotograma y el subtítulo

# identificamos nombre del archivo jpg con los rótulos polémicos
sanchez_fotogramas_fn <- unique(substr(rot_sanchez$n_fichero, 1,9))


head(sanchez_fotogramas_fn)
#> [1] "00000090." "00000091." "00000359." "00000507." "00000753." "00001049."

# creamos la ruta completa donde están
sanchez_fotogramas_fn_full <- paste0(str_glue("{root_directory}video/{anno}_jpg/"), sanchez_fotogramas_fn, "jpg")


# añadimos sufijo subtitulo.tif para tenr localizado la imagen que tiene solo los rótulos
sanchez_subtitulos_full <- paste0(sanchez_fotogramas_fn_full,".subtitulo.tif")

Ahora leemos las imágenes y las guardamos en una lista

sanchez_fotogramas_img <- map(sanchez_fotogramas_fn_full, image_read)
sanchez_subtitulos_img <- map(sanchez_subtitulos_full, image_read)


sanchez_fotogramas_img[[4]]

sanchez_subtitulos_img[[4]]

set.seed(50)
# escogemos 4 al azar
indices <- sort(sample(1:length(sanchez_fotogramas_img), 4))

lista_fotogram_polemicos <- lapply(sanchez_fotogramas_img[indices], grid::rasterGrob)
gridExtra::grid.arrange(grobs=lista_fotogram_polemicos )

Podéis hacer el ejercicio buscando a Mazón o a Feijóo y ya que cada cual saque sus conclusiones.

Con Mazón

rot_mazon <- subtitulos_proces |> 
    filter(
        texto |> tolower() |>
        stringr::str_detect("\\bmazón\\b|\\bmazon\\b"))



rot_mazon$texto
#> [1] "el resumen de la declaración de mazón en la comisión de investigación de la dana "

Con Feijóo

rot_feijoo <- subtitulos_proces |> 
    filter(texto |> tolower() |> stringr::str_detect("\\bfeijóo\\b|\\bfeijoo\\b"))

rot_feijoo$texto
#> [1] "feijóo demostró con esta canción que su gusto musical es como algunas de sus ideas en blanco y negro "                
#> [2] "si la canción anterior ha levantado a feijóo de su asiento esta en gallego ha hecho que ayuso abandone la habitación "

Con Robe

rot_robe <- subtitulos_proces |> 
    filter(texto |> tolower() |> stringr::str_detect("\\brobe\\b|\\bextremoduro\\b"))

rot_robe$texto
#> [1] "extremoduro extrema y dura plastic 1989 "                                   
#> [2] "en las próximas elecciones extremeñas y en todas nuestro voto es para robe "

Pues con esto ya tenéis para jugar un rato.

Cachitos 2025. Primera parte

Thu, 01 Jan 2026 23:00:00 GMT

Hasta siempre Robe.

Extremoduro

Como todos los años toca hacer el análisis de de los subtítulos de Nochevieja a Cachitos

Este post es prácticamente idéntico al del año pasado. El script ha funcionado igual y lo único que he tardado un pelín más en hacerlo porque he cambiado de sistema operativo. He pasado hace poco a una distribución rolling release basada en arch y aún estoy dejando el sistema fino.

Requisitos

Un plugin en el navegador que pueda identificar el m3u asociado al archivo mp4 del video de Cachitos que está en rtve play. Yo he usado live Stream Downloader , pero seguro que hay alguno mejor
Usar un sistema operativo GNU/Linux, en mi caso Omarchy 3.2.3. Una distro basada en Arch linux
ffmpeg ffmpeg nos va a servir para poder bajar el video
mplayer vamos a extraer 1 de cada 200 fotogramas del video
imagemagick Con imagemagick vamos a cambiar el tamaño de los fotogramas, recortar el área dónde están los subtítulos, convertir a formato tif e invertir los colores para que el texto se vea mejor.
parallel Con parallel vamos a poder utilizar varios núcleos e hilos del ordenador en paralelo y poder hacer la modificación de los fotogramas y el reconocimiento óptico de caracteres más rápido.
tesseract Con tesseract se va a hacer el reconocimiento óptico del texto y guardar en ficheros de texto.
Elimina ficheros de texto de menos de 10 bytes, puesto que ahí no hay texto .

Plugin

Con el plugin de Live Stream instalado en el navegador, lo primero que hacemos es ir a la web de rtveplay, buscar Nochevieja a Cachitos y darle al play. Estando en esa pestaña, le damos al plugin y nos abrirá una ventana emergente dónde se nos ha copiado la info del streaming. Nos bajamos el archivo y cambiamos el nombre a 2024_cachitos.mkv

Script de bash

El script es extract_subtitles.sh , se ejecutaría con extract_subtitles.sh 2025

El script es similar al de años anteriores

#!/bin/bash

root_directory=/home/jose/proyecto_cachitos
mkdir -p $root_directory
cd $root_directory

echo "First arg: $1"
mkdir -p video

cd video

ANNO=$1
echo $ANNO
suffix_video="_cachitos.mp4"
suffix_video_2024="_cachitos.mkv"
suffix_video_2025="_cachitos.mkv"
suffix_jpg_dir="_jpg"
suffix_txt_dir="_txt"

video_file=$ANNO$suffix_video
echo $video_file

if [ "$ANNO" == "2025" ] ;
then
  video_file=$ANNO$suffix_video_2025
  echo $video_file
fi

if [ "$ANNO" == "2024" ] ;
then
  video_file=$ANNO$suffix_video_2024
  echo $video_file
fi

if [ "$ANNO" == "2023" ] ;
then
    ffmpeg -i "https://rtvehlsvodlote7.rtve.es/mediavodv2/resources/TE_SHIECRO/mp4/3/1/1704096565613.mp4/video.m3u8?hls_no_audio_only=true&hls_client_manifest_version=3&idasset=7047821" -c copy $video_file
fi

if [ "$ANNO" == "2022" ] ;
then
    ffmpeg -i "https://rtvehlsvodlote7.rtve.es/mediavodv2/resources/TE_SHIECRO/mp4/1/5/1672556504451.mp4/video.m3u8?hls_no_audio_only=true&hls_client_manifest_version=3&idasset=6767615" -c copy $video_file
fi 
 

# Pasar a jpg uno de cada 200 fotogramas

mplayer -vf framestep=200 -framedrop -nosound $video_file -speed 100 -vo jpeg:outdir=$ANNO$suffix_jpg_dir 
 
cd $ANNO$suffix_jpg_dir 
 
# Convertir a formato más pequño
find . -name '*.jpg' |  parallel -j 8 mogrify -resize 642x480 {}

# Seleccionar cacho dond están subtitulos
find . -name '*.jpg' |  parallel -j 8 convert {} -crop 460x50+90+285 +repage -compress none -depth 8 {}.subtitulo.tif

# Poner en negativo para que el ocr funcione mejor
find . -name '*.tif' |  parallel -j 8 convert {} -negate -fx '.8*r+.8*g+0*b' -compress none -depth 8 {}

# Pasar el ocr con idioma en español
find . -name '*.tif' |  parallel -j 8 tesseract -l spa {} {}

# mover a directorio texto
mkdir -p $root_directory/$ANNO$suffix_txt_dir

mv *.txt $root_directory/$ANNO$suffix_txt_dir

cd $root_directory/$ANNO$suffix_txt_dir

# Borrar archivos de 10 bytes , subtítulos vacíos
find . -size -10c -exec rm -f {} \;

cd $root_directory

Para que funcione este script el archivo 2025_cachitos.mkv tiene que estar en el directorio video, en años anteriores me bajaba el video directamente con el script, en este no.

Extracción de fotogramas

Usando mplayer que sirve para reproducir el vídeo, podemos indicar además que nos extraiga una imagen cada 200 fotogramas framestep=200, también le decimos que lo reproduzca sin sonido y a velocidad alta y que guarde esos fotogramas como archivos jpeg en la ruta relativa `2023_jpg dentro de nuestro directorio principal.

Este es el comando que hace todo eso

mplayer -vf framestep=200 -framedrop -nosound $video_file -speed 100 -vo jpeg:outdir=$ANNO$suffix_jpg_dir

Recorte de la zona de dónde está el rótulo

De años anteriores sé que si “achico” cada imagen anterior me vale de igual forma y por prueba y error vi en que parte de la imagen suelen colocar los rótulos. Así que con herramientas de imagemagick puedo manipular esas imágenes y extraer solo la zona del rótulo.

Reducción de la imagen

Cambiamos al directorio dónde hemos dejado las imágenes, y usando el comando find seleccionamos todos los archivos con extensión jpg y los reducimos a formato de 642x480.

Para eso usamos mogrify que forma parte de imagemagick y la parte de usar parallel es para que se ejecute en paralelo usando 8 hilos de cpu.

 
cd $ANNO$suffix_jpg_dir 
 
# Convertir a formato más pequño
find . -name '*.jpg' |  parallel -j 8 mogrify -resize 642x480 {}

Seleccionar la zona dónde están los rótulos

Ahora usamos otras funciones de imagemagick que son convert y crop . Lo que hacemos es convertir a formato tif y recortamos justo la zona dónde están los rótulos.
Así, para cada imagen jpg creamos un archivo con nombre nombre_imagen.jpg.subtitulo.tif


# Seleccionar cacho dond están subtitulos
find . -name '*.jpg' |  parallel -j 8 convert {} -crop 460x50+90+285 +repage -compress none -depth 8 {}.subtitulo.tif

Hacer el negativo de las imágenes

Para ayudar al software de reconocimiento óptico de caractereres obtenemos el negativo de cada tif. Para eso usamos de nuevo convert pero con la opción negate


# Poner en negativo para que el ocr funcione mejor
find . -name '*.tif' |  parallel -j 8 convert {} -negate -fx '.8*r+.8*g+0*b' -compress none -depth 8 {}

subtitulo_negativo

Reconocimiento óptico de caracteres

Nosotros lo que queremos es tener el texto, no una imagen. Para eso utilizamos tesseract. Le pasamos cada una de las imágenes anteriores en formato tif y nos devolverá el texto que contienen. No siempre lo hará bien, pero el resultado es aceptable. También creamos directorio dónde vamos a mover todos los ficheros de texto creados y eliminamos los ficheros con menos de 10 bytes.

# Pasar el ocr con idioma en español
find . -name '*.tif' |  parallel -j 8 tesseract -l spa {} {}

# mover a directorio texto
mkdir -p $root_directory/$ANNO$suffix_txt_dir

mv *.txt $root_directory/$ANNO$suffix_txt_dir

cd $root_directory/$ANNO$suffix_txt_dir

# Borrar archivos de 10 bytes , subtítulos vacíos, bytes se indican con la letra c, cosas de linux
find . -size -10c -exec rm -f {} \;

Y podemos ver cómo ha convertido por ejemplo el rótulo asociado al fotograma 514.

cmd <-  "cat ~/proyecto_cachitos/2025_txt/00000990.jpg.subtitulo.tif.txt"
system(cmd, intern = TRUE)
#> [1] "Sigue igual aunque pasen los años, como la"
#> [2] "relación del juez Peinado con Begoña Gómez"

Como vemos, la lógica de la creación de los ficheros de texto ha sido la de ir guardando el nombre original del fotograma e ir añadiendo extensiones, (.jpg, .subtitulo.tif, .txt).

Algún ejemplo

library(tidyverse)

root_directory = "~/proyecto_cachitos/"
anno <- "2025"
library(magick)
(directorio_imagenes <- str_glue("{root_directory}video/{anno}_jpg/"))
#> ~/proyecto_cachitos/video/2025_jpg/

image_read(str_glue("{directorio_imagenes}00000130.jpg"))

image_read(str_glue("{directorio_imagenes}00000130.jpg.subtitulo.tif"))


(directorio_texto <- str_glue("{root_directory}{anno}_txt/"))
#> ~/proyecto_cachitos/2025_txt/

system(str_glue("cat {directorio_texto}00000130.jpg.subtitulo.tif.txt"), intern = TRUE)
#> [1] "Problema matemático: un AVE sale de Tarragona a 310 km/h"
#> [2] ""                                                        
#> [3] "¿En qué pueblo te dejará tirado por avería?"

Y en los siguientes post veremos el análisis de los comentarios. Podremos contestar a preguntas si se menciona más a Sánchez o a Feijoó, y que cada uno al leer los comentarios decida si el programa tiene sesgo o no.

Sin sentidos

José Luis Cañadas Reche — Thu, 14 Aug 2025 22:00:00 GMT

Listening

En un tiempo no muy lejano del cual estoy intentando olvidarme oí hablar de lo que yo llamo “gatillos” o como les gusta decir a algunos “triggers” ( lo de gatillos viene de derivar triggers a tigres y luego a gatillos, que encima tiene que ver con disparar)

Es una cosa muy sencilla, si se da un eventoA entonces mando a la gente que tiene ese evento a campaña 1, y se da eventoB mando a esos a campaña 2.

Hasta aquí todo más o menos bien, pero como pensaría cualquier persona normal, ¿ si tener el eventoA o tener el eventoB aumentan la probabilidad de comprar el mismo producto, por qué no meter esos eventos en un modelo, de forma que pille las interacciones y así seleccionar a los más propensos a comprar el producto? Pues os prometo que me miraban con cara de estupor, sin entender el por qué eso iba a ser mejor. Visto con cierta distancia, la verdad es que no creo que no se entendiera, sino que simplemente no se quería cambiar nada y que cualquier propuesta que viniera de determinada gente, simplemente se ignoraba o se consideraba errónea. Un sinsentido.

Un poco de código para ejemplificar.

Generamos unos datos dónde tenemos EventoA (1,0), EventoB (1,0) y una variable target que está relacionada positivamente con ambos eventos, por lo cual es lógico pensar que las observaciones que tienen ambos eventos estarán aún más relacionadas con la target.

Show the code

IO con Julia

José Luis Cañadas Reche — Sat, 19 Jul 2025 22:00:00 GMT

Listening

Este post viene a ampliar el de la IO al servicio del mal. y está en Work in Progress.

Show the code

Kiss

José Luis Cañadas Reche — Thu, 03 Jul 2025 22:00:00 GMT

Hay un principio que a los advenedizos a este mundo se les olvida. El principio KISS (Keep it simple Stupid). Me refiero a que hay gente que cree que hay que probar 20 tipos de modelos, hacer una búsqueda intensiva de hiperparámetros, aumentar la profundidad de los modelos, hacer submuestreo a mansalva, inventar fórmulas de calibración que puede que no lleven a nada o entrenar modelos de forma automática casi sin supervisión humana.

Pues no amigos míos, eso no es ser científico de datos , eso es ser un churrero robotizado. Puede que tengas suerte haciendo eso incluso que te pagan un montón de dinero y piensen que eres un crack, pero es todo una farsa.

Señal y ruido, cuando en los datos hay estructura, cuando hay señal, no hace falta probar 10 xgboost, 4 catboost, 5 lightgbm y 3 mierdas más, ni hacer búsqueda de hiperpárametos bayesiana vía optuna. Las mejoras al hacer todo esto serán si acaso marginales, lo que un verdadero científico de datos es limpiar datos, hablar con negocio, pensar variables que influyan en el target, ponerse en la piel del cliente que va a comprar o no el producto cuya propensión se está modelando. Unos buenos datos y unas buenas variables hacen mucho más por el éxito de tu modelo que las chorrocientas mil técnicas que hayas aprendido en bootcamps de chichinabo.

Un último consejo. Si os encontráis con gente que hace las cosas esas que he comentado, por favor, enseñadles un poquito de principio KISS, a la larga os lo agradecerán. Y si os llaman locos o no os hacen caso, quizá sea el momento de buscar inteligencia en otro sitio.

Así, si.

José Luis Cañadas Reche — Tue, 20 May 2025 22:00:00 GMT

Listening

Da gusto estar en un sitio en dónde das con gente sensata y que sabe más que uno.

A colación de esto el otro día mi nuevo compañero de curro, Alessandro, nos contaba que le habían preguntado lo siguiente.

Important

Según tu amplia experiencia como Data Scientist. ¿Cuál es la frecuencia óptima para reentrenar los modelos?

A lo que contestó, que para él lo ideal sería “nunca”, porque eso sería señal de que el modelo no se ha degradado. Aparte de la carcajada que nos arrancó, lleva más razón que un santo. Para un científico de datos, tener un modelo que funciona bien y cuyo desempeño es estable, es lo deseable. Así puede dedicarse a otras cosas. Eso sí, lo que hay que hacer es monitorizar y analizar a qué se debe cuando vaya mal.

Submuestrear sigue siendo pecado.Ejemplo

José Luis Cañadas Reche — Thu, 15 May 2025 22:00:00 GMT

Important

El post anterior a este no vale para mucho, puesto que Harrell tenía razón (as usual). Gracias a Carlos Gil que me avisaba de que había algo raro en mi post.

El problema es que el glm inicial no converge. El tema era movidas de configuración en mi slimbook con Linux. Tenía puesto para BLAS y LAPACK cosas incongruentes. Usaba intel mkl para LAPACK y en BLAS la de por defecto

Matrix products: default
BLAS:   /usr/lib/x86_64-linux-gnu/blas/libblas.so.3.10.0 
LAPACK: /usr/lib/x86_64-linux-gnu/libmkl_rt.so;

En problemas como el creditcard dónde hay una separación muy buena entre los 1’s y los 0’s, la estabilidad numérica en el algoritmoi de iteratively reweighted least squares (IWLS) que usa glm es importante. Y esta incoherencia en mi sistema hizo que glm no convergiera al usar un conjunto de train grande, y se dieran coeficientes muy grandes en valor absoluto.

Lo he arreglado y ahora tengo openblas tanto para BLAS como para LAPACK.

Matrix products: default
BLAS:   /usr/lib/x86_64-linux-gnu/openblas-pthread/libblas.so.3 
LAPACK: /usr/lib/x86_64-linux-gnu/openblas-pthread/libopenblasp-r0.3.20.so;  LAPACK version 3.10.0

Y ya no hay problemas. De todas formas la librería rms de Harrell es muy buena y hace un ajuste penalizado si es necesario.

Hago lo mismo que en post anterior, pero para los glms uso la fantástica librería de Harrell

Credit card

El típico ejemplo de creditcard de kagle.

Show the code

Submuestrear (a veces) no es pecado.Ejemplo

José Luis Cañadas Reche — Sat, 10 May 2025 22:00:00 GMT

Listening

En un post anterior comentaba que submuestrear si es pecado. En este post vengo a contar algo así como un contraejemplo a mi mismo. O más bien, podríamos decir aquello de “dónde no hay no se puede sacar”, ¿ o si?

Para ver esto usaré un dataset muy conocido que está disponible en Kaggle, el de credit card. El sábado echando unas cerves con mi amigo Francisco me contaba que a él le salía bien sin submuestrear incluso haciendo una regresión logística, pero a mi no. Veamos.

Credit card

El típico ejemplo de creditcard de kagle.

Show the code

Área de Aplicación

José Luis Cañadas Reche — Sat, 03 May 2025 22:00:00 GMT

Listening

Tip

Este puente he estado leyendo sobre AOA (area of applicability) . En el artículo de Hanna Mayer y Edzer Pebesma se centran en él área de aplicación de un modelo cuando se quiere predecir en temas espaciales.

El concepto es bastante simple. Tienes un modelo de estos modernos de random forest o boosting, que has entrenado con unos datos maravillosos. Y ahora lo quieres utilizar para obtener predicciones en otro conjunto de datos. El área de aplicación lo que te dice es en qué datos de esos nuevos datos el modelo se puede aplicar. La idea es sencilla, simplemente calcula la distancia multivariable entre los puntos del nuevo conjunto de datos y los datos de train. Pero no es lo mismo estar muy lejos en una de las variables más importantes del modelo que en una de las últimas. Por eso lo que hacen es ponderar las distancias por la importancia de las variables en el modelo.

Todo esto tiene que ver con cosas como el concepto de “Data Drift”, en el cual vemos si la distribución multivariable en el espacio de los predictores ha cambiado mucho entre train y test. Si esto es así entonces decimos que algo hay raro con los datos. También tiene que ver con que los modelos de árboles no son muy buenos extrapolando más allá del dominio de la variable que han visto, y esto lo que mira es si los datos a predecir están muy lejos de un “entorno” multivariable de los datos de train.

Evidentemente, en el artículo viene bien explicado todo esto y formalizan una técnica para identificar en qué puntos de test se puede aplicar el modelo.

Ejemplo

En este post Jakub Nowosad pone un ejemplo utilizando 196 datos de train para predecir la temperatura en España. En el post también se cuenta la importancia de utilizar validación cruzada que tenga en cuenta la estructura espacial.

Reproduzco su ejemplo

Show the code

¿Para qué usar scikit-learn si puedes reinventarlo mal en tres sprints?

José Luis Cañadas Reche — Tue, 29 Apr 2025 22:00:00 GMT

Note

Llegas al nuevo curro. Proyecto de scoring para clientes. Negocio necesita resultados “rápido pero bien”. Preguntas cómo se entrena un modelo. Silencio incómodo. Finalmente alguien dice:

“Tienes que usar el ModelOrchestratorPipeline que está en ds-core. Ojo, que la clase BaseModel está deprecated pero seguimos usándola porque la nueva versión no soporta pipelines anidados con catboost.”

Empiezas a sospechar. No sabes si estás en un equipo de Data Science o en un escape room con código legacy.

El síndrome del framework casero

Cada empresa tiene su propio framework de Data Science. Cada equipo cree que el suyo es la excepción brillante. Spoiler: no lo es.

Parece haber una necesidad casi religiosa de crear un sistema nuevo que, esta vez sí, “lo unifique todo”. Entrenamiento, inferencia, logging, tracking, batch, real time… y a ser posible, que sea 100% agnóstico al modelo, al backend y al sentido común.

¿Por qué pasa esto?

Ego técnico mal canalizado Lo de entrenar modelos ya aburre. Lo divertido es montar arquitecturas que nadie entienda. Y si además lleva decorators y metaclases, mejor. Nadie podrá decir que no es “robusto”.
El síndrome del niño nuevo Nuevo en el equipo, ves que lo que hay no te gusta. En vez de entenderlo o mejorar pequeñas partes, decides rehacerlo todo. Sin tests, pero con mucha ilusión. Te irás en 8 meses y dejarás otro cadáver técnico.
Abstracción infinita, uso cero BaseTrainer, ModelInterface, Runner, Executor, ConfigurableTask. Todo suena muy bien… hasta que alguien quiere cambiar una métrica o probar otro modelo. Entonces necesitas 3 PRs, 2 approvals y media tarde.
Falta de foco en negocio El framework se convierte en el producto. Y el cliente, mientras tanto, sigue sin su puto modelo en producción.

Pero… ¿y si esta vez sí funciona? Spoiler: no. O sí, durante 3 meses. Hasta que venga otra persona que no lo entienda, lo rehaga, y el ciclo vuelva a empezar.

¿Qué podríamos hacer en vez de esto?

Usar librerías existentes y sólidas: scikit-learn, mlflow, dagster, prefect, fastapi. No hace falta reinventarlo todo.

Favorecer la legibilidad sobre la “elegancia” mal entendida.

Priorizar la entrega de valor frente a la creación de frameworks que nadie ha pedido.

Y, por favor, ¡documentar!

No digo que esté mal crear herramientas internas. A veces es necesario. Pero montar un framework completo, sin necesidad clara, sin mantenimiento garantizado y sin consenso del equipo, es una forma elegante de enterrar la productividad en cemento técnico.

Si alguna vez te has encontrado atrapado en un ModelManager que hereda de un BaseWrapper que nadie recuerda por qué existe… no estás solo.

Estamos contigo. Y quizás, solo quizás, deberíamos dejar de montar frameworks para montar soluciones.

CODA

Todo este post lo ha escrito chatgpt 4 con un prompt mínimo. Las opiniones aquí vertidas son sólo suyas , o no, puesto que si chatgpt da la respuesta más probable (y el eigenvalue trap algo tiene que decir al respecto), quizá sólo está haciendo una síntesis de lo mucho escrito por ahí. Buen puente

Submuestrear si es pecado

José Luis Cañadas Reche — Fri, 21 Mar 2025 23:00:00 GMT

Watching

Aunque el título de este blog es Muestrear no es pecado, hoy quiero comentar brevemente algo que creo que si no es pecado, se acerca bastante. Se trata del submuestreo.

El miércoles pasado estaba de cervezas con mi amiga Laura y su pareja y comentábamos muchas de las cosas que se hacen mal en la industria. Y me acordé del próximo podcast que vamos a sacar Leo y yo dónde tratamos de forma tangencial el tema del submuestreo.

Al grano, mucha gente piensa que cuando tienes que modelar una variable dicotómica en la que la proporción del “éxito” es muy pequeña, (típicamente lo llaman “dataset desbalanceado”), creen que lo que hay que hacer es algún tipo de balanceo, y entre los más conocidos está el submustrear observaciones de la clase mayoritaria. Básicamente, eliminar filas .

Se supone que de esta forma se facilita el ajuste de los algoritmos de Machín Lenin. Por la red se puede encontrar fácilmente demostracinoes que por ejemplo en el caso de la regresión logística el modelo que se obtiene submuestreando y sin submuestrear es equivalente en cuánto al orden de los “scores”. Y en otro tipo de algoritmos como los basados en árboles uno podría pensar que tendría cierta lógica, pero existen alternativas.

Por ejemplo, se puede dar un peso a las observaciones de la clase minoritaria de forma que el algoritmo las tenga más en cuenta sin tener que descartar observaciones de la mayoritaria, o incluso modificar la función de coste utilizada de forma que se penalice más equivocarse en la predicción de esa clase.

Con el afán de submuestrear (o balancear) he visto por esos lares aberraciones como la de submuestrear en el conjunto de train, estandarizar las variables en ese conjunto de train submuestreado y aplicar esas medias y desviaciones típicas al conjunto que se va a predecir, lo cual, obviamente es un error conceptual grave.

Pues nada más, a ver si Leo puede editar pronto el episodio que grabamos hablando sobre bootstrap, submuestreo y demás cositas. Yo creo que estuvo bastante bien, al menos yo me lo pasé estupendamente grabándolo.

AUC en SQL. Dos formas

José Luis Cañadas Reche — Fri, 14 Mar 2025 23:00:00 GMT

Listening

En post de auc-wilcoxon-de-nuevo ya comenté sobre la relación entre el auc-wilcoxon-de-nuevo y también sobre una definición alternativa del AUC como la probabilidad de que un “sí” elegido al azar tenga un score mayor que un “no” elegido al azar. Para calcularlo de esta última forma se puede aproximar mediante muestreo, obteniendo muestras aleatorias con reemplezamiento de los “síes” y de los “noes” y ver la proporción de veces que el score de los “síes” es mayor que el de los “noes”.

Datos y auc

Show the code

Error irreducible

José Luis Cañadas Reche — Sun, 23 Feb 2025 23:00:00 GMT

Listening

A pesar de todo el hype de la IA y del Machín Lenin hay una cosa muy obvia que se le olvida a la mayoría de la gente, y es el error irreducible.

Imaginad, que como pasa en la vida real, se quiere modelar por ejemplo la propensión de comprar un producto por parte de clientes. Y se tienen recogidas digamos unas 4 variables, pues lo más normal es que a igual valor en las 4 variables unos clientes compren y otros no, y por lo tanto es imposible tener un acierto total. Ni con IA, ni con Machín Lenin ni que el mismo Odín te ayude con el tema.

Y eso hace por tanto que haya un límite a métricas a AUC-ROC y similares.

Ejemplo tonto.

Digamos que tenemos 2 variables

Show the code

Trucos. Parte 1. Submodel trick

José Luis Cañadas Reche — Sat, 08 Feb 2025 23:00:00 GMT

Listening

El otro día atendí a un webminar junto con Aitor en el que se hablaba de algunos truquillos del tidymodels.

No soy muy fan del tuneo de hiperparámetros, pero es innegable que es algo que está ahí.

Nota

Este post está basado en lo leído en Efficient Machine Learnig with R

Submodel trick

Por ejemplo, si estamos haciendo un modelo de árboles con boosting, cada árbol se construye sobre el anterior. Por tanto si tengo un modelo con 200 árboles, puedo usarlo para ver que predicciones daría un modelo con 50 árboles, puesto que para llegar a 200 ha tenido que pasar por 50.

¿Por qué es esto útil? Si tenemos un grid de parámetros que incluya probar mismo modelo de boosting con esta configuración

Show the code

Cachitos 2024. Tercera parte

José Luis Cañadas Reche — Tue, 07 Jan 2025 23:00:00 GMT

Anteriores entradas:

El csv con el texto de los rótulos para 2024 lo tenemos en este enlace

Vamos al lío

Librerías

Show the code

Cachitos 2024. Segunda parte

José Luis Cañadas Reche — Fri, 03 Jan 2025 23:00:00 GMT

Una vez que ya hemos visto en la entrada anterior como extraer los rótulos, vamos a juntarlos todos en un sólo csv y hacer algo de limpieza.

Dejo el enlace a los ficheros de texto construidos por tesseract enlace directorio

Lectura rótulos


library(tidyverse)

root_directory = "~/proyecto_cachitos/"
anno <- "2024"


nombre_ficheros <- list.files(path = str_glue("{root_directory}{anno}_txt/")) %>% 
    enframe() %>% 
    rename(n_fichero = value)

nombre_ficheros
#> # A tibble: 769 × 2
#>     name n_fichero                     
#>                              
#>  1     1 00000010.jpg.subtitulo.tif.txt
#>  2     2 00000011.jpg.subtitulo.tif.txt
#>  3     3 00000012.jpg.subtitulo.tif.txt
#>  4     4 00000015.jpg.subtitulo.tif.txt
#>  5     5 00000016.jpg.subtitulo.tif.txt
#>  6     6 00000017.jpg.subtitulo.tif.txt
#>  7     7 00000021.jpg.subtitulo.tif.txt
#>  8     8 00000022.jpg.subtitulo.tif.txt
#>  9     9 00000023.jpg.subtitulo.tif.txt
#> 10    10 00000027.jpg.subtitulo.tif.txt
#> # ℹ 759 more rows

Ahora los podemos leer en orden


subtitulos <-  list.files(path = str_glue("{root_directory}{anno}_txt/"), 
                        pattern = "*.txt", full.names = TRUE) %>% 
    map(~read_file(.)) %>% 
    enframe() %>%  
    left_join(nombre_ficheros)

glimpse(subtitulos)
#> Rows: 769
#> Columns: 3
#> $ name       1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 1…
#> $ value      "CONCHA VELASCO\n(Tiempo de fiesto, 1971)\n\f", "y > HEYO H…
#> $ n_fichero  "00000010.jpg.subtitulo.tif.txt", "00000011.jpg.subtitulo.ti…
subtitulos
#> # A tibble: 769 × 3
#>     name value     n_fichero                     
#>                                  
#>  1     1  00000010.jpg.subtitulo.tif.txt
#>  2     2  00000011.jpg.subtitulo.tif.txt
#>  3     3  00000012.jpg.subtitulo.tif.txt
#>  4     4  00000015.jpg.subtitulo.tif.txt
#>  5     5  00000016.jpg.subtitulo.tif.txt
#>  6     6  00000017.jpg.subtitulo.tif.txt
#>  7     7  00000021.jpg.subtitulo.tif.txt
#>  8     8  00000022.jpg.subtitulo.tif.txt
#>  9     9  00000023.jpg.subtitulo.tif.txt
#> 10    10  00000027.jpg.subtitulo.tif.txt
#> # ℹ 759 more rows

Tenemos 769 rótulos de los cuales la mayoría estarán vacíos

Contando letras

En n_fichero tenemos el nombre y en value el texto. Si vemos alguno de los subtítulos.


subtitulos %>%
    pull(value) %>%
    pluck(246)
#> [1] "El cámara sufriendo más para encontrar a Bisbal que\n\nnosotros una cifra exacta en “Cifras y Letras”.\n\f"

Contemos letras.


subtitulos <- subtitulos %>% 
    mutate(n_caracteres = nchar(value)) 

subtitulos %>% 
    group_by(n_caracteres) %>% 
    count()
#> # A tibble: 111 × 2
#> # Groups:   n_caracteres [111]
#>    n_caracteres     n
#>            
#>  1           10     2
#>  2           11     2
#>  3           12     2
#>  4           14     4
#>  5           15     2
#>  6           16     1
#>  7           17     1
#>  8           18     2
#>  9           19     2
#> 10           21     1
#> # ℹ 101 more rows

subtitulos %>% 
    group_by(n_caracteres) %>% 
    count() %>% 
  ggplot(aes(x = n_caracteres, y = n)) +
  geom_col()

Y viendo el conteo podríamos ver cómo son los rótulos con menos de 25 caracteres. Y suele ser por haber pillado el nombre de la canción en vez del rótulo


subtitulos %>% 
    filter(n_caracteres <= 25, n_caracteres > 0 ) %>% 
    arrange(desc(n_caracteres)) %>% 
    head(40) %>%
    pull(value)
#> [[1]]
#> [1] "La Quinqui y la Quinqui\n\f"
#> 
#> [[2]]
#> [1] "“¿qué lleva ese porro?”\n\f"
#> 
#> [[3]]
#> [1] "La Suprema de Nápoles.\n\f"
#> 
#> [[4]]
#> [1] "Ambientación musical\n\f"
#> 
#> [[5]]
#> [1] "Hortera y Cassette.\n\f"
#> 
#> [[6]]
#> [1] "Zidones y Pavone.\n\f"
#> 
#> [[7]]
#> [1] "¡Vamos, Raffa!\n\n \n\f"
#> 
#> [[8]]
#> [1] "El as de coplas,\n\f"
#> 
#> [[9]]
#> [1] "Mejor así,\n\n \n\n \n\f"
#> 
#> [[10]]
#> [1] "m Bra o\n\n¡A AA,\n\f"
#> 
#> [[11]]
#> [1] "y > HEYO HELLO\n\f"
#> 
#> [[12]]
#> [1] "La Lambada\n\n \n\f"
#> 
#> [[13]]
#> [1] "Celine Diosa,\n\f"
#> 
#> [[14]]
#> [1] "¡2 de : 9\"\n=\n\f"
#> 
#> [[15]]
#> [1] "“La La Land\"\n\f"
#> 
#> [[16]]
#> [1] "+=\n\n \n\nun\n\n \n\f"
#> 
#> [[17]]
#> [1] "e? $5 ES\n\n—E\n\f"
#> 
#> [[18]]
#> [1] "MS\nSA A SA\n\f"
#> 
#> [[19]]
#> [1] "LA ,\n\n\"a A\n\f"
#> 
#> [[20]]
#> [1] "1EVES.\n\n \n\f"
#> 
#> [[21]]
#> [1] "¿e LIN PA\n\f"
#> 
#> [[22]]
#> [1] "5\n\nan WE\n\f"
#> 
#> [[23]]
#> [1] "elas 255\n\f"

subtitulos %>% 
    filter(n_caracteres >= 30) %>% 
    arrange(n_caracteres)
#> # A tibble: 742 × 4
#>     name value     n_fichero                      n_caracteres
#>                                          
#>  1   410  00000707.jpg.subtitulo.tif.txt           30
#>  2   315  00000541.jpg.subtitulo.tif.txt           33
#>  3   455  00000785.jpg.subtitulo.tif.txt           35
#>  4   336  00000571.jpg.subtitulo.tif.txt           36
#>  5   363  00000618.jpg.subtitulo.tif.txt           36
#>  6   213  00000372.jpg.subtitulo.tif.txt           37
#>  7   338  00000576.jpg.subtitulo.tif.txt           37
#>  8   469  00000819.jpg.subtitulo.tif.txt           37
#>  9   177  00000307.jpg.subtitulo.tif.txt           38
#> 10   222  00000386.jpg.subtitulo.tif.txt           38
#> # ℹ 732 more rows

Usando la librería magick en R que permite usar imagemagick en R, ver post de Raúl Vaquerizo y su homenaje a Sean Connery, podemos ver el fotgrama correspondiente

library(magick)
(directorio_imagenes <- str_glue("{root_directory}video/{anno}_jpg/"))
#> ~/proyecto_cachitos/video/2024_jpg/

image_read(str_glue("{directorio_imagenes}00000441.jpg"))

image_read(str_glue("{directorio_imagenes}00000246.jpg"))

Así que nos quedamos con los rótulos con más de 30 caracteres

subtitulos <-  subtitulos %>% 
    filter(n_caracteres > 30)

dim(subtitulos)
#> [1] 741   4

Detección duplicados

Mini limpieza de caracteres extraños y puntuación

string_mini_clean <-  function(string){
    string <- gsub("?\n|\n", " ", string)
    string <- gsub("\r|?\f|=", " ", string)
    string <- gsub('“|”|—|>'," ", string)
    
    string <- gsub("[[:punct:][:blank:]]+", " ", string)
    string <- tolower(string)
    string <- gsub("  ", " ", string)
    
    return(string)
}

# Haciendo uso de programación funciona con purrr es muy fácil pasar esta función a cada elemento. y decirle que 
# el resultado es string con map_chr

subtitulos_proces <- subtitulos %>% 
    mutate(texto = map_chr(value, string_mini_clean)) %>% 
    select(-value)

subtitulos_proces %>% 
  select(texto)
#> # A tibble: 741 × 1
#>    texto                                                                        
#>                                                                            
#>  1 "concha velasco tiempo de fiesto 1971 "                                      
#>  2 "hello hello buenas noches lo primero "                                      
#>  3 "lorenzo santamaría hello hello luces en la noche 1974 "                     
#>  4 "santamaría era tan apuesto que este cachito lo patrocina codere "           
#>  5 "aquel día el coreógrafo se había pillado el día de asuntos propios "        
#>  6 "mari trini escúchame luces en la noche 1972 "                               
#>  7 "transgresora valiente feminista mejor nos habría ido si la hubiéramos escuc…
#>  8 "nota que el sofá tenga orejas no significa que pueda escucharte "           
#>  9 "juan erasmo mochi y parió la abuela "                                       
#> 10 "tiene mucho mérito triunfar llamándote mochi fuera de la carta de un restau…
#> # ℹ 731 more rows

Distancia de texto entre rótulos consecutivos. Usamos método lcs “longest common substring distance”.

Si tienen distancia 0 es que son el mismo subtítulo


subtitulos_proces <- subtitulos_proces %>% 
    mutate(texto_anterior = lag(texto)) %>% 
    mutate(distancia = stringdist::stringdist(texto, texto_anterior, method = "lcs"))
    
 
subtitulos_proces %>% 
    filter(!is.na(distancia)) %>% 
    select(name,texto,distancia, texto_anterior, everything()) %>% 
    arrange(distancia) %>% 
    DT::datatable(options = list(scrollX=TRUE))

Decidimos eliminar texto cuya distancia sea menor de 30

subtitulos_proces <-  subtitulos_proces %>% 
    filter(distancia >= 30) %>% 
    select(-texto_anterior)

subtitulos_proces %>% 
    select(name,texto, everything()) %>% 
    DT::datatable()

No nos hemos quitado todos los duplicados pero sí algunos de ellos.

dim(subtitulos_proces)
#> [1] 636   5

Y ya solo tenemos 636 rótulos

Guardamos el fichero unido


write_csv(subtitulos_proces,
          file = str_glue("{root_directory}{anno}_txt_unido.csv"))


DT::datatable(
    subtitulos_proces %>%
        select(-distancia) %>% 
        arrange(n_fichero))

Y en el DT ya podéis buscar rótulos dedicados a Pedro Sánches por ejemplo.


rot_sanchez <- subtitulos_proces |> 
    filter(texto |> tolower() |> stringr::str_detect("sánchez"))
rot_sanchez
#> # A tibble: 8 × 5
#>    name n_fichero                      n_caracteres texto              distancia
#>                                                        
#> 1    34 00000071.jpg.subtitulo.tif.txt           98 "les ofrecemos en…       108
#> 2    59 00000111.jpg.subtitulo.tif.txt          114 " volaré lo prime…       103
#> 3    64 00000119.jpg.subtitulo.tif.txt          111 " mo leerás mañan…       117
#> 4   172 00000300.jpg.subtitulo.tif.txt          100 "si la rumba y el…       125
#> 5   189 00000327.jpg.subtitulo.tif.txt          105 "el propósito par…        97
#> 6   318 00000544.jpg.subtitulo.tif.txt           94 "mira pedro sánch…       107
#> 7   348 00000593.jpg.subtitulo.tif.txt          123 " y hoy en la ter…       108
#> 8   629 00001106.jpg.subtitulo.tif.txt           81 "la letra resume …        89


rot_sanchez$texto
#> [1] "les ofrecemos en exclusiva un extracto de las últimas conversaciones entre sánchez y puigdemont "                 
#> [2] " volaré lo primero que piensa sánchez cuando tiene que ir a por el pan veis ya ha caído el del falcon "           
#> [3] " mo leerás mañana en x nosotros también somos marioneta de sánchez bailando en la cuerda del gobierno "           
#> [4] "si la rumba y el bakalao pudieron entenderse quizás aún haya esperanza para sánchez y feijóo "                    
#> [5] "el propósito para 2025 de pedro sánchez y begoña gómez es poder cantar este estribillo al menos un día "          
#> [6] "mira pedro sánchez al fondo hay una plataforma disponible puedes subir ahí tu documental "                        
#> [7] " y hoy en la tertulia cristina pardo nuria roca juan del val y tamara falcó volverán a llamar dictador a sánchez "
#> [8] "la letra resume el subtexto de las dos cartas a la ciudadanía de pedro sánchez "

Ahora nos quesmoa con el nombre del fichero para poder identificar rápidamente el fotograma y el subtítulo

# identificamos nombre del archivo jpg con los rótulos polémicos
sanchez_fotogramas_fn <- unique(substr(rot_sanchez$n_fichero, 1,9))


head(sanchez_fotogramas_fn)
#> [1] "00000071." "00000111." "00000119." "00000300." "00000327." "00000544."

# creamos la ruta completa donde están
sanchez_fotogramas_fn_full <- paste0(str_glue("{root_directory}video/{anno}_jpg/"), sanchez_fotogramas_fn, "jpg")


# añadimos sufijo subtitulo.tif para tenr localizado la imagen que tiene solo los rótulos
sanchez_subtitulos_full <- paste0(sanchez_fotogramas_fn_full,".subtitulo.tif")

Ahora leemos las imágenes y las guardamos en una lista

sanchez_fotogramas_img <- map(sanchez_fotogramas_fn_full, image_read)
sanchez_subtitulos_img <- map(sanchez_subtitulos_full, image_read)


sanchez_fotogramas_img[[4]]

sanchez_subtitulos_img[[4]]

set.seed(49)
# escogemos 4 al azar
indices <- sort(sample(1:length(sanchez_fotogramas_img), 4))

lista_fotogram_polemicos <- lapply(sanchez_fotogramas_img[indices], grid::rasterGrob)
gridExtra::grid.arrange(grobs=lista_fotogram_polemicos )

Podéis hacer el ejercicio buscando a Errejón o a Feijóo o al juez Peinado y ya que cada cual saque sus conclusiones

Con el rey

rot_rey <- subtitulos_proces |> 
    filter(texto |> tolower() |> stringr::str_detect("\\brey\\b|\\bjuan carlos\\b"))

rot_rey$texto
#> [1] "se la ha relacionado con el rey juan carlos lo cual en términos estadísticos no tiene mucho e mérito "
#> [2] "el verdadero rey campechano siempre fue el de la rumba "                                              
#> [3] "bárbara rey quién será palmarés 1976 "

Pues con esto ya tenéis para jugar un rato.

Cachitos 2024. Primera parte

José Luis Cañadas Reche — Thu, 02 Jan 2025 23:00:00 GMT

Como todos los años toca hacer el análisis de de los subtítulos de Nochevieja a Cachitos

Requisitos

Un plugin en el navegador que pueda identificar el m3u asociado al archivo mp4 del video de Cachitos que está en rtve play. Yo he usado live Stream Downloader , pero seguro que hay alguno mejor
Usar un sistema operativo GNU/Linux, en mi caso Linux Mint 21.3
ffmpeg sudo apt install ffmpeg . ffmpeg nos va a servir para poder bajar el video
mplayer sudo apt install mplayer. mplayer con mplayer vamos a extraer 1 de cada 200 fotogramas del video
imagemagick con sudo apt install imagemagick. Con imagemagick vamos a cambiar el tamaño de los fotogramas, recortar el área dónde están los subtítulos, convertir a formato tif e invertir los colores para que el texto se vea mejor.
parallel sudo apt install parallel . Con parallel vamos a poder utilizar varios núcleos e hilos del ordenador en paralelo y poder hacer la modificación de los fotogramas y el reconocimiento óptico de caracteres más rápido.
tesseract sudo apt install tesseract-ocr y sudo apt install tesseract-ocr-spa . Con tesseract se va a hacer el reconocimiento óptico del texto y guardar en ficheros de texto.
Elimina ficheros de texto de menos de 10 bytes, puesto que ahí no hay texto .

Plugin

Script de bash

El script es extract_subtitles.sh , se ejecutaría con extract_subtitles.sh 2024

El script es similar al de años anteriores

#!/bin/bash

root_directory=/home/jose/proyecto_cachitos
mkdir -p $root_directory
cd $root_directory

echo "First arg: $1"
mkdir -p video

cd video

ANNO=$1
echo $ANNO
suffix_video="_cachitos.mp4"
suffix_video_2024="_cachitos.mkv"
suffix_jpg_dir="_jpg"
suffix_txt_dir="_txt"

video_file=$ANNO$suffix_video
echo $video_file


if [ "$ANNO" == "2024" ] ;
then
  video_file=$ANNO$suffix_video_2024
  echo $video_file
fi

if [ "$ANNO" == "2023" ] ;
then
    ffmpeg -i "https://rtvehlsvodlote7.rtve.es/mediavodv2/resources/TE_SHIECRO/mp4/3/1/1704096565613.mp4/video.m3u8?hls_no_audio_only=true&hls_client_manifest_version=3&idasset=7047821" -c copy $video_file
fi

if [ "$ANNO" == "2022" ] ;
then
    ffmpeg -i "https://rtvehlsvodlote7.rtve.es/mediavodv2/resources/TE_SHIECRO/mp4/1/5/1672556504451.mp4/video.m3u8?hls_no_audio_only=true&hls_client_manifest_version=3&idasset=6767615" -c copy $video_file
fi 
 

# Pasar a jpg uno de cada 200 fotogramas

mplayer -vf framestep=200 -framedrop -nosound $video_file -speed 100 -vo jpeg:outdir=$ANNO$suffix_jpg_dir 
 
cd $ANNO$suffix_jpg_dir 
 
# Convertir a formato más pequño
find . -name '*.jpg' |  parallel -j 8 mogrify -resize 642x480 {}

# Seleccionar cacho dond están subtitulos
find . -name '*.jpg' |  parallel -j 8 convert {} -crop 460x50+90+285 +repage -compress none -depth 8 {}.subtitulo.tif

# Poner en negativo para que el ocr funcione mejor
find . -name '*.tif' |  parallel -j 8 convert {} -negate -fx '.8*r+.8*g+0*b' -compress none -depth 8 {}

# Pasar el ocr con idioma en español
find . -name '*.tif' |  parallel -j 8 tesseract -l spa {} {}

# mover a directorio texto
mkdir -p $root_directory/$ANNO$suffix_txt_dir

mv *.txt $root_directory/$ANNO$suffix_txt_dir

cd $root_directory/$ANNO$suffix_txt_dir

# Borrar archivos de 10 bytes , subtítulos vacíos
find . -size -10c -exec rm -f {} \;

cd $root_directory

Para que funcione este script el archivo 2024_cachitos.mkv tiene que estar en el directorio video, en años anteriores me bajaba el video directamente con el script, en este no.

Extracción de fotogramas

Este es el comando que hace todo eso

mplayer -vf framestep=200 -framedrop -nosound $video_file -speed 100 -vo jpeg:outdir=$ANNO$suffix_jpg_dir

Recorte de la zona de dónde está el rótulo

Reducción de la imagen

Cambiamos al directorio dónde hemos dejado las imágenes, y usando el comando find seleccionamos todos los archivos con extensión jpg y los reducimos a formato de 642x480.

Para eso usamos mogrify que forma parte de imagemagick y la parte de usar parallel es para que se ejecute en paralelo usando 8 hilos de cpu.

 
cd $ANNO$suffix_jpg_dir 
 
# Convertir a formato más pequño
find . -name '*.jpg' |  parallel -j 8 mogrify -resize 642x480 {}

Seleccionar la zona dónde están los rótulos


# Seleccionar cacho dond están subtitulos
find . -name '*.jpg' |  parallel -j 8 convert {} -crop 460x50+90+285 +repage -compress none -depth 8 {}.subtitulo.tif

Hacer el negativo de las imágenes

Para ayudar al software de reconocimiento óptico de caractereres obtenemos el negativo de cada tif. Para eso usamos de nuevo convert pero con la opción negate


# Poner en negativo para que el ocr funcione mejor
find . -name '*.tif' |  parallel -j 8 convert {} -negate -fx '.8*r+.8*g+0*b' -compress none -depth 8 {}

subtitulo_negativo

Reconocimiento óptico de caracteres

# Pasar el ocr con idioma en español
find . -name '*.tif' |  parallel -j 8 tesseract -l spa {} {}

# mover a directorio texto
mkdir -p $root_directory/$ANNO$suffix_txt_dir

mv *.txt $root_directory/$ANNO$suffix_txt_dir

cd $root_directory/$ANNO$suffix_txt_dir

# Borrar archivos de 10 bytes , subtítulos vacíos, bytes se indican con la letra c, cosas de linux
find . -size -10c -exec rm -f {} \;

Y podemos ver cómo ha convertido por ejemplo el rótulo asociado al fotograma 514.

cmd <-  "cat ~/proyecto_cachitos/2024_txt/00000514.jpg.subtitulo.tif.txt"
system(cmd, intern = TRUE)
#> [1] "El interrogatorio que el Juez Peinado"
#> [2] ""                                     
#> [3] "sueña con hacerle a Begoña Gómez."    
#> [4] "\f"

Como vemos, la lógica de la creación de los ficheros de texto ha sido la de ir guardando el nombre original del fotograma e ir añadiendo extensiones, (.jpg, .subtitulo.tif, .txt).

Algún ejemplo

library(tidyverse)

root_directory = "~/proyecto_cachitos/"
anno <- "2024"
library(magick)
(directorio_imagenes <- str_glue("{root_directory}video/{anno}_jpg/"))
#> ~/proyecto_cachitos/video/2024_jpg/

image_read(str_glue("{directorio_imagenes}00000551.jpg"))

image_read(str_glue("{directorio_imagenes}00000551.jpg.subtitulo.tif"))


(directorio_texto <- str_glue("{root_directory}{anno}_txt/"))
#> ~/proyecto_cachitos/2024_txt/

system(str_glue("cat {directorio_texto}00000544.jpg.subtitulo.tif.txt"), intern = TRUE)
#> [1] "Mira, Pedro Sánchez, al fondo hay una plataforma disponible."
#> [2] "Puedes subir ahí tu documental."                             
#> [3] "\f"

Tooling

José Luis Cañadas Reche — Sat, 28 Dec 2024 23:00:00 GMT

Listening

Forma, contenido, tooling.

Me comentaba el otro día mi amigo Mario, que por culpa del “tooling” en lo que antes tardaba 2 horas ahora se tira 2 semanas.

¿A qué me refiero con esto del “tooling”? Pues a lo que he comentado muchas veces, unas por aquí y otras hablando con amigos, a que se le de más importancia al cómo que al qué y al para qué. Por supuesto que el cómo se hagan las cosas es importante, para mí, las cosas se han de hacer bien, de forma sencilla y con “filosofía Unix”.

Lo de la filosofía UNIX es algo muy simple, haz software que haga una sola cosa pero que la haga bien. También se podría decir aquello del principio KISS (Keep It Simple Stupid).

En el mundo del análisis de datos hay algunas herramientas que están muy bien hechas y que cumplen ese criterio de Keep It Simple y el de modularidad e ir juntando unas piezas con otras. Ya sea a través de programación orientada a objetos bien hecha o de paradigmas funcionales componiendo operaciones.

En mi opinión, en vez de intentar crear un megasoftware, nos iría mejor usando lo que ya otros han desarrollado con buen criterio, y así centrarnos en lo verdaderamente importante. Os dejo por aquí algunos enlaces

MLJ. Framework en Julia para Machine Learning. a mi me gusta bastante
Tidymodels. Muy limpio y funcional, útil para centrarse en lo que importa
Mlr3. Desarrollado con paradigma OOP. Implementa flujos más complejos que otros y al usar como estructura de datos los data.table funciona muy bien y rápido
scikit-lean. Un estándard en muchos sitios, aunque a mi parecer le falta integrar mejor algunas transformaciones.

En fin, lo que quería decir no lo puedo decir, así es la vida. Pero por favor, centrémonos en qué quiero hacre y para qué, del cómo ya hay muchas herramientas maduras que nos facilitan la vida, no nos compliquemos inútilmente.