A Xunta ofrece datos sobre a localización e as características dos eólicos (aeroxeradores) en Galicia. No que respecta a este post, simplemente vou usar estes datos para crear visualizacións dos propios eólicos.

Os datos

Para descargar os datos, debes seguir a ligazón que aparece na imaxe, pero basicamente: botón de capas > Afeccións > Enerxía > Eólica.

Isto descarga un arquivo .zip que contén varios formatos, o cal é útil dependendo do teu obxectivo específico. Para as visualizacións deste artigo, usei o formato .shp (Shapefile), aínda que os outros ficheiros poden conter datos diferentes ou máis detallados. En concreto, o .shp ten as seguintes columnas: 'OBJECTID', 'INFRAEST', 'NOME', 'ETRS89_X', 'ETRS89_Y', 'DIAM', 'ALT', 'NUM_ESTADO', 'SITUACION', 'geometry'. Un exemplo sería:

OBJECTID 2
INFRAEST AEROXERADOR
NOME PAXAREIRAS I
ETRS89_X 494628
ETRS89_Y 4.74572e+06
DIAM 44
ALT 40
NUM_ESTADO 5
SITUACION FUNCIONANDO, AUTORIZADO, EN OBRAS
geometry POINT (494628.4946999181 4745723.399695537)

Como podes ver e probablemente imaxinar ao observar os datos, o campo SITUACION non vale para nada, xa que todos teñen os mesmos valores. Porén, o resto da información pode ser útil.

A visualización

Como o obxectivo é simplemente a visualización, quixen probar kepler.gl. Para que os datos se rendericen correctamente alí, é necesario reproxectalos. Os datos da Xunta veñen en CRS 29N (a zona UTM de Galicia), pero Kepler require WGS 84 (EPSG:4326), que é o estándar global. Como a precisión milimétrica non é unha prioridade nestas visualizacións, podemos facer a conversión de xeito sinxelo con geopandas.

import geopandas as gpd

eolicos_gdf = gpd.read_file("your_path.shp")
eolicos_wgs84 = eolicos_gdf.to_crs("EPSG:4326")
eolicos_wgs84.to_file("your_output_file.geojson", driver="GeoJSON")

Ademais, para lograr unha visualización máis interesante, quixen aproveitar os datos contidos no .shp. Deste xeito, ao ler tanto a altura (ALT) como o diámetro (DIAM), podemos crear unha visualización en 3D máis informativa. Para iso, no que respecta aos cambios no ficheiro de saída, só precisamos obter o radio a partir do diámetro e incorporalo ao .geojson. Para conseguilo, cambiamos a xeometría de puntos individuais a polígonos (círculos):

import geopandas as gpd

eolicos_gdf = gpd.read_file("your_path.shp")
eolicos_gdf['geometry'] = eolicos_gdf.geometry.buffer(radii)
eolicos_wgs84 = eolicos_gdf.to_crs("EPSG:4326")
eolicos_wgs84.to_file("your_output_file.geojson", driver="GeoJSON")

A continuación, podemos subir o ficheiro a kepler.gl e seleccionar o campo de altura, asociándoo ao campo ALT do geojson. Iso debería xerar un resultado semellante a:

Ademais, usando o .geojson orixinal, tamén creei outra visualización de tipo heatmap para mostrar onde se concentran máis eólicos (ademáis, a intensidade da cor vén determinada pola altura, utilizándoa como proxy da potencia dos eólicos).

Unha “batea” é un tipo de balsa ou estrutura flotante formada por un entramado de trabes de madeira combinadas con flotadores dos que colgan cordas, perpendiculares á propia balsa, que se mergullan na auga permitindo o crecemento do marisco, principalmente mexillóns.

Detectar estas en imaxes visibles de Observación da Terra (EO) é relativamente sinxelo (dada a resolución adecuada), agás polo feito de que Galicia está sempre notablemente nubrada. Polo tanto, tratar de monitorizalas con, por exemplo, Sentinel 2, significaría estar todo o inverno mirando para unha teito branco de nubes. Para construír un sistema de observación que funcione todo o ano, hai que soltar a cámara e coller un microondas (só parcialmente metafórico). A ferramenta ideal para o traballo sería un Radar de Apertura Sintética (SAR) como o do Sentinel 1. Ao radar non lle importan as nubes, de feito atravesaas. O que si lle importa, e moito, é a xeometría.

En circunstancias normais, con auga en calma, entra en xogo un fenómeno chamado reflexión especular. Os instrumentos SAR lanzan microondas desde a órbita cara á terra e logo tentan recoller o que o terreo reflectiu. A superficie lisa do océano desvía o pulso do radar lonxe do satélite, facendo que a auga en calma apareza escura. Isto contrasta facilmente coas bateas que son, esencialmente nesta configuración, reflectores de esquina (corner reflectors). O pulso golpea a auga plana xunto á balsa, rebota cara arriba na cara vertical dunha trabe e logo sae disparado directamente de volta ao satélite. Este dobre rebote crea un sinal forte que, a pesar do tamaño das propias bateas e da baixa resolución do Sentinel 1, debería ser facilmente visible nas imaxes.

Os datos

    def normalize_band(data, vmin, vmax):
        clipped = np.clip(data, vmin, vmax)
        return ((clipped - vmin) / (vmax - vmin) * 255.0).astype(np.uint8)

    vv_db = 10 * np.log10(vv_raw)
    vh_db = 10 * np.log10(vh_raw)
    diff_db = vv_db - vh_db

    R_channel = normalize_band(vv_db, -25, 0)
    G_channel = normalize_band(vh_db, -30, -5)
    B_channel = normalize_band(diff_db, 0, 15)

A saída

Ao visualizar as imaxes queda claro que as bateas son visibles a pesar do seu tamaño (fíxate nos pequenos puntos sobre o mar negro nas imaxes de abaixo).

Composición RGB de falsa cor con mar calma

Polarización VV co mar en calma

Polarización VH co mar en calma

Composicción de falsa cor RGB co mar picado

Polarización VV co mar picado

Polarización VH co mar picado

Para quen non o saiba, o wordle é un simple xogo de adiviñar palabras de 5 letras. É fácil ver porque se fixo tan famoso xa que é moi accesible e permíteche compartir os teus intentos cos teus amigos de maneira moi simple. Como debe ser, este xogo xa foi adaptado ao galego da man de Abraham Martinez Gracia. Pero hai algunha palabra ou combinación delas que sexa a mellor para garantir o teu éxito e superar a todos os teus colegas? Ben, parece que non fun o único que o pensou, pero vamos facer esta análise para a nosa versión en galego. A modo de disclaimer direi que non sei exactamente que lista de palabras usa o wordle, eu vou usar a que empreguei para facer typer-gal, así que é posible que falten as últimas palabras que engadira a RAG.

Ao choio

Partindo da lista de todas as palabras posibles, debemos seleccionar aquelas con 5 letras, xa que son as que emprega o wordle. En todo este proceso debemos eliminar palabras “espurias” que están incluídas no dicionario e que realmente son prefixos (i.e. vaso-) ou expresións (a fin, a man, etc.). É necesario ter coidado tamén con nomes propios e outras palabras que teñan letras en maiúscula. A mellor forma de evitar problemas é pasalo todo a maiúscula ou minúsculas. Finalmente, tamén se deben ter en conta os acentos e a ñ, que poden dar problemas máis adiante.

Desta forma obtemos que (cando menos nesa versión do dicionario) hai un total de 3351 palabras de 5 letras.

As letras

Xa coa lista definitiva de palabras podemos adentrarnos no análise, letra a letra. A forma máis fácil de ver que letras son as máis comúns e representativas deste conxunto de palabras é mediante un mapa de calor. Con esta figura poderemos ver claramente que letras son as que máis se repiten, pero tamén as súas posicións nas palabras en si.

Se agrupamos as letras poderemos ver que as máis comúns son as vogais, con 4 delas no top-5 das letras máis repetidas. Desta forma, vendo o top-10 mostrado abaixo podemos empezar a pensar que palabras teñen a maior cantidade desas letras como unha boa forma de eliminar moitas posibilidades en poucos intentos.

Puntuando…

Con estes datos podemos obter varias métricas sobre que opcións sería mellor empregar á hora de adiviñar a palabra do dia no wordle, ou canto menos nos primeiros intentos cando vas a cegas.

A forma máis fácil de medir a utilidade dunha palabras é ver cantas outras pode descartar. Para isto simplemente debemos buscar as letras máis comúns e tentar agrupalas nunha mesma palabra. Para obter un número representativo deste poder discriminativo debemos sumar as posibilidades de que unha das súas letras apareza en calquera palabra (número de aparicións/total palabras). Cabe destacar que esta métrica é máis útil se evitamos que unha mesma letra se repita máis dunha vez, xa que así poderemos eliminar o maior número de variables do noso cadro do wordle. Así, nomearemos esta métrica como presente_sin_rep e presente_rep na táboa final.

Outra cousa a medir é a posibilidade de que unha letra apareza exactamente no lugar no que se escribe. Como se puido ver antes no mapa de calor, a pesar de que a letra “A” é moi común o máis habitual é atopala na quinta posición. Desta forma esta medida sería algo equivalente á posibilidade de acertar un cadro verde no wordle, así que lle chamaremos verde.

De maneira similar, tamén pode ser importante ter en conta as posibilidades de que unha letra non apareza no lugar no que se predixo pero si en calquera outro da palabra. Isto seria equivalente a un bloque amarelo, polo que así lle chamaremos.

Como quedaría logo a cousa? A palabra con maior poder discriminativo, é dicir, que pode eliminar máis letras frecuentes é eiroa que é un sinónimo de anguía. Se atendemos á posibilidade de acertar cadros verdes á primeira, a mellor palabra seria carto. Para acabar, se por algunha razón o que necesitas son cadrados amarelos a toda costa, a túa mellor aposta sería caroa, que é un sinónimo de caguña.

Os resultados coas puntuacións para todas as palabras, pódense descargar aquí

Código

Con todo o tema da pandemia os códigos QR están cada vez máis presentes na vida diaria. Dende as cartas “contact-less” ata os certificados de vacinación, cada vez é mais necesario saber manexarse con esta tecnoloxía. En realidade, o uso que se lle da agora mesmo é bastante simple xa que só se usan como unha especie de acurtadores de direccións URL. Nos dous exemplos anteriores, tanto nas cartas dos locais como nos certificados de vacinación, o contido dos códigos QR é unha simple dirección electrónica, unha URL. Porén, os códigos QR poden conter moita máis información. O maior cantidade de datos que se pode colocar nestes códigos é 2953 bytes, algo que dá para moito máis que unha ligazón.

Desta forma, empecei a darlle voltas a que se podería meter en realidade nun destes códigos. Obviamente, non fun ao primeiro ao que se lle ocorreu, nin serei o último. Quizais o exemplo que máis me chamou a atención foi este no cal se introduciu un xogo completo (aínda que moi básico) nun QR, sen ningún tipo de trampa. O bo dos executables e que se poden facer moi moi pequenos, pero cos datos en “cru” non pasa o mesmo.

Perspectiva

2953 bytes pode parecer moito, pero non o é. Practicamente calquera arquivo que teñas no móbil ou no ordenador ocupa máis ca iso. De feito este texto ata o punto onde agora les, codificado, e sen datos extra (nin css nin nada) xa case ocupa iso. Desta forma pódese ver que os códigos QR aínda que cómodos non son un medio para transmitir gran cantidade de información senón para actuar como intermediarios. Isto vese claro se observamos a especificación dos códigos, xa que ofrecen diversos niveis de redundancia. Isto permite, ata certo punto, a corrección de erros. Desta forma, se unha parte do código falta, esta mal impresa ou calquera cousa, o contido segue sendo accesible.

Que se pode meter nun QR?

Pois aparte do común, URLs, algo amplamente soportado é texto. A pesar disto, o tamaño de texto que se pode meter non é moi grande. Pode ser aceptable por exemplo para texto pequeno do estilo de poemas, cancións ou relatos curtos. Aquí un exemplo coa letra de Around the World de Daft Punk.

Compresión

Moitos dos datos cos que tratamos a diario pódense comprimir aínda que moitas veces non é necesario ou é simplemente negativo. Por exemplo, estiven experimentado con compresión de audio (cancións) para que puideran coller nun código QR. Sobra dicir (xa solo polo que puxen antes) que foi un fracaso total, ou colles un fragmento desprezable (i.e. < 1 segundo) ou o comprimes ata que non sona a nada. Porén o texto, é máis fácil de comprimir. Por exemplo, o libro de Rosalía, Cantares Gallegos, ocupa aproximadamente en formato PDF uns 670KB. Isto baixa ata 115KB se o convertemos a .txt, texto plano. Este arquivo pódese comprimir máis, ata uns 35KB se empregamos a compresión bzip2. Aínda así quedamos mooooi lonxe dos ~2KB que permite usar un QR e, no proceso, perdemos a capacidade de que un lector “normal” de códigos QR o poida ler.

Libros en QR

Se acabo de dicir que non colle nada nun QR, como vai coller un libro? Efectivamente, un libro non colle nun QR, pero en varios xa cambia o conto. Obviamente é un resultado menos chulo pero é curioso igual. Concretamente o libro de antes, Cantares Gallegos, colle en 36 códigos QR diferentes (optimizando ao máximo o espazo).

O malo deste códigos tan grandes e que poden ser dificiles de escanear, polo seu tamaño, pola resolución da pantalla/papel, etc. Isto xa se podia apreciar no da canción de Daft Punk de antes, aínda que sexa un só. É dicir, non é perfecto, pero tecnicamente a información está aí. Curiosamente o peso da imaxe anterior é de 232KB, algo mais do dobre que o arquivo de texto do que partimos, pero a pesar disto, é notablemente inferior ao do PDF orixinal (670KB). Así que tecnicamente estamos a comprimir a información. En realidade, a única compresión que realizamos e que se podería imprimir cantares enteiro nunha soa folla de papel. Sendo sinceiros, tamén se podería facer o mesmo con letra pequeniña!

Como?

Facer todo isto á man, paso a paso, é un traballo insufrible pero todo se pode automatizar. Para pasar os libros de pdf á txt pódese utilizar calquera conversor tanto online como local. A parte difícil é cortar os arquivos, xa en texto, no tamaño adecuado, codificalos e facer o collage final. Para todo isto creei un pequeno script de bash que permite facelo todo de golpe.

Outros exemplos

Con libros máis densos, os códigos QR dispárense de forma dramática. Por exemplo, Sempre en Galiza, en formato .txt pesa 1.1 Mb. Isto resulta nun total de 455!! códigos QR, o cal deixa a imaxe final nos 2.5Mb, máis do dobre.

Non toda a prosa é tan “explosiva”, a Esmorga, resulta en tan “só” 57 códigos. Así, pasamos de 164 KB de texto a 370 de imaxe.

Comprimir aínda máis?

Mentres que sería posible comprimir as imaxes cos códigos QR, eu creo que non é recomendable. Debido ao tamaño dos códigos que se manexan, xa pode resultar difícil escanealos perfectamente, xa que dependendo da pantalla/papel, do lector e do pulso de que nos lea poden dar errores ou lecturas incorrectas. Comprimir as imaxes só aumentaría estes ratios e, ademais, podería acabar levando a que se perdera información, xa que cambiar un pixel de negro a branco podería resultar nun código QR ilexible.

O mapa -> Mapa das escolas da emigración

O link rot

O concepto de “link rot”, que se podería traducir a algo como podremia de ligazóns ou comúnmente rotura de enlaces, ocorre cando un sitio ou recurso xa non se pode atopar en internet. Neste caso, o que vos vou contar si que se pode seguir visitando pero está nun estado inusuable. É común que moitas webs queden desatendidas ou desaparezan co tempo a medida que as persoas que as levaban ou mantiñan perden o interese. Algo que debería ser menos frecuente é que isto ocorra con sitios web creados/mantidos polas administracións. Neste caso estouvos a falar da web escolas da emigración. Actualmente, esta web está nun estado inusable, probablemente non pola culpa da administración senon polo cambio na API de google maps. Este cambio ocorreu xa no 2018 e fixo obrigatorio o uso dun método de pago de forma que, moitas webs coma esta, quedaron practicamente inutilizadas ao non estar ben configuradas. Neste caso, aínda que é posible ver máis ou menos as localizacións en canto lle tocas, rompe completamente.

Vendo o tempo que fai deste cambio e o feito de que agora a API é de pago, paréceme pouco probable que a administración se acorde xa deste proxecto. Cabe destacar que cada certo tempo ocorre un milagre como pasou con Galicia Nomeada que volveu recuperar o proxecto da toponimia cunha web mellor ca nunca. Visto todo isto, o que decidín facer é simple: un “remake”

Os datos

Por sorte os datos para este proxecto están dispoñibles na propia páxina. Dende o propio mapa pódense exportar ao formato .kmz, axeitado para o google earth. Isto fai que non sexan necesarios procedementos avanzados de “crawling”. Este tipo datos podemos, despois, convertelo a outros máis comúns. Eu usarei o geojson que está estandarizado e é compatible con python e folium (o que usarei máis adiante). Hai que dicir que se podería traballar cos datos orixinais xa que non deixan estar nun formato moi similar ao xml.

O mapa

Folium é unha libraría de python que permite, de forma bastante fácil, crear mapas a partir de múltiples tipos de datos (neste caso o geojson de antes). O máis relevante quizais é que soporta openstreetmap. Openstreetmap, en resumo, é como Google maps pero gratuíto e aberto o que o fai bastante atractivo para un proxecto deste estilo. Tan importante coma isto é que para usar os mapas non hai que pagar e calquera pode achegar o seu coñecemento a eles, en forma de topónimos por exemplo.

Con Folium podemos coller os datos exportados no geojson e introducilos no mapa directamente, isto daranos unha serie de marcadores detallando a localización de cada unha das escolas indianas. Para darlle un pouco máis de gracia ao asunto podemos engadir popups e tooltips para que engadan información adicional. Aí eu introducín o nome de cada escola, unha foto que moi convintemente viña embebida no propio geojson. Pero non todo ían ser cousa boas, as imaxes viñan incluídas en forma de ligazón. A páxina está configurada de tal forma que non permite peticións a través doutros lugares web, probablemente por razóns de seguridade. Desta forma para poñelo bonito a única opción que quedaba era facer “crawling” destas imaxes. Isto é, descargalas e almacenalas eu para que puideran ser servidas co resto da páxina web. Xa que os propios links estaban no json embebidos isto non foi difícil, descargar as imaxes a partir desas URLs e cambiar os vínculos para que apuntasen a este sitio web.

Adicionalmente, engadín un campo de información extra que é unha ligazón á paxina orixinal onde hai máis detalles. Este último campo construino “adviñando” o formato das ligazóns permanentes que crea o servizo. Desta forma pódese acceder aos detalles de cada escola na páxina orixinal, mantendo a utilidade e as visitas desta (non vaia ser que a liquiden por non ter tráfico) e evítase re-implementar todo de novo.

Finalmente, o mapa resultante, aínda que non é nada do outro mundo quedou bastante xeitoso e o que é mais importante, salvo cambio grave en openstreetmap debería ser estable.

Os bugs

Coma todo, tiña que ter bugs. O máis obvio foi atopar a Escola Rosalía de Castro na costa cerca de África. Isto debeuse a que nos datos desta escola a lonxitude e latitude estaban ambos a 0. Isto non é cousa da exportación así que o problema leva aí sen solucionar unhos anos. O máis interesante é que noutro lugar da páxina, nos detalles da escola en si, as coordenadas son correctas. Unha vez copiadas o problema quedou solucionado.

Máis interesante é o feito de que o xerador de ligazóns permanentes da páxina web non funciona ben. Se a escola ten no nome unha ñ non é capaz de crear o vínculo. Sorprendentemente con outros caracteres especiales si funciona, por exemplo, ignora as tiles. Debido a isto, é posible que neses casos o enlace de máis información que aparece no mapa non funcione ben.

Primeiro só a lonxitude do artigo.

Lonxitude do artigo normalizada pola cantidade de xente do concello. É dicir, a cantidade de palabras que existen no artigo por cada persoa que vive no concello.

Como se fixo

Á idea é simple, obter os datos da galipedia e simplemente contar as palabras. Na versión normalizada aumenta un pouco a dificultade xa que implica recoller os datos de poboación. O primeiro paso será polo tanto obter unha lista dos concellos da Galiza. Isto, vendo o fácil que era fíxeno a man, é dicir, copieinos a un arquivo .txt. A partir deste xa poderemos facer as chamadas a API da wiki para poder ver os artigos en concreto. Para iso use o seguinte script de python:

En xeral facer e usar o script é bastante fácil. Hai que ter coidado cos encodings dos arquivos iso si, xa que estes poden non estar en UTF-8 o cal pode implicar problemas ao facer as peticións á galipedia.

Para normalizar o proceso é similar. Os datos collinos á man do IGE, de onde os podes descargar en diferentes formatos. Despois, lemos os datos dos arquivos (a saída do anterior e os descargados) para combinalos mediante o seguinte script de python:

Con isto conseguimos os datos, pero e os mapas? Os mapas son incluso máis sinxelos de facer grazas a Datawrapper. Nesta páxina web podemos crear todo tipos de mapas e gráficos de maneira sinxela, simplemente importando os datos que conseguimos antes. Se queredes botarlle unha ollada aos datos que obtiven deixovolos aquí.

O enlace: typer-gal

Open source

Fai uns días atopei unha aplicación moi chula, typer, e iso que os xogos de escribir non son o meu. O interesante desta app web é o seu deseño simple pero sobre todo que é de código aberto ou open source. Isto significa que, a grosso modo, podes non só ver o código senón modificalo ao gusto, que foi o que fixen eu.

Modificacións

A idea era ben simple, partindo da base en inglés, adaptala para empregar palabras en galego. O que cambiei do deseño foi pouco, só engadín un par de botóns para cambiar entre a versión isolacionista e a reintegracionista, así está ao gusto de todos. Fóra diso, pasei dos 10 segundos para escribir da orixinal á 15 xa que moitas das palabras son máis longas.
Como é código aberto invítovos a pasarvos polo repo, tanto da miña versión como da do creador orixinal. Se o vedes, xa vos aviso de que o código está daquela maneira, non me dou moito xeito co javascript.

As palabras

Actualmente o xogo ten todas as palabras, tanto do dicionario da RAG como do Estraviz. Algo de limpeza de repetidos ou expresións feitas moi longas si que fixen, pero non moito. Isto pode supoñer un problema se o queredes usar con pícaros xa que pode ser que aparezan palabras mal soantes, no futuro sería interesante facer unha versión simplificada.
Para obter as palabras usei os sitemaps do dicionario Estraviz que fixeron moi fácil crear unha lista de palabras. O dicionario da RAG resistiuse un pouco máis, tiven que recorrer a súa app móbil. Nesta atópase unha base de datos con todos os termos. Cabe destacar que a versión da app non é moi recente (2018) polo que algunhas das últimas palabras engadidas, como o famoso gromo, faltarán.

Como igual xa vistes nun dos anteriores posts fixen un pequeno “modelo” de notas de copiloto para o Dirt Rally (1 e 2) ao cal cada quen poidera engadir outras palabras de forma fácil. Desta forma cada un podería adaptalas ao estilo que preferira. O maior problema era que, ao usar só as palabras dispoñibles no diccionario da RAG/ILG moitas das frases creadas quedaban inconexas. Por exemplo, algo moi común é que o copiloto che diga que non cortes ou non atalles nunha curva porque pode ser que teña unha cuneta, unha pedra ou algo perigoso. Ben, só coas palabras gravadas non se poden conxugar a maioría de verbos polo que a frase final podería quedar como “Curva 1 dereita non atallar” que lle da un toque máis robótico do que xa ten. Con esta nova opción poderemos crear as palabras axeitas, como por exemplo conxugando verbos. Con isto poderemos conseguir, por exemplo: “Curva 1 dereita non atalles”.

Pero, como?

Xa fai un tempo, igual vos cadrou de ver por twitter o modelo que adestrou Marcos. Todo isto está baseado nel. Este modelo foi creado empregando Tacotron 2. Non vou finxir ser un experto nestas cousas pero a grosso modo usa dúas redes neuronais diferentes, unha das cales toma o texto de entrada o transfórmao nun espectrograma. A segunda, unha Wavenet modificada, representa o audio correspondente ao espectrograma xerado anteriormente. Desta forma, adestrando o sistema coa voz de Luis Iglesia poderemos imitar a súa voz.

Que facer entón?

Co modelo que me deu Marcos, xa adestrado, o único que tiven que facer eu foi poñelo á disposición de todos. Para facer isto só é necesario empregar o servizo Colab de Google. Este servizo permítenos usar máquinas con GPUs moi potentes, requisito case indispensable para usar este tipo de modelos, a pesar de que esteñan adestrados. A versión gratuita só permite unhas horas de computación de cada vez, pero como o obxectivo é só a xeración a partir dun modelo xa pre-adestrado ningúen debería ter problema.

O notebook

Colab estrúturase mediante notebooks ou cadernos. Estes arquivos permiten compartir código que se executará nas máquinas. Para xerar logo as nosas palabras o primeiro paso é acceder ao notebook en concreto.

A continuación e como paso previo deberemos asegurarnos de que o entorno de execución ten unha GPU como acelerador. Para facer isto deberemos ir ao menú superior, facer clic no menú de Entorno de execución e a continuación cambiar o tipo de entorno de execución. Con isto mostrarásenos unha selección dos que están dispoñibles. O máis común e que apareza como seleccionado None, debemos logo facer clic no desplegable e seleccionar GPU.

Paso a paso

Dentro do caderno veremos diferentes bloques. Dentro destes bloques hai código que se executará cando se fai clic no pequeno botón de “play” que teñen na esquina superior dereita. Decidín agochar o código por defecto para que ninguén se sinta intimidado a primeira vista. Porén se alguén quere velo so ten que facer clic dereito formulario > mostar código. Os dous primeros bloques (Descarga de arquivos necesarios e Instalación de librarías e compoñentes) podemos executalos sen darlle moitas voltas, facendo clic no botón e esperando.

En cambio o terceiro bloque, require que introduzamos as palabras que desexemos serar. Por defecto trae só dúas pero é posible introducir calquera outra cantidade delas. O tempo de execución variará en función das que decidas poñer iso si, máis palabras máis espera. Unha vez introducidas as palabras é fundamental facer clic no botón de executar para que se garden. Se cambiaches de idea con respecto ás palabras que queres introducir podes executar este bloque cantas veces queiras sen repercusións, pero é importante destacar que só se xerarán aquelas que estiveran persentes no campo a última vez que se executou o bloque.

Por último os dous bloques finais, xerar os arquivos de audio e descargar os arquivos, poden ser de novo executados sen realizar ningunha outra acción. O último bloque descargará todos os arquivos xerados pero é posible que se son moitos ou nunca descargaches nada desta páxina ou navegador se queixe e che pida permiso para descargalos ou incluso os bloquee. Se ves que xa acabou de executarse o bloque e non se descargou nada o máis posible que sexa por iso.

Cabe destacar que cada bloque ao acabar a súa execución mostará un mensaxiño confirmándoo pero tamén se pode ver facilmente polo aspecto dos botóns:

Consellos e melloras sobre os resultados

O modelo non é perfecto e como tal pode dar lugar a erros. Moitos deles pódense solucionar con algúns trucos. Por exemplo cambiando ou quitando o til dalgunha letra pode fozar ao sistema a pronunciar doutra forma a palabra (aínda que gramaticalmente non sexa correcto) e arreglar así algun problema. Outro truquiño é cambiar Vs por Bs e ao revés.

Para ir acabando…

Con estes arquivos de audio o proceso para agregalos sería o mesmo que o visto no anterior post. Cabe destacar que poden ou non requerer limpeza segundo como sexa o resultado do sistema.

Este método de producción de sons, ademáis de para estas notas de copiloto, tamén pode ter outras aplicacións como por exemplo xerar a pronuncia de palabras para un dicionario ou como un simple TTS en galego.

Non son novidade ningunha os bots, especialmente de twitter que simulan batallas ou guerras entre territorios, persoas, etc. A cousa é que, ultimamente e especialmente durante o confinamento, puxeronse de moda certas contas que son obviamente xente, é dicir, que ademais de estar amañadas están enganando aos seus seguidores. Xa teño visto máis cousas deste estilo por aí, diferentes persoas que queren, por algunha razón, convencer á xente de que o seu bot/intelixencia artificial fai algo que obviamente foi feito por persoas.

Disclaimer

O pequeno script que fixen eu probablemente teña 300 anti-patterns e erros de orientación a obxectos, pero tampouco o fixen coa intención de que fora unha ferramenta de aprendizaxe, simplemente por entreterme e ver como de difícil era o tema. Se eu fora vós non o copiaría porque seguro que está a un esbirro de romper.

A premisa

A miña idea é ben simple: unha serie de personaxes que se deben enfrentar nunha batalla a morte ata que só quede un. As persoas, ademais, poderán facer diferentes accións, todas elas básicas iso si. O principal punto é que cada personaxe pode atopar unha serie de items ou obxectos, configurables, que lle permiten facer máis dano, ter máis vida, etc.

As personaxes e os items

Cada xogador ten tres estatísticas básicas susceptibles de ser modificadas polos obxectos que vaia atopando. Estas son ataque, defensa e vida e funcionan máis ou menos como cabería esperar. Para facerlle dano a outro ao ataque réstaselle a defensa do contrario e o resultado será o dano inflixido. Para manter o deseño simple, a persoa que ataca a outra ten prioridade, é dicir, fai dano primeiro. Desta forma evitamos empates que resulten en que acabe morrendo todo o mundo. Igual non é a maneira máis elegante ou máis interesante, pero vai co tema da aleatorieadade. Un xogador pode tan só atacar aos seus veciños. Cando mata a un deles, adquire á vez os veciños deste, facendo o seu terreo de influencia más grande. A orde na que as personaxes realizan as accións está aleatorizada de forma que non se beneficien a ningún.

As accións

Cada personaxe, pode facer as seguintes accións (con posibilidades configurables): esconderse, buscar items, descansar, atacar ou ser un torpe e non dar feito nada.

Esconderse:

O primeiro que fan todos os xogadores (en canto á orde de execución do código) e decidir se se esconde ou intentan facer algo de proveito. Esconderse permite que o xogador agochado non poida ser atacado por outros.

Buscar items:

Ao buscar items, unha personaxe pode atopar algo ou non. As posibilidades de atopar ou non items son configurables e o item que atope é aleatorio, dentro da lista dos dispoñibles.

Descansar:

Rexenera toda a vida.

Atacar:

Ataca a un veciño aleatoriamente. Pode fallar se o veciño ao que se decide atacar está agochado. Tamén cabe a posibilidade que o intento sexa fallido porque ambas personaxes enfrentadas non sexan capaces de matarse entre elas, xa que non hai segundos golpes, ou se matán nun só enfrentamento ou nada. Nese caso ambos salirán danados pero non morrerán. Tamén pode ocorrer que un personaxe tivera pensando atacar pero fose atacado por outro e sobrevivise. Nese caso este xogador recapacitará e abandonará o plan. Cabe destacar que no caso de que se fora producir un empate pero un dos “axentes” gañara pola prioridade, este rematará coa mínima vida, 1 punto, sinalizando que foi unha batalla moi apretada.

Non facer nada:

Cunha pequena posibilidade, tamén configurable, algún xogador será incapaz de facer nada en todo o día.

Engandindo xogadores

Para engadir personaxes basta con modificar o arquivo players.csv. Neste inclúense xa os nomes das columnas para facer máis simple o proceso. Basicamente cada xogador precisa dun nome, as estatísticas (ataque, defensa e vida) e unha lista de inimigos veciños. É importante ser consistente coa escritura dos nomes xa que é o que usa os script para recoñecer a cada xogador.

Engandindo items

Cada item necesita un nome, e ademais, necesita estatísticas que modificarán as que ten cada personaxe. Hai que dicir que pola forma na que está programado non soporta estatísticas negativas. Aínda que para defensa e ataque non tería problema (o ataque negativo curaría inimigos, non desexable pero pasable) o problema ven dado de recoller algo que mataría á personaxe.

O resultado

Para executar este scritp só é necesio python3 sen ningunha dependencia fóra dos paquetes estándar. Para executar bastaría con

 python3 simulate.py 

O resultado da simulación é un arquivo de texto, res.txt, con todos os eventos separados nos diferentes días de forma que sexa fácil de poñer en chíos ou darllo como entrada a un bot.

O código en si

Podedes botarlle unha ollada ao código en Github

Exemplo de batalla

O Dirt Rally é un xogo que xa levaba tempo no mercado cando o conseguín, de feito solo o teño porque o deron gratis un tempo en steam. Cando o probei encantoume, amor a primeira vista, e iso que pensaba que iba ser moi hardcore para min. A cousa é que obviamente non ten copiloto en galego. Si o ten en portugués do Brasil, que pode ser un valer, pero a verdade e que a min acábame costando entender calquera copiloto e non viña mal algo que fora máis simple. Con isto, facer un copiloto en galego foi o meu proxecto “procastínico” dos exames do segundo cuadrimestre, circa xuño.

A voz

A miña primeira idea, e eu creo que a de moitos tamén, foi a icónica voz de Luís Iglesia do dicionario da RAG. Palabras claras, segmentadas e dispoñibles. Esta elección ten algúns problemas que se farán obvios máis adiante pero foi a que usei. ¯\(ツ)/¯

Os medios

Investigando atopei varias formas de cambiar a voz do copiloto sendo a que eu considero máis fácil e mellor o programa DiRTy Pacenotes de Palo Samo. Este programa simplifica enormemente o traballo que sería cambiar todos os arquivos dun idioma por outros con toda as complicacións extra de tamaños de arquivo e demais que iso implica.

O mellor deste software é que é gratuíto e pódenselle engadir voces de forma fácil para crear as túas propias notas de copiloto. Unha vez baixado o programa só teredes qeu baixar o arquivo comprimido coa voz en galego e descomprilo na carpeta co-drivers dentro da carpeta do propio DiRTy Pacenotes, con isto o programa xa poderá detectalo e usalo.

As notas

O meu obxectivo con este proxecto era crear unha base para que cada persoa a adapte ás súas necesidades. Por exemplo, a min gústame as notas relativamente cedo e simples, aínda que me perda información. A outras persoas igual lles gusta máis outras máis detalladas, con outro estilo, etc. Desta forma as seguintes seccións están un pouco enfocadas á personalización da base que vos proporciono para que cada faga como prefira.

Obtendo os arquivos de voz

A pesar de que no paquete que vos proporciono van suficientes palabras para facer unhas notas mínimas, sempre é bo expandir. Vamos usar un exemplo realista, incluír a palabra rasante que se me quedou fóra do paquete.

Para conseguir os arquivos temos dúas opcións. A primeira, algo máis fácil, implica buscar a palabra que necesitemos na web do ILG: http://ilg.usc.es/pronuncia/ Unha vez atopada a palabra podemos, simplemente, facer clic dereito no botón de play e logo en gardar enlace como, que nos dará a opción de gardalo como arquivo de son.

Na outra forma, empezariamos primeiro por atopar a palabra no dicionario da RAG. Unha vez na páxina podemos constatar que ten un arquivo de pronuncia se facemos clic na icona do altofalante. Como podemos obter logo o arquivo de son desta páxina? Mediante o o inspector de elementos incluído na maioría dos buscadores, i.e chrome, firefox, safari, etc. Unha forma fácil é facer control+shift+c e logo facer clic na icona do altofalante. Isto levaranos directamente á liña de código co arquivo de son. Outra opción e abrir directamente o inspector de elementos, habitualmente con f12, e procurar a clase button-audio mediante control+f.

Unha vez atopada a liña deberiamos poder ver algo coma isto:

Se copiamos o enlace que aí aparece, neste caso http://ilg.usc.es/pronuncia/mp3/r/417.mp3 poderemos acceder directamente ao arquivo de son e gardalo co nome que queiramos.

Incluír o arquivo de son

Co arquivo de son xa descargado, podemos simplemente incluílo na carpeta sounds dentro da de LuisIglesia ou facer algo de procesamento sobre el, que foi o que fixen eu. Como estes arquivos son para a pronuncia, teñen bastante tempo ao principio e ao final de silencio e son algo lentos. O que se pode facer é modificar un por un cada arquivo en audacity por exemplo que dará moi bos resultados. O que fixen eu foi usar un script para modificalos todos de vez, que aínda que de resultados algo peores e menos homoxéneos é moito máis rápido. Co seguinte script de python acortei os arquivos a, mais ou menos, só a parte falada, para facelos máis dinámicos. Deixo o script en cuestión a continuación:

Unha vez incluído o arquivo na carpeta de sounds, deberemos modificar o arquivo sounds.csv para incluílo e, desta forma, o programa xa o ten dispoñible para poder crearmos as nosas notas! Cabe destacar que, dentro do propio programa, deberemos seleccionar o copiloto que queiramos, xa que o que trae por defecto é o creado polo autor, en polaco.

Uso

O programa require dun par de cambios na configuración dos xogos, o máis relevante é cambiar un arquivo de configuración para que expulse datos por UDP, que é o que lle permite funcionar. Para isto remítovos ao titorial do propio Palo Samo que o explica moi ben. De forma similar as notas créanse co programa mentres “exploras” o tramo no dirt, tal e como especifica o autor. O programa ten, tamén, diversas opcións sobre como de cedo dicir as notas. As que creei eu, para o meu gusto, funcionan mellor en recce xa que as creei algo axustadas demais.

Arquivos

Como xa dixen proporciónovos unha base razoable para empezar a crear as vosas notas. Ademais, incluín unhas notas para o tramo de Pant Mawr en Gales.

Descarga os arquivos

Pequena demonstración:

(Aínda me levou unhas cantas tomas falsas non estoupar o coche contra algunha árbore, pódeme a presión diante das cámaras)

Notas finais

Incluín un arquivo startup no cal o copiloto che fai a conta atrás pero, de momento, no dirt rally 1 non funciona. O copiloto tampouco reacciona a nada do que pase na propia etapa, da igual que piques unha roda ou rebentes o coche, el segue como se foras un ás, isto é unha limitación do programa. Por último cabe dicir que se metín a zoca nalgo mo comentedes e que tentarei cambialo. Os meus agradecementos á emgalego e Xabier polas aclaracións lingüísticas da curva “gancho”.

Conclusións

O resultado creo que non está mal sobre todo se che gustan as frases incongruentes e algo robotizadas. Obviamente isto ten a limitación de que so se pode acceder as palabras que o propio Luís gravou para o dicionario de forma que non temos verbos conxugados nin nada polo estilo. Aínda así penso que o resultado é decente aínda que só sexa para rirse un pouco mentres comes árbores por Gales adiante.