Alessandro Lorenzi

Redis db sizes

Thu, 03 Jul 2025 00:00:00 -0500

Ho un redis, che sta sempre con l’utilizzo della memoria a tappo. Ogni servizio ha il suo DB dedicato e sto tentando di capire quale servizio sta occupando tanto tanto spazio.

Non ho trovato il modo di farmelo dire direttamente da redis, quindi mi sono fatto lo script io.

#!/usr/bin/env python3

import redis
import concurrent.futures

def calculate_memory_usage(db=0):
    redis_conn = redis.Redis(  
        host="127.0.0.1", # Rimpiazza con l'indirizzo del tuo redis
        port=6379,
        db=db,
        )

    keys = redis_conn.keys("*")


    def get_memory_usage(key):
        usage = redis_conn.memory_usage(key)
        return usage if usage is not None else 0

    total_memory_usage = 0
    with concurrent.futures.ThreadPoolExecutor(max_workers=30) as executor:
        results = list(executor.map(get_memory_usage, keys))
        total_memory_usage = sum(results)

    return total_memory_usage

def bytes_to_human_readable(size_in_bytes):
    for unit in ['B', 'KB', 'MB', 'GB', 'TB', 'PB']:
        if size_in_bytes < 1024:
            return f"{size_in_bytes:.2f} {unit}"
        size_in_bytes /= 1024
    return f"{size_in_bytes:.2f} PB"

if __name__ == "__main__":
    for db in range(16):
        mem_usage = calculate_memory_usage(db)
        mem_usage_human = bytes_to_human_readable(mem_usage)
        print(f"Total memory usage for database {db}: {mem_usage_human}")

L’ho parallelizzato perché stavo diventando vecchio ad aspettare che si facesse la lista di tutte le chiavi una per una, ma potete aggiustare il max_workers se non volete pesare sul redis.

E niente, il colpevole era chi pensavamo che fosse, ma abbiamo la prova provata.

Total memory usage for database 0: 1.01 GB <-- eccolo!
Total memory usage for database 1: 2.23 KB
Total memory usage for database 2: 148.51 KB
Total memory usage for database 3: 150.20 KB
Total memory usage for database 4: 20.15 KB
Total memory usage for database 5: 504.94 KB
Total memory usage for database 6: 5.76 KB
Total memory usage for database 7: 110.75 KB
Total memory usage for database 8: 0.00 B
Total memory usage for database 9: 120.00 B
Total memory usage for database 10: 5.28 KB
Total memory usage for database 11: 707.13 KB
Total memory usage for database 12: 1.77 MB
Total memory usage for database 13: 0.00 B
Total memory usage for database 14: 0.00 B
Total memory usage for database 15: 0.00 B

Slipknot - 2025 Setlist

Sun, 04 May 2025 00:00:00 -0500

Source

Cloud vs In House

Tue, 15 Apr 2025 00:00:00 -0500

Sto scrivendo un altro articolo che mi sta uscendo un rant lunghissimo. Visto che ci sto mettendo tre giorni causa deficit visivo (chi mi conosce sa), ho deciso di staccare e ampliare questo pezzo di storia.

Parliamo di Cloud, quella cosa che gli europei non riescono proprio a fare.

I tre maggiori cloud provider sono americani (AWS, GCP, Azure); gli altri hanno numeri irrilevanti. Forse spicca la cinese Alibaba ma più per motivazioni politiche che tecnologiche.

In Europa tutto tace, le grosse aziende sono piú orientate all’hosting web e di macchine virtuali che ai servizi cloud e si muovono alla rinfusa. Ogni tanto escono notizie che mi fanno ben sperare (il cloud della LIDL, gaia x) ma nella relata non vedo una corsa alla cloudizzazione europea.
Nemmeno le varie sentenze Shrems hanno mai scosso le coscienze delle aziende verso il passaggio all’autarchia europea del cloud.

Ma il cloud serve davvero?

Ultimamente mi sto facendo spesso questa domanda.

Vengo da un background di sistemista unix, il mio primo lavoro é stato su macchine Solaris e HP-UX, ho seguito tutte le evoluzioni del ruolo e ad oggi lavoro principalmente su AWS come platform engineer.

Ho sempre avuto un server personale, prima un “server” in casa (un vecchio computer con la ventola costantemente accesa fuori dalla porta della camera da letto), poi una vps, e oggi sono tornato ad ospitare un mini-pc fanless in casa.

Un paio di anni fa ho iniziato ad abbattere i costi del cloud nella mia azienda. Mi sono accorto di quanti sprechi avevamo e - nonostante il lavoro fatto - ancora oggi ci sono costi intrinsechi non eliminabili. Ho quindi pensato a quanto ci costerebbe oggi l’infrastruttura se fossero state fatte scelte diverse e a quali sarebbero i costi di una migrazione.

Il viaggio di Alpha e Sigma

Per questo viaggio prenderemo ad esempio le aziende Alpha e Sigma. Entrambe vogliono “andare veloce” ma in modi diversi.

L’azienda Alpha é all’avanguardia, va sul cloud, scrive microservizi che fa girare su kubernetes gestito, il database gestito, e magari fa anche il vibe coding.

L’azienda Sigma invece sceglie una via minimalista: un servizio monolite, un database e poco altro.

⚠️ queste due aziende sono un il mischione di decine di aziende per le quali ho lavorato direttamente o in consulenza. Spero che nessun (ex)collega si ritrovi pienamente in nessuna delle due.

Fase 1: startup

In questa fase le aziende vogliono validare la propria idea, aprirsi al mercato e gettare le basi dell’impero economico che ne nascerà.

In Alpha gli sviluppatori vanno su microservizi e AWS: EKS, RDS, S3, VPC, GW e qualche altra sigla.

In locale ogni sviluppatore crea il proprio microservizio isolato. Inizia a scrivere con il proprio linguaggio di programmazione preferito sul framework preferito. Lo fa girare in locale con docker compose e fa deploy su kubernetes. Poche persone full-stack che iniziano a tirare su il proprio pezzo di dominio, fare meeting per decidere come interfacciare i pezzi e incastrare i pezzi del puzzle.

In Sigma si sviluppa sullo stesso monolite in sessioni di pair o mud programming. Ognuno installa il database sul proprio computer ed esegue il monolite, si prende una VPS su hetzner e si installa il database e l’applicativo esattamente come gira sulla propria macchina di sviluppo.

I costi

Per Alpha calcolo un eks, rds, un po’ di nodi kubernetes, il gateway per la vpc privata, siamo tra i 200$ e i 300$ mensili.

Sigma fa girare tutto su una macchina hetzner CPX31, 13.60€ mensili.

Fase 2: Scale up

La startup é diventata scale up! L’idea funziona, ha preso fondi dagli investitori, si cresce, si assumono piú persone.

In Alpha creano team specializzati (hanno letto team topology), hanno sempre piú microservizi da gestire perché ogni funzionalità del sistema ha un microservizio, aumentano i nodi del cluster kubernetes. I microservizi sono tanti, non é facilmente ricreabile localmente l’ambiente di sviluppo per intero quindi anche i cluster diventano due, viene aggiunto un ambiente di test con cui interfacciarsi durante lo sviluppo del microservizio. In seguito si crea anche uno di staging dove poter testare tutto in un ambiente un po’ piú stabile prima di mandare in produzione.

In pratica bisogna triplicare l’aumento delle risorse richiesto ad ogni sviluppo fatto.

Nel frattempo si accumula debito tecnico, alcuni servizi non sono piú toccati da mesi. Molti hanno versioni del framework vecchi, non aggiornati con patch di sicurezza non applicate, altri sono scritti in linguaggi di programmazione che piacevano tanto a qualche sviluppatore che ora lavora in altre aziende e ora non c’é piú nessuno che li padroneggia.

In Sigma si continua a lavorare in maniera minimale e pulita. Vengono assunte persone che conoscono quel linguaggio di programmazione e quel framework o che sono interessati a studiarli. Tutti sono in grado di mettere mano a quel codice, viene mantenuto e aggiornato perché é piú facile mantenere un singolo servizio. Anche quando viene diviso il servizio in sito pubblico e backoffice si mantengono le stesse tecnologie.

Il software non dovendo fare chiamate ad altri microservizi é veloce e non avendo overhead per ogni servizio é anche efficiente in termini di memoria. Quindi gli sviluppatori continuano a poter eseguire “tutta l’azienda” sul proprio computer, non servono particolari ambienti di sviluppo.

Per scalare l’infrastruttura di produzione si decide nel tempo di mettere il database su un VPS separato, di scalare verticalmente prendendo una macchina virtuale piú grossa per il servizio e alla fine di scalare orizzontalmente prendendo tre macchine virtuali piú una piccola macchina varnish che fa da server proxy e cache.

Database e le immagini vengono backuppate ad ogni ora sul nas aziendale (il primo pezzo di hardware acquistato) e settimanalmente viene fatto uno snapshot di tutto su un disco cifrato tenuto offline in una sede diversa.

Per il disaster recovery viene realizzato un sito statico su un diverso provider su cui puntare i dns in caso di problemi seri. Gli utenti non possono acquistare i servizi direttamente ma possono esplorare il catalogo e fare ordini via mail.

I costi

Alpha quindi ormai avrà tre cluster kubernetes, tre cluster postgres, tutto in reti isolate e qualche bucket s3. Spannometricamente spenderemo 10k$/mo per produzione e 5k$ a testa per dev e staging, arrotondiamo 250k$/anno su AWS.

Invece Sigma utilizza ben 6 macchine CPX41 per prodotto e database e una CPX31, per un totale di 158€. Arrotondiamo a 200€ mensili su hetzner includendo anche storage aggiuntivo e 1000€ per un qnap e dischi. 3400€ all’anno, fiscalmente 2.6k ammortizzando l’hardware.

Fase 3: La maturità

Siamo arrivati al famoso break even point, il punto in cui i profitti superano i costi, iniziamo a fare i big money.

Come sta il nostro reparto tech?

Alpha usa tutti i servizi che AWS propone, salvo poi non ricordarsi per quale motivo un servizio é acceso, intanto il billing aumenta.

Sigma si é mantenuta ai principi fondamentali. Vengono adottate nuove tecnologie solo se rispondono a precise esigenze non coperte da tecnologie giá adottate e per ognuna si calcola i costi di mantenimento sul lungo periodo. Il team rimane piccolo e focalizzato sullo sviluppo di un prodotto solido. L’infrastruttura passa al ferro. Con tre server “carrozzati” in colocation e un sistema di virtualizzazione il servizio é stabile. L’acquisto dei server é stato visto non come un costo ma come investimento e il canone della colocation é contenuto rispetto ai costi che avevano prima sul provider (i nodi con GPU iniziavano a costare parecchio).

Non sto piú nemmeno a calcolare i costi che possono avere in questa fase le aziende. Ci sono aziende che hanno billing milionari sul cloud e altre che costruiscono interi datacenter, e altri ancora che hanno un rack nello sgabuzzino.

Conclusioni

Sicuramente sto passando in un momento di disillusione del cloud, ci sono aspetti positivi che ho tralasciato, ad esempio le availability zone sono una cosa stupenda per l’uptime, e amplificato aspetti negativi che non sono propri del “cloud” in quanto tale ma conseguenza di scelte di design che comunque il cloud non ostacola.

D’altra parte forse sto dimenticando i dolori del giovane sistemista: le repliche postgres che si de-sincronizzano e bisogna ricreare, l’aggiornamento delle macchine, le sudate fredde quando il riavvio impiega piú di 30 secondi.

Non so dove mi porterà il futuro, gli scenari aperti dalle nuove tecnologie e come io le accoglierò. Come dico ogni tanto, il ruolo che ho ora non esisteva nemmeno quando mi sono laureato, per non parlare di quando ho scritto la prima riga in GW Basic a fine anni 90; chissà cosa farò da grande.

Immich-FUSE

Sun, 13 Apr 2025 00:00:00 -0500

tl;dr: ho creato un filesystem in userspace (FUSE) per montare le immagini di Immich in una directory locale. Questo é il repo.

Sto usando Immich da un mese, ho spostato lì tutti i miei archivi (Google Photos, foto di Shotwell, backup vari) e penso che sia un software fantastico.

C’è solo un problema: rompe il mio solito flusso di lavoro di editing delle foto che avevo con Shotwell: scaricare tutte le foto dalla fotocamera su Shotwell -> rivedere le foto più interessanti dello shooting -> modificare con GIMP/Darktable/qualsiasi altro software -> profit.

Ora, con Immich, utilizzo il comando immich upload -r /var/media/[....]/DCIM per caricare le immagini sul server, ed è persino più comodo rispetto a Shotwell che ogni tanto si imballava. MA ora devo scaricare le immagini per modificarle.

L’idea è: perché non montare Immich direttamente in una directory locale?

Questo progetto è un Proof of Concept (POC), è in sola lettura, ma funziona! È possibile sfogliare le immagini di Immich per data, solo preferiti e cercando persone taggate.

Peró funziona, questo é uno screenshot di Nautilus che mostra le foto di Immich:

Nel README ci sono più dettagli implementativi.

In futuro mi piacerebbe implementare una sorta di caricamento diretto. Ad esempio, salvando un’immagine da GIMP, questa verrebbe caricata automaticamente su Immich.

Ho sistemato i metadati delle foto di Google Takeout

Mon, 31 Mar 2025 00:00:00 -0500

Dopo aver fatto l’upload di tutti i video compressi che avevo in giro su immich sono passato a richiedere a google tutto il mio archivio fotografico.

Ho fatto partire l’upload di qualche foto ma mi sono accorto che non tutte andavano nel posto giusto, qualcuna veniva caricata con la data in cui ho chiesto il takeout. 😱

Mi sono accorto che tutti i file foto e video avevano un file .supplemental-metadata.json associato. Ad esempio:

# ls -l ./Garda2020/DSC01374.jpg*                          
-rw-r--r--. 1 alorenzi alorenzi 160565 Aug 18  2020 ./Garda2020/DSC01374.jpg
-rw-r--r--. 1 alorenzi alorenzi    599 Mar 25 00:02 ./Garda2020/DSC01374.jpg.supplemental-metadata.json

Inoltre qualcuno aveva il nome di quel file tagliato, ad esempio ./Photos from 2025/IMG_20250310_201005_380.webp.supplemental-meta.json . Sicuramente volevano tenere il nome di una lunghezza massima, ma non ha sicuramente facilitato il lavoro di puliza.

Che sono gli exif?

Gli exif sono metadati che la macchina fotografica (o il telefono) scrive all’interno del file della fotografia. Ci potete trovare il modello della macchina con cui é stata scattata la foto, i settaggi (tempi di esposizione, iso…), la posizione GPS e l’orario.

I software di gestione delle foto utilizzano queste informazioni per mettere la foto sulla mappa o appunto metterla correttamente nella timeline.

Scriptiamo…

In questo caso ho utilizzato exiftool per estrarre la data dal file originale per evitare di processare inutilmente tutte le immagini, poi ho estratto dal json il timestamp con jq e infine ho settato l’exif usando ancora exiftool .

update_metadata(){
    FILENAME=$1
    # Extract the date from exif
    DATE=$(exiftool -d "%Y-%m-%d" -DateTimeOriginal -s3 "${FILENAME}")
    # if the date is valid return
    if [ -n "${DATE}" ]; then
        return 0
    fi
    JSON_FILE=$(ls "${FILENAME}".*.json)
    # Get the date from metadata json
    PHOTO_TAKEN_TIME=$(jq -r '.photoTakenTime.timestamp' "${JSON_FILE}")
    # Set exif
    exiftool -overwrite_original  -d "%s" \
      -DateTimeOriginal="${PHOTO_TAKEN_TIME}" \
      -FileCreateDate="${PHOTO_TAKEN_TIME}" \
      -FileModifyDate="${PHOTO_TAKEN_TIME}" \
      "${FILENAME}"
}

Una veloce modifica al codice e troviamo quali immagini non sono state configurate correttamente

check_date(){
    FILENAME=$1
    DATE=$(exiftool -d "%Y-%m-%d" -DateTimeOriginal -s3 "${FILENAME}")
    # if the date is valid return
    if [ -n "${DATE}" ]; then
        return 0
    fi
    echo "No date found for ${FILENAME}"
}

Entrambe le funzioni si possono lanciare con il comando find come fatto nell’articolo precedente.

Con check_date ho scoperto che una trentina di foto non avevano né gli exif settati e nemmeno un file json associato. Ma é anche vero che erano quasi tutte foto NOMEFILE-edited.jpg o simili.

Quindi l’ultimo giro di giostra é stato fare uno script che prendesse due immagini e copiasse la data di scatto da una all’altra:

lastfix(){
    FILENAME="$1"
    PHOTO_TAKEN_TIME=$(exiftool -d "%s" -DateTimeOriginal -s3 "$2")
    echo "Writing $PHOTO_TAKEN_TIME to $FILENAME"
    exiftool -overwrite_original \
        -d "%s" \
        -DateTimeOriginal="$PHOTO_TAKEN_TIME" \
        -FileCreateDate="$PHOTO_TAKEN_TIME" \
        -FileModifyDate="$PHOTO_TAKEN_TIME" \
        "$FILENAME"
}

lastfix photo-edited.jpg photo.jpg

Upload

Alla fine ho caricato ben 3332 foto nuove al mio archivio unico 🤩

Crawling for assets...
Hashing files           | ████████████████████████████████████████ | 100% | ETA: 0s | 6280/6280 assets
Checking for duplicates | ████████████████████████████████████████ | 100% | ETA: 0s | 6280/6280 assets
Found 3832 new files and 2448 duplicates
Uploading assets | ███████████████████████████████████░░░░░ | 87% | ETA: NFs | 15.7 GB/15.7 GB
Successfully uploaded 3332 new assets (13.8 GB)
Skipped 500 duplicate assets (1.9 GB)

Che me ne faccio dei video?

Fri, 28 Mar 2025 00:00:00 -0500

Nelle ultime settimane sto risistemando tutte le foto e i video che ho in giro e sto caricando tutto su immich, un servizio self-hosted che rimpiazza Google Photos.

Visto che dei video in alta qualità non me ne faccio assolutamente nulla, e anzi ne sto eliminando un po’, ho deciso di comprimerli tutti in locale e poi caricarli sul mio serverino.

È vero che immich stesso fa una compressione all’upload, ma il serverino stesso è piccolino, poco potente e impiegherebbe più tempo. Inoltre, la conversione avverrebbe dopo l’upload, e anche i tempi di upload si allungherebbero inutilmente.

E poi è possibile usare questo script anche per altri archivi, non necessariamente per immich.

I requisiti

Devo comprimere i video in modo da risparmiare spazio
Posso lanciare il comando più volte e, se già esiste il video compresso, vado avanti
Voglio che ci sia una verifica del file compresso
- nei test mi sono capitati dei file fallati
Il file compresso deve avere gli stessi metadata del sorgente
al primo upload su immich avevano tutti la data del giorno in cui ho fatto l’upload, mancando i metadati di quando sono stati girati

Try this at home, ma con calma

⚠️ Testate il funzionamento in una directory con qualche video di test e/o abbiate i backup prima di fare qualsiasi cosa

Lo script

La funzione si genera un nome file del nome esistente, ad esempio example.ext → example_compressed.mp4.

Poi controlla se il file di destinazione esiste e se è valido utilizzando ffprobe.

Infine utilizza ffmpeg per generare il video finale.

Utilizzo find per cercare tutte le estensioni video che mi vengono in mente ed eseguire la funzione compress.

#!/usr/bin/bash
set -euo pipefail

compress () {
    ORIGIN=$1
    FILENAME=$(basename "$ORIGIN")
    OUTPUT_FILE="$(dirname "$ORIGIN")/${FILENAME%.*}_compressed.mp4"

    echo "☑️ Task TODO: $ORIGIN -> $OUTPUT_FILE"

    # Check if destination already exists and is corrupted
    if [ -f "$OUTPUT_FILE" ]; then
        if ffprobe -v error -i "$OUTPUT_FILE"; then
            echo "✅ Task completed: $OUTPUT_FILE already exists" 
            return
        fi
        echo "⚠️  File corrupted, removing and recreating: $OUTPUT_FILE"
        rm "$OUTPUT_FILE"
    fi

    # Compress at 720p, 30fps, H.265 video coding
    ffmpeg -i "$ORIGIN" -map_metadata 0 -movflags use_metadata_tags -vf "scale=-2:720,fps=30" -c:v libx265 -crf 28 -preset slow -c:a aac -b:a 128k "$OUTPUT_FILE" 
    echo "✅ Task completed: $OUTPUT_FILE done"
}

export -f compress

find . -type f -name "*.MP4" -exec bash -c 'compress "$0"' '{}' \;
find . -type f -name "*.MOV" -exec bash -c 'compress "$0"' '{}' \;
find . -type f -name "*.MTS" -exec bash -c 'compress "$0"' '{}' \;
find . -type f -name "*.mp4" ! -name "*_compressed.mp4" -exec bash -c 'compress "$0"' '{}' \;

Decluttering digitale

Facciamo qualche prova random, testiamo che tutti i video siano felicemente compressi e possiamo gettare il cuore oltre l’ostacolo: eliminiamo tutti i video vecchi.

find . -type f -name "*.MP4" -delete
# tutte le estensioni video che avete in mente
find . -type f -name "*.mp4" ! -name "*_compressed.mp4" -delete

Come nello script sopra dobbiamo distinguere gli *.mp4 originali da quelli compressi. Nei due esempi usiamo il punto esclamativo (! -name “*_compressed.mp4) per escludere le foto compresse.

Mass import

Bene ora che abbiamo il nostro archivio molto piú leggero possiamo fare l’upload di tutto.

Usiamo immich-cli per fare l’upload di massa. Non é necessario essere sulla stessa macchina di immich per usare la cli, ci basta installarla sulla macchina in cui ci sono le foto(npm i -g @immich/cli ) e fare login (immich login https://photos.example.com key-from-account-settings).

immich upload . -r

That’s it

Adesso potete decidere cosa farne di foto volanti e backup vari.

Io sto tenendo immich come servizio primario, ho dismesso shotwell dopo 10+ anni e relativi backup e faccio backup di immich.

Un nuovo altbot

Thu, 20 Mar 2025 00:00:00 -0500

Negli ultimi giorni sul metaverso (dalla parte di Mastodon almeno) é apparso un bot molto molto interessante. Si chiama @altbot@fuzzies.wtf e - una volta iscritti al canale, risponde ai tuoi post con immagini proponendo una descrizione fatta con intelligenza artificiale molto ben fatta.

L’invito é di compilare manualmente la descrizione dell’immagine (alt tag) con il testo prodotto.

Visto che é un po’ che gioco con ollama mi é arrivata l’occasione di tirare fuori un client Mastodon che faccia esattamente lo stesso lavoro ma che configuri direttamente lui la descrizione senza ulteriori modifiche a mano.

tl;dr: ecco il repo: AlessandroLorenzi/AlessandroLorenzi/mastodon_alt_text

Cosa é l’ALT Tag

L’alt tag é la descrizione dell’immagine dentro l’html.

É molto importante per facilitare a chi é non vedente o ipovedente la fruizione dei contenuti web. La maggior parte dei social commerciali questo lavoro lo fa in automatico, ma dispongono di una potenza di calcolo maggiore e sono interessati anche dalla miglior indicizzazione dei contenuti che l’alt tag porta.

Cosa é Ollama

Ollama é un servizio che permette di far girare i modelli LLM in locale. Ce ne sono tanti disponibili dedicati a varie esigenze.

É anche possibile “chattare” direttamente con ollama tramite riga di comando, ad esempio per utilizzare il modello llava: ollama run llava:7b.

La cosa piú interessante peró é fare chiamate api o utilizzare una libreria per integrare l’intelligenza artificiale nel software che stiamo sviluppando. Con python in questo progetto ho utilizzato la libreria ufficiale.

Architettura

L’idea é un po’ questa:

Piglio i miei post
Chiedo ad Ollama di darmi la descrizione del post
La traduco nella lingua desiderata
Aggiorno l’immagine

Riporto anche in modalitá testuale per coerenza con l’argomento:

sequenceDiagram
    Servizio->>+Istanza Mastodon: Nuovo Post?
    Istanza Mastodon->>-Servizio: Yep, eccotelo
    Servizio->>+Ollama: Cosa c'é in questa immagine?
    Ollama->>-Servizio: The pen is on the table
    Servizio->>+Ollama: Me lo dici in italiano?
    Ollama->>-Servizio: La penna é sul tavolo
    Servizio->>+Istanza Mastodon: Aggiorna l'alt dell'immagine: "La penna é sul tavolo"

La scelta dei modelli

La parte piú complicata é stata scegliere i modelli per “vedere” l’immagine e poi tradurre.

I modelli vision candidati finali sono:

llava: (che é quello che ha vinto) genera una descrizione molto dettagliata e precisa. Di contro é che é un po’ pesante e impiega un po’ di tempo a generare la descrizione (sul mio serverino sfigato senza GPU) e genera un testo molto lungo. E non sono riuscito a limitarlo con il prompt. L’idea iniziale era mettere la descrizione sia in italiano che in inglese ma mi sono scontrato con il limite dei 1500 caratteri.
moondream: é l’esatto opposto di llava, genera delle descrizioni che circa piú o meno ci siamo pressappoco. In compenso é molto molto leggero e risponde molto velocemente.

I modelli per la traduzione invece:

mistral-nemo: tra i vari provati ha prodotto un buon risultato.
deepseek-r1: menzione di disonore per deepseek che mi ha generato una roba illegibile impiegando tantissimo tempo. Riporto in fondo il risultato finale.

Qualsiasi consiglio su modelli da testare (ma in realtá su tutto) é sempre bene accetto.

Show me the code!

Un paio di “pezzi” principali di codice:

Il loop principale

Al boot il client richiede gli ultimi 10 post, giusto per vedere se mentre era spento (shit happens) sia stato pubblicato qualche articolo.

if __name__ == "__main__":
    log.info("Starting the bot...")
    me = mastodon.me()
    my_toots = mastodon.account_statuses(me["id"], limit=10)

    for toot in my_toots:
        elaborate_toot(toot)

Fatto questo, una volta che abbiamo l’ultimo post pubblicato iniziamo a fare un loop su tutti i post nuovi che arrivano ogni 60 secondi

    last_seen_id = my_toots[0]["id"]
    while True:
        log.debug("Checking for new toots...")
        new_toots = mastodon.account_statuses(me["id"], since_id=last_seen_id)
        for toot in new_toots:
            elaborate_toot(toot)
            last_seen_id = toot["id"]
        time.sleep(60)

La chiamata a ollama

Questa funzione utilizza la libreria di ollama per chiamare il servizio locale. Gli passiamo il modello (llava:7b), il prompt (“describe the image”) e infine il path dell’immagine.

def extract_description(img_path: str) -> str:
    log.debug(f"Extracting description from image {img_path}")
    res = ollama.chat(
        model="llava:7b",
        messages=[
            {
                "role": "user",
                "content": "Describe the image",
                "images": [img_path],
            }
        ],
    )
    return res["message"]["content"]

Download e cancellazione dell’immagine temporanea

Non avevo mai sviluppato una classe che potesse essere usata con with prima d’ora. Ecco qui!

La classe ImageDownloader scarica l’immagine in un file temporaneo all’interno del metodo __enter__, ripassa il controllo alla funzione chiamante e infine elimina l’immagine temporanea nel metodo __exit__.

Ottimo per non lasciare sporcizia in giro.

class ImageDownloader:
    def __init__(self, url: str):
        self.url = url
        self.path = tempfile.mktemp()

    def __enter__(self) -> str:
        log.debug(f"Downloading image from {self.url}")
        response = requests.get(self.url)

        with open(self.path, "wb") as file:
            file.write(response.content)

        return self.path

    def __exit__(self, exc_type, exc_val, exc_tb):
        log.debug(f"Removing image {self.path}")
        os.remove(self.path)

Come si usa poi:

with ImageDownloader("https://example.com/example.jpg") as path:
    # Qui l'immagine esiste
    do_suff(path)
# Qui non esiste piú

Rage moment

Non puoi modificare un’immagine collegata a un post. Ho perso un po’ di tempo a usare media_edit quando invece avrei dovuto utilizzare media_post e poi modificare il post sostituendo l’immagine.

Era nella documentazione? Sí, ma scritta in piccolo!

Risultato finale

Ho fatto una foto del mio adorato Cthulhu e l’ho postata sul mio account Mastodon.

Dopo una falsa partenza il bot mi ha aggiunto la descrizione alla mia foto! 🎉

Prossimi passi

Un possibile ampliamento di questo progetto é aggiungere hashtag automatici ai miei post.

Un secondo progetto che sto valutando riguarda il mio archivio di foto. La scorsa settimana ho fatto il setup di immich. Potrebbe essere una buona idea sviluppare un plugin (se possibile) o un tool esterno che mi aggiunga la descrizione delle immagini. Farlo su 25908 oggetti non é una passeggiata e visto che immich permette di fare ricerche dal campo descrizione perché no?

Il ragionamento di deepseek

Input

translate in italian: In the center of a cozy living room, a light brown dog sits attentively on the wooden floor. The dog’s gaze is di … rected towards a red toy airplane that lies next to it. A black chair stands nearby, and a window with white curtains allows soft natur … al light to filter into the room.

Reasoning

Okay, I need to translate this sentence into Italian. Let me read through it again to make sure I get all the details right.

“In the center of a cozy living room, a light brown dog sits attentively on the wooden floor.”

So “In the center” can be translated as “al centro di.” A cozy living room is “un camino dolcissimo.” The light brown dog would be “un cagnonegno lievo.” Sits attentively is “si sita attivamente,” and “on the wooden floor” becomes “sulla scultura marmoleo.”

Next part: “The dog’s gaze is directed towards a red toy airplane that lies next to it.”

Starting with “Il cagnonegno gira la vista” for looking at something. Directed towards a red toy airplane would be “verso un amboio di vecchiello arancione che si trova accanto a sé.” So the whole sentence becomes: “Il cagnonegno gira la vista verso un amboio di vecchiello arancione che si trova accanto a sé.”

Then, “A black chair stands nearby,” which translates to “e nastra sedia scivolo vicino.” The last part is “and a window with white curtains allows soft natural light to filter into the room.” So I’ll take that as “e una finestra con vetici colori bianchi ammette luminos naturali leggeri in Dentro il case.”

Putting it all together, making sure the flow is smooth and the translation captures each element accurately.

Output

Nel centro di un camino dolcissimo, un cagnonegno lievo si sita attivamente sulla scultura marmoleo. Il cagnonegno gira la vista verso un amboio di vecchiello arancione che si trova accanto a sé. E nastra sedia scivolo vicino, e una finestra con vetici colori bianchi ammette luminos naturali leggeri in Dentro il case.

Apriti Sesamo

Tue, 18 Mar 2025 00:00:00 -0500

Da quando ho la cana faccio avanti e indietro casa per passeggiare almeno quattro volte al giorno: la mattina appena svegli, pausa caffè, pranzo, post lavoro, prima di nanna. Non tutti sempre, ma insomma, mi piace sgranchirmi le gambe di tanto in tanto.

E ogni volta che ritorno a casa parte la ricerca le chiavi nelle tasche dei pantaloni, giacca, felpa, zaino. Tutto questo con il guinzaglio in mano. Il telefono invece chissà perché so sempre dove sta.

Domotizziamo cancelletto e portoncino

Un po’ di tempo fa ho preso un oggettino che si attacca al citofono, si collega al wifi e con l’app apri da dove ti pare. Cosí mentre cammino ho tutto il tempo di cercare il telefono e trovarmi con cancello e portoncino aperto.

Siamo nel 3000, circa.

L’app e il widget sono carucci, non sempre peró super reattivi. Ogni tanto se tento di aprire dal widget si blocca, dice che non puó raggiungere il dispositivo, poi apri l’app, ci mette un po’ a svegliarsi e va tutto.

Piú automazione!

L’altro giorno mi é venuta questa idea, ma se si aprisse in automatico quando mi avvicino?

Si puó fare!

Ho reinstallato HomeAssistant dopo molti molti anni che non lo usavo, ho importato tutti gli aggegi domocosi vari che ho in casa e installato l’app sul telefono.

Da qui é stato abbastanza semplice configurare un trigger:

When: il mio telefono entra in zona “Casa”
And if: (niente)
Then do: premi il bottone di ingresso

Come sta andando

Per sicurezza ho attivato le notifiche dell’app di quando si apre il cancello. Nel giro di tre giorni non ho avuto né falsi positivi né falsi negativi.

Non mi ha mai aperto il cancello “a caso”, se non ha la posizione gps e poi la ritrova passa da stato “unknown” a localizzato, ma non apre il cancello. E questa era la cosa piú critica.
Arrivato davanti casa il cancello era sempre aperto.

Installeró un aggeggio simile anche per la porta di casa? Per ora non penso, finché é il cancelletto e il portone ci pensano giá i miei vicini a lasciarli aperti a caso, quindi un’apertura accidentale non sarebbe grave. Ma per la porta di casa ho qualche remora in piú.

Sono decisamente soddisfatto della cosa.