Come Utilizzare GitLab per l’Esecuzione Simultanea di Job (Parte 1)

Parliamo di GitLab.

La piattaforma DevOps basata sul web GitLab offre un’intera suite di strumenti per lo sviluppo software, il controllo versione, l’integrazione continua, la consegna (CI/CD) e la comunicazione. Basato su Git, il noto sistema di controllo versione distribuito, fornisce una soluzione di gestione centralizzata dei repository.

GitLab consente alle squadre di gestire in modo efficiente i loro progetti di sviluppo software, tracciare le modifiche e comunicare sul codice. Offre strumenti per la gestione dei progetti oltre a funzionalità come repository di codice, tracciamento dei problemi, revisione del codice, integrazione continua e distribuzione.

Caratteristiche chiave di GitLab

1. Il sistema di controllo versione di GitLab, che si basa su Git come fondamento, consente agli sviluppatori di tracciare in modo efficiente le modifiche, creare rami e gestire le fusioni.
2. GitLab offre un sistema di gestione dei repository centralizzato che consente agli sviluppatori di memorizzare, organizzare e gestire efficacemente il loro codebase.
3. Tracciamento dei problemi: Utilizzando il sistema integrato di tracciamento dei problemi di GitLab, le squadre possono creare e tracciare problemi, assegnarli ai membri della squadra e monitorarne i progressi.
4. GitLab fornisce una potente pipeline CI/CD che automatizza i processi di compilazione, test e distribuzione. Consente alle squadre di unire immediatamente le modifiche del codice, eseguire test automatizzati e distribuire applicazioni.
5. Strumenti di collaborazione come revisioni del codice, commenti e conversazioni in linea facilitano la cooperazione tra i membri del team e l’offerta di feedback sulle modifiche al codice.
6. GitLab offre strumenti di gestione dei progetti come traguardi, dashboard, Kanban e dashboard Agile, consentendo ai team di pianificare e monitorare con successo i loro progressi del progetto.
7. Sicurezza e Controllo degli Accessi: Per garantire l’integrità del codice e proteggersi da potenziali preoccupazioni di sicurezza, GitLab offre diverse capacità di sicurezza, come il controllo degli accessi basato su ruoli, approvazioni delle richieste di merge e gestione delle vulnerabilità.

Figura 1 Architettura della Pipeline CICD di GitLab

GitLab è disponibile in varie edizioni, dall’edizione community gratuita alla versione premium con più funzionalità e scelte di supporto. Può essere utilizzato come servizio basato sul cloud tramite GitLab.com o ospitato in locale.

Integrazione Continua e Consegna Continua (CI/CD) di GitLab

GitLab CI/CD è una potente piattaforma di integrazione continua e consegna continua offerta da GitLab, un’utility di gestione del repository Git basata sul web. I team possono automatizzare ogni passaggio del ciclo di vita dello sviluppo del software con GitLab CI/CD, dal commit del codice alla distribuzione, utilizzando un set di pipeline.

Di seguito è fornito un’overview del processo CI/CD di GitLab:

• Configurazione di GitLab: Prima di iniziare, è necessario avere un repository GitLab configurato. Puoi configurare la tua istanza self-hosted di GitLab o utilizzare la versione ospitata in cloud.
• .gitlab-ci.yml: Il cervello che sta dietro GitLab CI/CD è incluso nel file .gitlab-ci.yml. Questo file, che descrive il flusso di lavoro CI/CD, si trova nella radice del repository del tuo progetto. È composto da diversi passaggi, compiti e istruzioni che definiscono come il tuo codice dovrebbe essere creato, esaminato e distribuito. La lingua utilizzata per scriverlo è YAML.
• Pipeline: In GitLab CI/CD, una pipeline è un insieme di fasi e job che specificano le azioni da intraprendere per una determinata branch o tag nel tuo repository. Puoi automatizzare i processi di test e distribuzione facendo in modo che ogni pipeline inizi quando si verifica un nuovo commit o una nuova richiesta di merge.
• Job e Fasi: Le fasi riflettono i passaggi della pipeline, tra cui build, test e deploy. Specifichi uno o più job — unità individuali di lavoro — all’interno di ogni livello. I job possono operare su runner separati (come macchine virtuali, contenitori o pod Kubernetes), sia in modo concorrente che sequenziale.
• Runner: GitLab CI/CD utilizza runner per eseguire le attività elencate nella tua pipeline. GitLab offre sia runner condivisi che runner personalizzati che puoi configurare sulla tua infrastruttura. I tuoi build e test verranno sempre eseguiti perché GitLab Runners monitora nuovi job e li esegue in ambienti sicuri e isolati.
• Artefatti e Report di Job: GitLab CI/CD ti consente di salvare gli artefatti prodotti all’interno della pipeline, come risultati di copertura del codice, report di test o binari costruiti. Puoi scaricare questi artefatti e utilizzarli per la distribuzione o ulteriori indagini.
• Integrazioni e Deployment: GitLab CI/CD offre numerose integrazioni per distribuire il tuo codice in vari ambienti, inclusi cluster Kubernetes, infrastrutture cloud come Azure, AWS o Google Cloud, o anche server personalizzati. Abbiamo la possibilità di creare i propri script di deployment o utilizzare i modelli di deployment predefiniti di GitLab.
• Monitoraggio e Feedback: GitLab CI/CD ti dà accesso alle informazioni sullo stato e lo sviluppo delle tue pipeline tramite l’interfaccia utente di GitLab. Possiamo controllare i log, tenere traccia di come ogni job viene eseguito e ricevere notifiche quando una pipeline ha successo o fallisce.

GitLab CI/CD include una varietà di funzionalità, come caching, variabili d’ambiente, gestione dei segreti e altro ancora, in modo da poter personalizzare e migliorare i flussi di lavoro CI/CD in base alle tue esigenze.

In generale, GitLab CI/CD semplifica il processo di creazione, test e distribuzione del software, consentendo alle squadre di sviluppare applicazioni di alta qualità in modo più rapido ed efficiente.

GitLab CI: Elaborazione Parallela

Per un sviluppatore, pochi aspetti sono più fastidiosi di dover attendere a lungo che tutto sia completato dopo aver inviato nuovo codice. Questa guida dimostra passo passo come l’elaborazione parallela può ridurre significativamente i tempi di deployment.

A great approach to decrease deployment times and give your development and quality assurance teams faster feedback is to run your automated deployments in parallel as part of our Gitlab CICD pipeline. Running your deployment in parallel cuts down on wait times and makes it possible to send bug fixes and upgrades to production more quickly without sacrificing the number of tests you run.

Figura 2 Esecuzione Simultanea dei Job in GitLab

Eseguire l’automazione della distribuzione parallela con GitLab CICD è piuttosto semplice, ma ci sono alcuni parametri di configurazione di cui dovete essere consapevoli. Esamineremo ogni passaggio per impostare l’esecuzione parallela per accelerare le distribuzioni in questa guida e come comunicare i risultati al team SRE. Quindi, iniziamo!

Figura 3 GitLab – Distribuzioni Parallele con Regioni

Flusso di Lavoro delle Distribuzioni Parallele di GitLab

Per migliorare i tempi di esecuzione, dobbiamo eseguire più job di distribuzione contemporaneamente. In ogni istanza di job di distribuzione, dobbiamo poi eseguire determinati comandi, come la creazione di diverse sezioni di un sito, l’integrazione di server web e l’aggiornamento delle configurazioni.

Abbiamo più di XX job nei pipeline che utilizziamo per costruire e distribuire il nostro applicativo GitLab. Non tutti questi posti sono creati allo stesso modo. Alcuni sono operazioni veloci che richiedono solo pochi secondi per essere completate, mentre altri sono processi lunghi che devono essere attentamente ottimizzati. Le modifiche apportate dai membri del team e dai collaboratori della comunità più ampia sono rappresentate da ciascuno di questi pipeline. Per assicurarsi che l’aggiornamento funzioni come previsto e sia integrato con il resto del prodotto, tutti i collaboratori dell’applicazione/progetto devono attendere il completamento dei pipeline. Per mantenere elevata la produttività dei nostri team, vogliamo che i nostri pipeline siano completati il più rapidamente possibile.

Di conseguenza, controlliamo costantemente la lunghezza dei nostri pipeline. Ad esempio, una serie di pipeline riuscite ha impiegato circa 53,8 minuti per essere completata nell’ultima release.

Supponendo di eseguire circa 100-200 pipeline ogni giorno, vogliamo indagare se possiamo ottimizzare il nostro processo per modificare il modo in cui vengono eseguiti i job a lungo termine.

Figura 4 GitLab – Esecuzione sequenziale dei job

In questa parte, hai esplorato l’esecuzione sequenziale dei job. Nella seconda parte di questa serie, imparerai come abbiamo risolto i job a collo di bottiglia eseguendoli in parallelo.