Cómo utilizar GitLab para la ejecución simultánea de trabajos (Parte 1)

Hablemos de GitLab.

La plataforma basada en web para DevOps, GitLab, ofrece un conjunto completo de herramientas para el desarrollo de software, control de versiones, integración continua y entrega (CI/CD), y comunicación. Basada en Git, el conocido sistema de control de versiones distribuido, proporciona una solución de gestión de repositorios centralizada.

GitLab permite a los equipos gestionar de manera eficiente sus proyectos de desarrollo de software, realizar un seguimiento de los cambios y comunicarse sobre el código. Ofrece herramientas para la gestión de proyectos, así como capacidades como repositorios de código, seguimiento de problemas, revisiones de código, integración continua y despliegue.

Características Clave de GitLab

1. El sistema de control de versiones de GitLab, que se basa en Git, permite a los desarrolladores realizar un seguimiento de cambios de manera eficiente, hacer ramas y gestionar fusiones.
2. GitLab ofrece un sistema de gestión de repositorios centralizado que permite a los programadores almacenar, organizar y administrar de manera efectiva su base de código.
3. Seguimiento de Incidencias: Utilizando el sistema integrado de seguimiento de incidencias de GitLab, los equipos pueden crear y realizar un seguimiento de incidencias, asignarlas a miembros del equipo y seguir su progreso.
4. GitLab proporciona una potente pipa de CI/CD que automatiza los procedimientos de compilación, prueba y despliegue. Permite a los equipos fusionar cambios de código de inmediato, realizar pruebas automáticas y desplegar aplicaciones.
5. Las herramientas de colaboración como revisiones de código, comentarios e intercambios de opiniones en línea facilitan a los miembros del equipo cooperar y aportar ideas sobre cambios en el código.
6. GitLab ofrece herramientas de gestión de proyectos como hitos, tableros, Kanban y tableros ágiles, permitiendo a los equipos planificar y seguir el progreso de sus proyectos con éxito.
7. Seguridad y Control de Acceso: Para garantizar la integridad del código y protegerse contra posibles preocupaciones de seguridad, GitLab ofrece varias capacidades de seguridad, como control de acceso basado en roles, aprobaciones de solicitudes de incorporación de cambios y gestión de vulnerabilidades.

Figura 1 Arquitectura de Pipeline CICD de GitLab

GitLab está disponible en diversas ediciones, desde una versión gratuita para la comunidad hasta una versión premium con más funcionalidades y opciones de soporte. Puede ser utilizado como servicio basado en la nube a través de GitLab.com o autoalojado en las instalaciones.

Integración y Entrega Continuas (CI/CD) de GitLab

GitLab CI/CD es una plataforma de integración y entrega continua sólida ofrecida por GitLab, una herramienta de gestión de repositorios Git basada en web. Los equipos pueden automatizar cada paso del ciclo de vida del desarrollo de software con GitLab CI/CD, desde el compromiso de código hasta la implementación, utilizando un conjunto de pipelines.

Se proporciona una visión general del proceso de CI/CD de GitLab a continuación:

• Configuración de GitLab: Antes de comenzar, debes tener un repositorio de GitLab configurado y preparado. Puedes configurar tu propia instancia autoalojada de GitLab o utilizar la versión alojada en la nube.
• .gitlab-ci.yml: El cerebro que subyace a GitLab CI/CD se encuentra en el archivo .gitlab-ci.yml. Este archivo, que describe el pipeline de CI/CD, puede encontrarse en la raíz del repositorio de tu proyecto. Está compuesto por varios pasos, tareas e instrucciones que definen cómo se debe crear, revisar y lanzar tu código. El lenguaje utilizado para escribirlo es YAML.
• Pipelines: En GitLab CI/CD, un pipeline es una colección de etapas y trabajos que especifican las acciones a realizar para un determinado branch o tag en tu repositorio. Puedes automatizar los procesos de prueba y despliegue al hacer que cada pipeline comience cuando se produce un nuevo commit o merge request.
• Trabajos y Etapas: Las etapas reflejan los pasos del pipeline, incluyendo compilación, prueba y despliegue. Puedes especificar uno o más trabajos, unidades individuales de trabajo, dentro de cada nivel. Los trabajos pueden operar en runners separados (como máquinas virtuales, contenedores o pods de Kubernetes), ya sea concurrentemente o secuencialmente.
• Runners: GitLab CI/CD utiliza runners para realizar las tareas enumeradas en tu pipeline. GitLab ofrece tanto runners compartidos como runners personalizados que puedes configurar en tu propia infraestructura. Tus builds y pruebas siempre se ejecutarán porque GitLab Runners vigila nuevos trabajos y los ejecuta en entornos seguros e independientes.
• Artefactos y Reportes de Trabajos: GitLab CI/CD te permite guardar artefactos producidos dentro del pipeline, como resultados de cobertura de código, informes de pruebas o binarios construidos. Puedes descargar estos artefactos y utilizarlos para el despliegue o investigación adicional.
• Integraciones y Despliegue: GitLab CI/CD ofrece numerosas integraciones para desplegar tu código en diversos entornos, incluyendo clústeres de Kubernetes, infraestructura en la nube como Azure, AWS o Google Cloud, o incluso servidores personalizados. Tenemos la opción de crear tus propios scripts de despliegue o utilizar las plantillas de despliegue predefinidas de GitLab.
• Monitoreo y Retroalimentación: GitLab CI/CD te da acceso a información sobre el estado y el desarrollo de tus pipelines a través de la interfaz de usuario de GitLab. Podemos revisar los registros, hacer un seguimiento de cómo se está ejecutando cada tarea y recibir notificaciones cuando una ejecución de pipeline tenga éxito o falle.

GitLab CI/CD incluye una variedad de capacidades, como almacenamiento en caché, variables de entorno, gestión de secretos y más, para que puedas personalizar e impulsar tus flujos de trabajo CI/CD según tus necesidades.

En general, GitLab CI/CD simplifica el proceso de creación, prueba y despliegue de software, permitiendo a los equipos desarrollar aplicaciones de alta calidad de manera más rápida y eficiente.

Procesamiento Paralelo en GitLab CI:

Para un desarrollador, hay pocas cosas más irritantes que tener que esperar mucho tiempo para que todo termine después de enviar un nuevo código. Este manual demuestra paso a paso cómo el procesamiento paralelo puede reducir significativamente los tiempos de despliegue.

A great approach to decrease deployment times and give your development and quality assurance teams faster feedback is to run your automated deployments in parallel as part of our Gitlab CICD pipeline. Running your deployment in parallel cuts down on wait times and makes it possible to send bug fixes and upgrades to production more quickly without sacrificing the number of tests you run.

Figura 2 Ejecución Simultánea de Trabajos en GitLab

Ejecutar la automatización de despliegues en paralelo con GitLab CICD es bastante sencillo, pero hay algunos parámetros de configuración que debes tener en cuenta. Repasaremos cada paso para configurar la ejecución en paralelo y acelerar los despliegues en este tutorial, además de cómo comunicar los resultados a al equipo de SRE. ¡Así que comencemos!

Figura 3 GitLab – Despliegues en Paralelo con Regiones

Flujo de Trabajo de Despliegues en Paralelo de GitLab

Para mejorar los tiempos de ejecución, debemos ejecutar múltiples trabajos de despliegue simultáneamente. En cada instancia de trabajo de despliegue, luego debemos realizar ciertas instrucciones, como crear varias secciones de un sitio, integrar servidores web y realizar actualizaciones de configuración.

Tenemos más de XX trabajos en los pipelines que utilizamos para construir y desplegar nuestra aplicación de GitLab. No todos esos puestos son iguales. Algunos son operaciones rápidas que solo tardan unos segundos en completarse, mientras que otros son procesos largos que deben optimizarse cuidadosamente. Los cambios realizados por miembros del equipo y colaboradores de la comunidad más amplia están representados por cada uno de estos pipelines. Para garantizar que la actualización funcione como se pretende e integre con el resto del producto, todos los colaboradores del aplicativo/proyecto deben esperar a que los pipelines se completen. Para mantener la productividad de nuestras equipos alta, queremos que nuestros pipelines se completen lo más rápido posible.

Por lo tanto, revisamos constantemente la duración de nuestros pipelines. Por ejemplo, series exitosas de pipelines tardaron aproximadamente 53.8 minutos en completarse en la versión anterior.

Suponiendo que ejecutamos aproximadamente entre 100 y 200 pipelines cada día, queremos investigar si podemos optimizar nuestro proceso para modificar cómo se ejecutan los trabajos de larga duración.

Figura 4 GitLab – Ejecución secuencial de trabajos

En esta parte, exploraste la ejecución secuencial de trabajos. En la segunda parte de esta serie, aprenderás cómo solucionamos los trabajos de cuello de botella al ejecutarlos en paralelo.