👻 La Newsletter de @weareDMNTRs 👻
Viernes 7 de Julio, 6.50 de la mañana.
Sentado esperando la salida del AVE dirección al paraiso, procedo a comenzar a escribir esta newsletter.
Día complejo el de ayer, lo que suponía iba a ser "puro trámite" se convirtió en "puta locura".
A ver, me explico, la red de DMNTR va creciendo pasito a pasito, así que el CCR1009 que usábamos con endpoint para las VPNs se nos estaba quedando pequeño.
En horas punta la CPU rondaba el 60-70%, todavía quedaba algo que extraer de él, pero el throughput comenzaba a ser impactado en algunos momentos de alto tráfico, así que me decidí a jubilarlo y colocar algo más grande.
Además, queríamos tener más puertos disponibles de cara a una próxima ampliación de servidores.
El elegido fue un CCR2216, el "tope de gama" de Mikrotik actualmente, CPU arm64 de 16 núcleos, hardware offloading, 12 interfaces SFP28 de hasta 25G y ¡2 interfaces de 100G! ¡Un bicho!
Así que nada, procedimos a comprar uno y mandarlo al datacenter. Una vez confirmada la recepción la cosa era "subir" a Madrid y realizar el cambio.
Peccata minuta. Algo fácil.
Días atrás preparé la configuración y me hice un pequeño guion de todos los pasos a realizar. ¡Todo controlado!
Aunque tengo que confesar que el último paso, después del cambio de cables, era: "¡Rezar!", pero esperaba no tener que llegar ahí...
Y nada, después de un buen madrugón y su correspondiente viaje en AVE, llegué a las oficinas de Tecnocrática DC.
Allí, después de un rato de charla amena, el gran Tomás Ledo se acercó conmigo al DC y me entrego el material que habían recepcionado días atrás.
Me fui a mi sala, cogí la "mesa de operaciones" y comencé el proceso. La cosa fue coser y cantar o mejor dicho "actualizar y configurar", así que programamos el cambio de router para las 14.30.
Avisé a los clientes por el Status System y mientras daba la hora fui comprobando todo.
Sobre las 14.00, Eduardo Taboada se acercó por si necesitaba algo, "todo controlado, a las 14.30 cambiamos esto y nos vamos a comer".
Eduardo preparó unos nuevos cables de alimentación más largos para el 1009 (benditas fuentes redundantes que te permiten cambiar cables sin tener que apagar), para poder hacer el cambio cómodamente.
¡Lo teníamos todo controlado!
14.29. Todo normal. Vamos para adelante con todo.
14.31. ¡Al lío!
Conectamos los nuevos cables DAC a los fronteras y al 2216. Y... nada...
Nada...
Nada de nada...
¡La interfaz no levanta!
¡WTF!
Tomas Ledo, que también estaba ya por allí, me pregunta si son los DAC correctos, y yo ya empiezo a dudar.
Eduardo, no sé de donde la verdad, saca unos transceiver y latiguillos de fibra y me dice: "cambia por estos a ver". ¡Qué crack!
14.42. Os recuerdo que a todo esto estábamos con el servicio impactado...
Cambio transceivers y ahora si levantan... pero ahora no... ahora si... ahora no...
¡Las putas interfaces flapean constantemente!
Unos minutos más tarde decido tirar atrás la migración, volvemos al 1009 y decido quedarme allí a ver que pasa con el 2216, ya comeré después.
¡No os quiero contar el cuerpo que tenía en ese momento!
¡Shit happens!
Pero, como la experiencia es un grado, Eduardo y Tomás me convencen para irnos a comer y después realizar las pruebas en su oficina. Así lo hicimos.
Después de una hamburguesa Black Angus brutal y un rato de buena conversación, comencé a probar de nuevo el 2216 en la oficina de TC y...
Después de una actualización de software y firmware... ¡Todo funcionaba!
¿Pero cómo puede ser esto?
Bueno, tengo tres teorías:
- La actualización del firmware no se realizó correctamente o no lo reinicié como debía...
- Alguna movida de RouterOS7 que se solucionó al actualizar.
- El router no tenía ganas de trabajar y cuando vio que lo llevábamos a la ofi de Tecnocrática con amenazas de lanzarlo por la ventana se asustó y comenzó a funcionar.
Sea como fuera, volvimos a realizar el procedimiento y ya por la tarde pudimos colocar el nuevo 2216 en su lugar, no sin alguna anécdota curiosa y tal, pero la verdad es que en IPv4 todo fue como la seda...
En IPv6 una regla no documentada que añadimos en su momento al firewall nos tuvo un rato de cabeza, nada grave en otro momento, pero tal y como venía el día estuve a punto de dejar de "creer". 🤣🤣🤣
De todo esto saco tres lecciones esenciales:
- Que en una migración puede pasar cualquier cosa, por muy bien preparado que lo lleves todo. Shit Happens.
- Que si te rodeas de los mejores, al final sales de todo. Gracias, Tomas y Taboada por vuestro aplomo en el momento de shock. Enormes.
- ¡Que no se puede dejar sin documentar una puñetera regla del firewall! ¡Dementor por favor!
Y nada, así fue mi viaje por Madrid. En mitad de la vorágine mi mujer me llamó por teléfono y hablamos 30 segundos, cuando horas después volvimos a hablar me dijo: "Ya tienes otra voz...".
Por cierto, la CPU del 2216 anoche en hora punta rozó el ¡7%! ¡Tenemos bicho para rato!
P.D.: En poco tiempo añadimos un par de servers al chiringuito... ¡Esperemos la instalación sea algo más tranquila!
📰 La actualidad 📰
Pues con la tontería esta semana no he hecho demasiado por Twitter... ¡Así no me salto el límite!
Algunas cositas:
📷 La imagen de la semana 📷
Sé que estabais deseando verlo...
¿Conectaré esos 2 interfaces de 100G pronto? 🤔🤔🤔
🔗 Cajón desastre... 🔗
Los enlaces que he ido recopilando durante la semana:
- Meaning of 169.254.169.254 on the Cloud. Interesante.
- Cisco warns of a flaw in Nexus 9000 series switches that allows modifying encrypted traffic. A alguien se le olvidó cerrar la puerta trasera...
- El CNI ficha como máxima responsable de ciberseguridad a una señora que logró activar su firma digital en la web de Hacienda. jajajajajajajajja
- El Hospital Clínic de Barcelona sufre una nueva filtración masiva de datos. No importa cuando leas esto...
- NO USEN el gestor de contraseñas de CHROME. Ni Chrome tampoco...
- Microsoft lleva años ofreciendo Office en la nube bajo suscripción. Ahora quiere hacer lo mismo con Windows. Ummmmmmmmm
Y fin...
¡1 el cruizaito! ¡2 el brikindown! ¡3 el noreboot! ¡4 el estonotira! ¡Flapea Flapea! 🎵🎵🎵
