El centro de datos de Ice Cube Lab tiene más de 1,200 núcleos informáticos y tres petabytes de almacenamiento y está atado al Observatorio IceCube, un detector de neutrinos con cadenas de sensores ópticos enterrados a un kilómetro de profundidad en el hielo antártico. IceCube observa explosiones de neutrinos de eventos astronómicos cataclísmicos, lo que ayuda a estudiar tanto la “materia oscura” como la física de los neutrinos.
Ejecutar este tipo de operación de TI en una de las ubicaciones más hostiles y remotas del mundo crea una serie de desafíos que pocos en TI han experimentado.
Un viaje a la estación del Polo Sur Amundsen-Scott está tan cerca de visitar otro planeta como se puede llegar a la Tierra, con “una paleta de blancos, azules, grises y negros”, dice Gitt. En verano, parece que son las dos de la tarde las 24 horas del día, lo que “puede hacer cosas interesantes en su ciclo diurno”, dice Barnet. En invierno, el mundo exterior está iluminado solo por la luz de la luna y la Aurora Australis.
Empleo
Con una población máxima de 150 en la base durante el verano austral, los profesionales de TI del Polo Sur en residencia están limitados a unos pocos seleccionados. Y no se quedan mucho tiempo: la mayoría del equipo de TI de WIPAC solo se queda unos meses en el verano, durante el cual tienen que completar todos los proyectos de infraestructura de TI planificados.
El resto del año, los empleados de WIPAC en los EE. UU. Caminan de forma remota a los miembros de invernada del equipo de IceCube, generalmente elegidos por sus credenciales de ciencias físicas, no por sus habilidades de TI, a través de tareas a través de llamadas satelitales. Los sistemas se supervisan a través de una conexión satelital Iridium multiplexada. “Simplemente intenta recopilar tanta información como sea posible y hacer lo que puede de forma remota”, dice Ralf Auer, administrador de sistemas del Polo Sur de WIPAC.
El equipo de invernada “puede hacer una gran parte del mantenimiento físico”, dice Barnet, pero las tareas rutinarias de TI a veces pueden parecer extrañas para los científicos físicos. El resultado es que Auer, Barnet y los demás en su país tienen que visualizar lo que está viendo el equipo durante el invierno para guiarlos a través de soluciones. (Barnet lo compara con ser un controlador de tráfico aéreo hablando por un avión volado por una azafata). Entonces, parte del trabajo del equipo es hacer que estas tareas prácticas sean lo más simples posible para los científicos y manejar lo más posible remotamente sobre cualquier ancho de banda que puedan obtener.
South Pole Station tiene otro soporte de TI, pero no está en la nómina de WIPAC. El equipo general de soporte de TI y comunicaciones para Amundsen-Scott alcanza un máximo de 5-8 personas durante el verano y se reduce a 4-5 durante el invierno, según Gitt. Más estadía en la estación McMurdo, la principal base de apoyo logístico en la Antártida: 35-40 en el pico de la temporada de investigación en el verano, “dependiendo de los proyectos”, dice. Las estaciones más pequeñas administradas por NSF pueden tener solo dos o tres personas de TI y comunicaciones en total. (Lockheed-Martin acaba de hacerse cargo del contrato de la NSF, pero el premio se encuentra actualmente bajo protesta).
Comunicaciones
La forma de comunicación más confiable disponible es la red satelital Iridium. Las conexiones individuales de Iridium no son exactamente ardientes: admiten una velocidad de datos de solo unos 2.400 bits por segundo. Pero según Gitts, Raytheon hizo mucho para obtener el mayor ancho de banda posible de Iridium, incluidas las conexiones de Iridium multiplexadas, haciendo compresión para reducir el tamaño de los correos electrónicos, incluso agregando un servidor inalámbrico con servicios de correo electrónico y uso compartido de archivos a estaciones terrestres de Iridium en contenedores para soportar algunas de las estaciones de campo más pequeñas.
“Incluso redujimos el tamaño del paquete y lo colocamos en algunos de los tractores transversales”, dice Gitt, proporcionando una línea de vida de datos para las expediciones que cruzan el continente helado.
El acceso de mayor ancho de banda está limitado a aproximadamente 10 horas al día de cobertura de banda ancha del Sistema de Satélite de Relé de Rastreo y Datos de la NASA (TDRSS) y el Satélite GOES-3, un satélite meteorológico lanzado en 1978 que perdió sus capacidades de imágenes meteorológicas y ahora proporciona 1 -megabit por segundo de transmisión de datos durante ocho horas al día. TDRSS proporciona el mayor ancho de banda, con velocidades de transmisión de hasta 150 megabits por segundo.
Llevar gente allí
Llevar gente y equipo al Polo en primer lugar es un esfuerzo hercúleo. “Dado que la estación está cerrada y es completamente inaccesible desde principios de marzo hasta octubre”, dice Barnet, “cualquier trabajo que vaya a hacer (en la infraestructura) debe realizarse de noviembre a enero. Por lo tanto, plantea un importante desafío logístico “.Y debido a que todo depende del clima, “puede elaborar el plan más hermoso, y luego puede terminar pasando el tiempo que planeó hacer el trabajo de TI lavando platos o cargando comida, porque su carga no está dentro”.
La estación del Polo Sur de Amundsen-Scott se encuentra al final de una cadena logística de 9,000 millas. Cualquier cosa o cualquier persona con destino al Polo tiene que llegar de los EE. UU. A Christchurch, Nueva Zelanda, antes de ser cargado en un C-17 Globemaster de la Fuerza Aérea con destino a la pista de hielo en la estación McMurdo. Luego, los aviones de transporte LC-130 equipados con esquí de la Guardia Aérea Nacional del Estado de Nueva York manejan las últimas 800 millas más o menos del viaje, con una pequeña ayuda de despegue asistida por cohetes.
“Obtienes una apreciación muy fuerte por la amortiguación del sonido en los aviones comerciales”, dice Barnet, describiendo el viaje. “Pero la comida es mejor en estos días en los vuelos de la Guardia Nacional que en la mayoría de las aerolíneas”.
Esa larga cadena de suministro plantea un desafío de soporte para el equipo del centro de datos IceCube. Obtener asistencia de proveedores no es tan simple como en casa. “No estamos exactamente en el camino establecido para el diálogo de soporte de proveedores”, señala Barnet, “donde si decimos que tenemos un disco duro defectuoso, dirán: ‘Te daremos otro durante la noche’. Tenemos que mantener suficientes repuestos para poder operar durante el invierno “.
Y el reemplazo de la garantía de 30 días no funciona exactamente cuando estás a 90 grados de latitud sur. “Si son los 30 días correctos, estamos bien”, dice. “Pero eso casi nunca sucede”.
Mantenimiento
Es posible que no piense que el enfriamiento sería un problema en uno de los lugares más fríos de la Tierra. Pero irónicamente, es una gran preocupación. “Tenías que tener cuidado cuando podías hacer mantenimiento”, dice Gitt. “En la estación del Polo Sur, hay veces que no podemos romper las bahías de equipos abiertos porque el equipo comenzaría a romperse por el frío”. En otras ocasiones, el equipo electrónico se sobrecalentaría porque había sido diseñado para clima frío.
“150 máquinas pueden producir mucho calor”, agrega Auer. “No se puede simplemente abrir una puerta porque la temperatura bajaría demasiado rápido y perderíamos hardware porque los discos duros morirían”.
Luego está la cuestión de averiguar a qué temperatura, exactamente, se debe enfriar el equipo. Barnet dice que es difícil obtener “estimaciones de ingeniería razonables” para los equipos de los vendedores debido a la altitud. “Uno comienza a preocuparse por cosas como el tamaño de las máquinas”, dice. IceCube usa servidores 2U, pero cuando el equipo consideró servidores más pequeños, les preocupaba si las máquinas más pequeñas podían mover suficiente aire más delgado a través de ellos para una refrigeración adecuada.
Conseguir que la sala del servidor alcance los 65 grados Fahrenheit cuando la temperatura exterior puede ser de -40 F o -100 F en invierno significó invertir un poco en pensar cómo conseguir que los servidores se enfríen. El equipo de IceCube ejecuta un sistema HVAC, sin aire acondicionado, para manejar el enfriamiento, utilizando respiraderos para llevar el aire exterior de manera controlada. Pero el entorno no necesariamente se deja controlar todo el tiempo. Barnet dice que las ventilaciones para el sistema HVAC a menudo se congelan en su posición.
Trabajando en extremos
Hay “otros juegos y diversión” impulsados por los extremos del clima. Una de ellas es que hay casi cero humedad en el Polo. Al trabajar en el espacio del servidor, Barnet dice: “Tenemos que tener mucho cuidado, usar chaquetas antiestáticas donde quiera que vayamos y asegurarnos de que siempre tengamos una conexión a tierra adecuada”.
La humedad causó estragos durante un tiempo con el almacenamiento de cintas. Por varias razones, todos los datos que salen del Observatorio IceCube, aproximadamente un terabyte por día, se escriben en cinta. “Eso es mucha cinta”, dice Barnet. “Descubrimos que la cinta se pone muy, muy malhumorada allí, y hemos luchado con esto desde el primer día”. Después de probar una “amplia variedad” de soluciones, el equipo determinó que el problema estaba relacionado con la baja humedad. ? Las unidades de cinta pueden desarrollar estática interna; humidificar las cintas hizo que funcionasen mejor.
En un momento, el equipo colocó las cintas en un invernadero en la estación antes de usarlas; También consideraron ejecutar un humidificador dentro de la sala del servidor, pero las preocupaciones sobre la condensación provocaron protestas de otros en la estación. “Enfureció a otras personas”, dice Barnet. Auer agrega que en este momento no están haciendo nada a las cintas: el lote actual parece funcionar bien sin ser pre-cocido al vapor.
Otro problema importante: disponibilidad de energía. “En el hemisferio norte, tenemos una buena red eléctrica”, dice Auer, “pero allí, todo funciona con dos generadores para toda la estación, uno de ellos activo”. Proporcionan el poder para la estación y todas las dependencias, y son básicamente el