¿Por qué hemos elegido 10GBe sobre Fibra en lugar de sobre cobre ó InfiniBand?

Estamos terminando de desplegar en nuestros servidores en valencia la red interna que conectará nuestros servidores de procesamiento con los de almacenamiento.

Los requisitos que planteamos eran una red capaz de transportar mínimo 8Gbps y 200.000+ iops por host, estando estas características ya por encima de nuestra explotación real pero teniendo en cuenta la curva de crecimiento que podríamos tener en tres años por ganar clientes y por el aumento de recursos de los ya existentes.

Para hacer esta red se nos presentaban varias alternativas sobre la mesa.
-10Gb Ethernet sobre cable (máximo actual).
-10Gb Ethernet sobre fibra (lo que nos era suficiente).
-10Gb Ethernet DAC.
-InfiniBand QDR ó DDR, 32Gbps ó 16 Gbps.
-8 Gb HBA sobre fibra.

Lo primero que hicimos es entre las tecnologías iguales (Ethernet) elegir el medio óptimo acudiendo a la documentación que encontramos y a las pruebas de rendimiento.

10Gb Ethernet con cable presentaba como ventajas principales un menor coste de despliegue (electrónica y cables), por contra un alto consumo eléctrico y latencia, razón por la que fue descartada.

10Gb Ethernet con DAC (Cable de Conexión Directa) presentaba como ventaja el coste, sin ser tan notoria como la opción anterior, como desventaja el consumo eléctrico, la latencia (siendo menos la diferencia también en estos aspectos) y la necesidad de añadir electrónica específica de cada cable junto con los problemas de compatibilidad que habían sido notificados, por lo que también fue descartada.

10Gb sobre fibra (10GBase-Sr) aún suponiendo un mayor coste de implementación que las anteriores fue la elegida dentro de la gama Ethernet por su baja latencia y consumo eléctrico.

Una vez elegida la tecnología ethernet llega el momento de compararlas con las demás.

8 Gb HBA se presenta como la forma más barata de implementación, con dos grandes inconvenientes: la conexión a redes IP (algo imprescindible para nosotros) no es nativa y exige de software extra (posible fuente de problemas), la interoperabilidad con ethernet directa no existe (lo que multiplica su coste), así que fue descartada.

Por fin se llegaba a InfiniBand vs Ethernet.

La diferencia de latencia entre ambas no era significativa (pero era favor de InfiniBand)

InfiniBand presentaba sus ventajas: escalabilidad (la capacidad a implementar estaría muy por encima de nuestras necesidades actuales (16 ó 32 gbps), menor consumo eléctrico y (sobre todo) menor coste de implementación.

Por contra el soporte para ip no es nativo (IPoIB) lo que sobrecarga la CPU y necesita de software adicional (que ha ido mejorando en rendimiento pero no deja de ser una posible fuente de problemas), no existe interoperabilidad directa con Ethernet, algo necesario para nosotros dado que contamos con diversos equipos de almacenamiento que no podrían usar esa tecnología.

Por lo tanto la decisión elegida por 10GB Ethernet sobre fibra, además de por la interoperabilidad, por el soporte “nativo” a conexiones IP sin depender de la CPU ni software adicional, la documentación existente y que las ventajas de InfiniBand no eran determinantes: el consumo eléctrico no era tan significativo como con otras tecnologías, igualmente con switchs stackables y bonding (además de alta disponibilidad) conseguimos un caudal de hasta 20Gbps lo que casi triplica nuestras necesidades calculadas (que recordamos, estaban por encima de las actuales) dándonos un margen más que suficiente para crecer.

El mayor inconveniente es el coste del despliegue, pero sus plazos de amortización lo compensan, y es que cuando se nos quede corta esta red de interconexión interna a la vista del crecimiento actual de internet, probablemente se convierta en la red de interconexión externa.

Me explico: cuando necesitemos 10gbps por servidor de conexión a internet (algo que no está tan lejano), esta red privada pasará a ser sin problemas la red que conecte el servidor con internet aprovechando prácticamente la totalidad de de la inversión y se creará una nueva red interna (tal vez con 100Gb Ethernet?) que necesitará ser más rápida para la interconexión entre servidores.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *