La migration vers des débits 400G/800G : Partie I

Utilisation globale des données

Bien entendu, au cœur des changements se trouvent les tendances mondiales qui remodèlent les attentes des consommateurs et la demande pour des communications plus rapides et plus nombreuses, telles que :

• Croissance explosive du trafic sur les réseaux sociaux
• Déploiement des services 5G, rendu possible par une densification massive des petites cellules
• Accélérer les déploiements de l’IdO et de l’IIoT (IdO industriel)
• Passage du travail traditionnel au bureau ¨à diverses options à distance

Croissance des fournisseurs hyperscale

Au niveau mondial, les véritables data centers hyperscale sont moins d’une douzaine, mais leur impact sur l’aménagement du paysage global des data centers est significatif. Selon une étude récente, le monde a passé en cumulé 1,25 milliard d’années en ligne en seulement 2020. ¹Environ 53 % de ce trafic passe par une installation hyperscale.²

Partenariat Hyperscale avec les installations de data center en colocation (MTDC/co-emplacement)

À mesure que la demande pour des performances de latence plus faibles augmente, les fournisseurs hyperscale et cloud travaillent pour étendre leur présence plus près de l’utilisateur final/appareil final. Beaucoup s’associent à MTDC ou à des data centers de colocalisation pour localiser leurs services à l’extrémité du réseau³. Lorsque la périphérie est physiquement proche, une latence et des coûts de réseau plus faibles augmentent la valeur des nouveaux services à faible latence. C’est pourquoi, la croissance dans l’arène de l’hyperscale oblige les MTDC et les sites de colocation à adapter leurs infrastructures et architectures pour prendre en charge l’augmentation de l’échelle et les demandes de trafic qui sont plus typiques des data centers hyperscale. Dans le même temps, ces plus grands data centers doivent continuer à être flexibles aux demandes des clients pour des interconnexions croisées avec les rampes du fournisseur cloud.

Réseaux Mesh à architecture Leaf-Spine et tissu

La nécessité de prendre en charge des applications à faible latence, haute disponibilité et bande passante très élevée est difficilement limitée aux data centers hyperscale et de colocalisation. Toutes les installations de data center doivent maintenant repenser leur capacité à gérer les demandes croissantes des utilisateurs finaux et des parties prenantes. En réponse, les gestionnaires de data centers évoluent rapidement vers des réseaux maillés plus denses en fibres. La connectivité complète, les câbles backbone à plus haut nombre de fibres et les nouvelles options de connectivité permettent aux opérateurs réseau de prendre en charge des vitesses de voie toujours plus élevées alors qu’ils se préparent à effectuer la transition vers le 400 Gigabit par seconde⁴(G).

Optimiser l’apprentissage machine (ML) et l’intelligence artificielle (IA)

En outre, les plus grands fournisseurs de data centers, en partie motivés par l’IdO et les applications de ville intelligente, se tournent vers l’IA et le ML pour aider à créer et à affiner les modèles de données qui alimentent les capacités de calcul presque en temps réel en périphérie. En plus d’avoir le potentiel de permettre un Nouveau Monde d’applications (pensez à des voitures autonomes commercialement viables), ces technologies nécessitent des ensembles de données massifs, souvent appelés lacs de données, et une puissance de calcul massive dans les data centers et des tuyaux suffisamment larges pour pousser les modèles raffinés à la périphérie lorsque cela est nécessaire.⁵

Si les gestionnaires de data centers regardent vers l’horizon, les signes d’une évolution basée sur le cloud sont partout.

Plus
de serveurs virtualisés haute performance

Une bande passante plus élevée
et une latence plus faible

Rapidité accrue
au niveau des connexions switch-to-server

Une bande passante plus élevée
vitesses de liaison montante et d’ossature

Des capacités rapides
d’expansion

 
Dans le cloud lui-même, le matériel est en train de changer. Plusieurs réseaux disparates typiques dans un data center existant ont évolué vers un environnement plus virtualisé qui utilise des ressources matérielles regroupées et une gestion logicielle. Cette virtualisation rend nécessaire l’acheminement de l’accès et de l’activité des applications de la manière la plus rapide possible, obligeant de nombreux gestionnaires de réseau à demander, « Comment concevoir mon infrastructure pour prendre en charge ces applications axées sur le cloud »)

La réponse commence par l’activation de vitesses plus élevées par ligne. La progression de 25 à 50 puis à 100G et au-delà est essentielle pour atteindre 400G et au-delà, et elle a commencé à remplacer la voie de migration traditionnelle 1/10G. Mais il y en a plus que l’augmentation des vitesses sur les lignes, bien plus encore. Nous devons creuser cette question un peu plus profondément.

Dans un réseau de données, la capacité est une question de vérifications et d’équilibre entre les serveurs, les commutateurs et la connectivité. Chacun pousse l’autre à être plus rapide et moins coûteux, afin de suivre efficacement la demande produite par l’augmentation des ensembles de données, l’IA et le ML. Pendant des années, la technologie de commutation est restée le principal goulot d’étranglement. Avec l’introduction de StrataXGS® Tomahawk® de Broadcom3, les gestionnaires de data centers peuvent désormais augmenter les vitesses de commutation et de routage jusqu’à 12,8 Térabits/sec (Tb/s) et réduire leur coût par port de 75 %. La puce 4 de commutation Tomahawk de Broadcom, avec une bande passante de 25 Tb/s, fournit à l’industrie des data centers plus de capacité de commutation pour garder une longueur d’avance sur les charges de travail d’IA et de ML croissantes. Aujourd’hui, cette puce prend en charge 64 ports 400G ; mais à une capacité de 25,6 Tb/s, la technologie des semi-conducteurs nous fait prendre une voie où nous pourrions voir à l’avenir 32 ports 800G sur une seule puce. 32, par coïncidence, étant le nombre maximum de QSFP-DD, ou OSFP (émetteurs-récepteurs 800G) qui peut être présenté sur une face avant de commutateur 1U.

Le facteur limitant est donc la capacité de traitement du processeur. N’est-ce pas ? Faux. Plus tôt cette année, NVIDIA a lancé sa nouvelle puce Ampère pour serveurs. Il s’avère que les processeurs utilisés dans sont parfaits pour gérer la formation et le traitement basé sur l’inférence nécessaires à l’IA et au ML. Selon NVIDIA, une machine basée sur Ampère peut faire le travail de 120 serveurs Intel.

Figure 3 : Vitesses Ethernet

Les commutateurs et les serveurs étant programmés pour prendre en charge 400G et 800G au moment où ils sont nécessaires, la pression passe à la couche physique pour maintenir l’équilibre du réseau. IEEE 802.3bs, approuvé en 2017, a ouvert la voie à l’Ethernet 200G et 400G. Cependant, l’IEEE vient de terminer son évaluation de la bande passante concernant 800G et au-delà. L’IEEE a lancé un groupe d’étude pour identifier les objectifs des applications au-delà du 400G et, étant donné le temps nécessaire pour développer et adopter de nouvelles normes, nous sommes peut-être déjà en retard. L’industrie travaille maintenant ensemble pour introduire 800G et commence à travailler vers 1.6T et au-delà tout en améliorant la puissance et le coût par bit.

Les vitesses de commutation augmentent en tant que sérialiseur/désérialiseur (SERDES) qui fournit les E/S électriques pour le déplacement ASIC de commutation depuis 10G, 25G, 50G. Les SERDES devraient atteindre 100G une fois que IEEE802.3ck deviendra une norme ratifiée. Les circuits intégrés spécifiques aux applications de commutation (ASIC) augmentent également la densité des ports d’E/S (également appelée radix). Les ASIC à radix plus élevé prennent en charge plus de connexions de périphériques réseau, offrant ainsi la possibilité d’éliminer les commutateurs de couche supérieure de rack (ToR). Cela, à son tour, réduit le nombre total de commutateurs nécessaires pour un réseau cloud. (Un data center avec 100 000 serveurs peut être pris en charge avec deux niveaux de commutation avec un RADIX de 512.) Les circuits ASIC à radix plus élevé se traduisent par des dépenses d’investissement (moins de commutateurs), des dépenses d’exploitation (moins d’énergie nécessaire pour alimenter et refroidir moins de commutateurs) et des performances réseau améliorées grâce à des latences plus faibles.

Figure 4 : Effets des commutateurs Radix supérieurs sur la bande passante du commutateur

Le passage d’une topologie ToR (top-of-rack) à une configuration de mi-rang (Med-of-row) ou de fin de rangée (End-of-row) est étroitement lié à l’augmentation du radix et à la vitesse de commutation, et à l’avantage que présente une approche de câblage structuré lors de la facilitation des nombreuses connexions entre les serveurs en ligne et les commutateurs MoR/EoR. La capacité à gérer le grand nombre de pièces jointes de serveur avec une plus grande efficacité est nécessaire pour utiliser de nouveaux commutateurs à radiogène élevé. Cela, à son tour, nécessite de nouveaux modules optiques et un câblage structuré, tels que ceux définis dans la norme IEEE802.3cm. La norme IEEE802.3cm prend en charge les avantages des émetteurs-récepteurs enfichables pour une utilisation avec des applications de réseau de serveurs à haut débit dans de grands data centers définissant huit pièces jointes hôtes à un émetteur-récepteur QSFP-DD.

Figure 5 : Architectures passant de ToR à MoR/EoR

Tout comme l’adoption du facteur de forme QSFP28 a conduit à l’adoption du 100G en offrant une densité élevée et une consommation d’énergie inférieure, le passage au 400G et au 800G est rendu possible par de nouveaux facteurs de forme d’émetteur-récepteur. Les optiques SFP, SFP+ ou QSFP+ actuelles sont suffisantes pour permettre des vitesses de liaison 200G. Cependant, le passage au 400G nécessitera de doubler la densité des émetteurs-récepteurs. Pas de problème.

Le QSFP-Double Density (QSFP-DD⁷) et octal (2 fois un quad)et les accords multi-sources (MSA) enfichables à petit facteur de forme (OSFP⁸) permettent aux réseaux de doubler le nombre de connexions d’E/S électriques à l’ASIC. Il permet non seulement d’additionner plus d’E/S pour atteindre des vitesses agrégées plus élevées, mais également au nombre total de connexions d’E/S ASIC d’atteindre le réseau.

Le facteur de forme du commutateur 1U avec ports 32 QSFP-DD correspond 256 (32x8) aux E/S ASIC. De cette façon, nous pouvons créer des liaisons à haut débit entre les commutateurs (8*100 ou 800G) mais nous avons également la possibilité de maintenir le nombre maximal de connexions lors de la connexion des serveurs.

Modes de modulation

Les ingénieurs réseau utilisent depuis longtemps la modulation de non-retour à zéro (NRZ) pour 1G, 10G et 25G, en utilisant la correction d’erreur avant (FEC) côté hôte pour permettre des transmissions à plus longue distance. Pour passer de 40G à 100G, l’industrie s’est simplement tournée vers la parallélisation des modulations NRZ 10G/25G, en utilisant également le FEC côté hôte pour les longues distances. Lorsqu’il s’agit d’atteindre des vitesses de 200G/400G et plus rapidement, de nouvelles solutions sont nécessaires.

Figure 7 : Des schémas de modulation à plus grande vitesse sont utilisés pour activer les technologies 50G et 100G.

Par conséquent, les ingénieurs en réseau optique ont recours à la modulation d’amplitude d’impulsions à quatre niveaux (PAM4) pour concrétiser les architectures réseau à bande passante ultra-élevée ; PAM4 est la solution actuelle pour 400GPAM4. Ceci est basé sur une mesure importante du système IEEE802.3, qui a complété de nouvelles normes Ethernet pour des débits allant jusqu’à 400G (802.3bs/cd/cu) pour les applications multimodes (MM) et monomodes (SM). Une grande variété d’options de dérivation sont disponibles pour s’adapter à diverses topologies de réseau dans des data centers à grande échelle.

Des schémas de modulation plus complexes impliquent la nécessité d’une infrastructure qui peut fournir une meilleure perte de retour et atténuation.

Prédictions – OSFP VS QSFP-DD

Les optiques emballées conjointement (CPO) fournissent une voie alternative à 1.6T et 3.2T. Mais les CPO auront besoin d’un nouvel écosystème qui peut rapprocher l’optique des circuits ASIC de commutation pour atteindre les vitesses accrues tout en réduisant la consommation d’énergie. Cette piste est en cours de développement dans le Forum d’Internetworking optique (Optical Internetworking Forum, OIF). L’OIF discute maintenant des technologies qui pourraient être les mieux adaptées au « prochain taux », avec de nombreuses personnes qui soutiennent un doublement jusqu’à 200G. D’autres options comprennent plus de lignes, peut-être 32, car certains pensent que plus de lignes et des taux de lignes plus élevés seront nécessaires pour suivre le rythme de la demande réseau à un coût de réseau abordable.

La seule prévision sûre est que l’infrastructure de câblage doit disposer de la flexibilité intégrée pour prendre en charge vos futures topologies de réseau et exigences de liaison. Alors que les astronomes ont longtemps affirmé que chaque photon compte pendant que les concepteurs réseau cherchent à réduire l’énergie par bit à quelques pJ/bit⁹, la conservation à tous les niveaux est importante. Un câblage haute performance aidera à réduire les frais généraux du réseau.

Connecteurs MPO

Jusqu’à récemment, la principale méthode de connexion des commutateurs et des serveurs au sein du data center impliquait un câblage organisé autour 12de -ou 24 fibres, généralement à l’aide de connecteurs MPO. L’introduction de la technologie octale (huit lignes de commutation par port de commutation) permet aux data centers de faire correspondre le nombre accru d’E/S ASIC (actuellement 256 par commutateur ASIC) avec les ports optiques. Cela donne le nombre maximal d’E/S disponibles pour connecter des serveurs ou d’autres périphériques.

Les E/S optiques utilisent des connecteurs appropriés pour le nombre de lignes optiques utilisées. Un émetteur-récepteur 400G peut avoir un connecteur LC duplex unique avec une E/S optique 400G, il peut également avoir 4 X E/S optiques 100G nécessitant des 8 fibres. Les connecteurs duplex MPO12 ou peut-être 4 SN s’adaptent au boîtier de l’émetteur-récepteur et fournissent les 8 fibres dont cette application a besoin. Seize fibres sont nécessaires pour faire correspondre les E/S 8 électriques et optiques, préservant le radix de l’ASIC du commutateur. Les ports optiques peuvent être monomodes ou multimodes en fonction de la distance à laquelle la liaison est conçue.

La fréquence de la voie électrique détermine ensuite les capacités de sortie de l’interface optique. Le tableau 1 montre des exemples des normes/possibilités du module 400G (50G X 8).

Tableau 1 : Capacité 400G QSFP-DD avec lignes électriques 50G

Lorsque les débits de voie sont doublés jusqu’à 100G, les interfaces optiques suivantes deviennent possibles. Au moment de la rédaction de ce document, les normes de taux de voie 100G (802,3 ck) n’ont pas été respectées ; cependant, les premiers produits sont commercialisés et un grand nombre de ces possibilités sont en fait expédiées. Le tableau 2, présenté à l’ECOC 2020 par J. Maki (Juniper), montre l’intérêt précoce de l’industrie pour les modules 800G.

Tableau 2 : Capacité 800G QSFP-DD avec lignes électriques 100G

Connecteurs duplex

Limites de vitesse du connecteur ?

Les connecteurs n’imposent généralement pas de vitesse, contrairement à l’économie. Les technologies optiques ont été initialement développées et déployées par des prestataires de services qui disposaient des moyens financiers et des demandes en bande passante nécessaires pour soutenir leur développement, ainsi que par les liaisons longue distance les plus économiquement reliées en utilisant le plus petit nombre de fibres optiques. Aujourd’hui, la plupart des prestataires de services préfèrent la technologie de connecteur simplex ou duplex couplée à des protocoles de transport optique qui utilisent des technologies de connecteur à fibre unique comme LC ou SC.

Cependant, ces solutions longue distance peuvent être trop coûteuses, en particulier lorsqu’il y a des centaines ou des milliers de liaisons et des distances de liaison plus courtes à parcourir ; les deux conditions sont typiques d’un data center. Par conséquent, les data centers déploient souvent une optique parallèle. Étant donné que les émetteurs-récepteurs parallèles offrent un coût inférieur par Gigabit, la connectivité basée sur MPO est une bonne option sur des distances plus courtes. Ainsi, les choix de connecteurs actuels ne sont pas tant motivés par la vitesse, mais plus par le nombre de voies de données qu’ils peuvent prendre en charge, l’espace qu’ils occupent et l’impact du prix sur les émetteurs-récepteurs et les technologies de commutation.

Dans l’analyse finale, la gamme d’émetteurs-récepteurs optiques et de connecteurs optiques s’élargit, grâce à une grande variété de conceptions de réseau. Les data centers Hyperscale peuvent choisir de mettre en œuvre une conception optique très personnalisée ; étant donné l’ampleur de ces acteurs du marché, les organismes de normalisation et les OEM réagissent souvent en développant de nouvelles normes et opportunités de marché. Par conséquent, l’investissement et l’échelle sont à la pointe de l’industrie dans de nouvelles directions et les conceptions de câblage évoluent pour prendre en charge ces nouvelles exigences.

Ressources supplémentaires utiles pour la chaîne DC

À première vue, le domaine des partenaires d’infrastructure potentiels qui s’attaquent à votre entreprise semble assez encombré. Il n’y a pas de pénurie de fournisseurs prêts à vous vendre des fibres optiques et de la connectivité. Mais lorsque vous vous rapprochez et réfléchissez à ce qui est essentiel pour la réussite à long terme de votre réseau, les choix commencent à se réduire. C’est parce qu’il faut plus que de la fibre et de la connectivité pour alimenter l’évolution de votre réseau... beaucoup plus. C’est là que CommScope se démarque.