Σχεδιασμός Αποδοτικών Συστημάτων Υγρής Ψύξης για Κέντρα Δεδομένων

Sep 02, 2024

Αφήστε ένα μήνυμα

 

I Στοιχεία του συστήματος ψύξης του Data Center

 

Η πλειονότητα της ηλεκτρικής ενέργειας που καταναλώνεται από τον εξοπλισμό πληροφορικής μετατρέπεται σε απορριπτόμενη θερμότητα. Για να διασφαλιστεί ότι ο εξοπλισμός πληροφορικής λειτουργεί εντός του κατάλληλου εύρους θερμοκρασιών, τα κέντρα δεδομένων είναι εξοπλισμένα με συστήματα ψύξης και απαγωγής θερμότητας, συμπεριλαμβανομένων ψυκτών, πύργων ψύξης και κλιματιστικών μονάδων ακριβείας, που απομακρύνουν την απορριπτόμενη θερμότητα από το κέντρο δεδομένων. Η διαδικασία μεταφοράς θερμότητας απεικονίζεται στο Σχήμα 1. Τα βασικά σημεία κατανάλωσης ενέργειας περιλαμβάνουν ψύκτες, πύργους ψύξης, αντλίες και μονάδες κλιματισμού ακριβείας.

 

 Heat Transfer in Data Centers

▲ Εικόνα 1: Μεταφορά θερμότητας σε κέντρα δεδομένων

 

Επί του παρόντος, τα κύρια μέσα μεταφοράς θερμότητας στα κέντρα δεδομένων είναι ο αέρας ή το νερό. Το νερό, με ειδική θερμοχωρητικότητα σταθερής πίεσης 1.004 kJ/(KgK) και ειδική θερμοχωρητικότητα 4200 kJ/(KgK), έχει ικανότητα μεταφοράς θερμότητας περίπου 1,000 φορές μεγαλύτερη από τον αέρα. Επομένως, η χρήση του νερού ως ψυκτικού μέσου είναι μια αποτελεσματική μέθοδος εξοικονόμησης ενέργειας στο σχεδιασμό συστημάτων ψύξης. Για τη βελτίωση της ενεργειακής απόδοσης των συστημάτων ψύξης, χρησιμοποιούνται μέτρα όπως θερμαντικά σώματα υψηλής απόδοσης και ακριβής παροχή αέρα για τη σύλληψη και τη μεταφορά θερμότητας.

 

Στον κλιματισμό ακριβείας, η ψύξη έχει εξελιχθεί από δωμάτια σε επίπεδο δωματίου σε αρθρωτούς χώρους δεδομένων και ψύξη σε επίπεδο rack, πλησιάζοντας πιο κοντά στην πηγή θερμότητας και μειώνοντας την κατανάλωση ενέργειας στη μεταφορά ψυκτικού. Η παραγωγή πηγών ψύξης έχει προχωρήσει από την ψύξη με αέρα στην ψύξη με νερό και τη φυσική ψύξη, βελτιώνοντας την απόδοση της εξωτερικής μεταφοράς θερμότητας.

 

Cooling with rear door heat exchangers

 

Τα παραδοσιακά συστήματα ψύξης διαθέτουν ανεξάρτητα συστήματα ελέγχου και στρατηγικές λειτουργίας για κλιματισμό ακριβείας, ψυκτικά συγκροτήματα και πύργους ψύξης, βελτιστοποιώντας την απόδοση σε τοπικό επίπεδο. Ωστόσο, η συνολική απόδοση ψύξης απαιτεί ακόμα βελτίωση.

 

Μπορούν να επιτευχθούν συστηματικές βελτιώσεις με τη διαχείριση από άκρο σε άκρο και τον ακριβή έλεγχο της συλλογής θερμότητας, την προετοιμασία της πηγής ψύξης και την εξωτερική μεταφορά θερμότητας, μειώνοντας έτσι την κατανάλωση ενέργειας του συστήματος ψύξης.

 

 

II Σχεδιασμός Συστήματος Υγρής Ψύξης από άκρη σε άκρη

 

1. Σχεδιασμός Υγρής Ψύξης σε Επίπεδο Πίνακα

Με την εκθετική αύξηση της ζήτησης υπολογιστικής ισχύος, η ενοποίηση και η κατανάλωση ενέργειας των CPU και των GPU έχουν αυξηθεί σημαντικά, με την κατανάλωση ενέργειας ενός chip να φτάνει τα 300 W. Οι παραδοσιακές ψύκτρες με τσιπ και οι λύσεις ψύξης αέρα έχουν αντιμετωπίσει προβλήματα ψύξης. Δεδομένου ότι το τσιπ είναι η πηγή θερμότητας, η κύρια πρόκληση για το σύστημα ψύξης του κέντρου δεδομένων είναι να αφαιρέσει αποτελεσματικά τη θερμότητα από το εσωτερικό του τσιπ.

 

Από την άποψη της απαγωγής θερμότητας, η θερμότητα που παράγεται από το τσιπ πρέπει πρώτα να μεταφερθεί στην ψύκτρα σε επίπεδο πλακέτας. Οι πιο αποτελεσματικές λύσεις ψύκτρας θα διευκολύνουν την καλύτερη συλλογή θερμότητας.

 

Για μεμονωμένα τσιπ με κατανάλωση ισχύος κάτω από 200 W και εξοπλισμό πληροφορικής με κατανάλωση ισχύος κάτω από 20 kW ανά rack, ο αέρας μπορεί να συνεχίσει να χρησιμοποιείται ως μέσο μεταφοράς θερμότητας. Οι ψύκτρες σωλήνων θερμότητας και οι ψύκτρες θαλάμου ατμού (VC), σε συνδυασμό με υλικά TIM υψηλής θερμικής αγωγιμότητας (όπως φύλλα γραφίτη/γραφένιο), μειώνουν αποτελεσματικά τη θερμική αντίσταση μεταξύ του τσιπ και της βάσης της ψύκτρας, βελτιώνοντας την απόδοση της ψύκτρας.

 

Για μεμονωμένα τσιπ με κατανάλωση ισχύος άνω των 200 W και εξοπλισμό πληροφορικής με κατανάλωση ισχύος άνω των 20 kW ανά rack, ο αέρας δεν επαρκεί πλέον ως μέσο μεταφοράς θερμότητας και πρέπει να χρησιμοποιείται υγρό ψυκτικό για ψύξη. Η τεχνολογία υγρόψυκτης ψυχρής πλάκας είναι επί του παρόντος μια ώριμη λύση για ψύξη τσιπ σε επίπεδο σανίδας. Μια υγρόψυκτη ψυχρή πλάκα αποτελείται από συνδέσμους εισόδου και εξόδου, ένα άνω κάλυμμα και μια πλάκα βάσης, τα οποία συνδέονται με συγκόλληση κενού για να σχηματίσουν έναν σφραγισμένο θάλαμο ανταλλαγής υγρής θερμότητας. Ο θάλαμος περιλαμβάνει θαλάμους διανομής και κανάλια ροής διαφόρων πλάτους, τα οποία ελέγχουν τη ροή του υγρού και αυξάνουν τους στροβιλισμούς, ενισχύοντας τις δυνατότητες τοπικής ψύξης και εξαλείφοντας τα καυτά σημεία που προκαλούνται από τσιπ υψηλής ισχύος. Η εσωτερική δομή φαίνεται στο σχήμα 2.

 

Cross-Section of a Liquid-Cooled Cold Plate

▲ Σχήμα 2: Διατομή Ψυχρού Πλάκου με Υγρό Ψύξη

 

Διαφορετικοί τύποι πλακών στο ίδιο ράφι έχουν διαφορετικά επίπεδα ισχύος και θερμά σημεία, αλλά η πίεση τροφοδοσίας στον σύνδεσμο εισόδου της γραμμής παροχής υγρού είναι γενικά η ίδια, απαιτώντας τον θάλαμο διανομής της ψυχρής πλάκας για τον έλεγχο του στραγγαλισμού. Για πλακέτες με χαμηλότερη κατανάλωση ισχύος τσιπ, το γκάζι μειώνει τη ροή του ψυκτικού. Στην πράξη, οι υγρόψυκτες ψυχρές πλάκες καλύπτουν τη CPU, τη μνήμη και άλλα εξαρτήματα υψηλής ισχύος, αλλά εξαρτήματα όπως οι αντιστάσεις και οι πυκνωτές, που δεν καλύπτονται, παράγουν υπολειπόμενη θερμότητα που απαιτεί ψύξη με ανεμιστήρα. Αυτό έχει ως αποτέλεσμα έναν συνδυασμό ψύξης υγρού και αέρα εντός του συστήματος, αφήνοντας περιθώρια βελτίωσης στην απόδοση ψύξης.

 

Με τη χρήση υλικών TIM για την κάλυψη όλων των εξαρτημάτων κατά τη διάρκεια του σχεδιασμού ψυχρής πλάκας, μπορεί να επιτευχθεί 100% υγρή ψύξη τεχνικά, αλλά αυτό αυξάνει το κόστος και την πολυπλοκότητα της ψυχρής πλάκας. Ενώ επιδιώκεται η αποτελεσματική ψύξη, πρέπει επίσης να λαμβάνεται υπόψη η αρχική επένδυση κόστους. Εάν οι τύποι σανίδων κόμβων είναι ομοιόμορφοι, μπορεί να εξεταστεί το ενδεχόμενο μιας πλακέτας πλήρως καλυμμένης, με το αρχικό κόστος να αντισταθμίζεται από την κλιμάκωση της παραγωγής, επιτυγχάνοντας μια ισορροπία μεταξύ εξοικονόμησης ενέργειας και επένδυσης.

 

cold plate

 

Το απιονισμένο νερό χρησιμοποιείται συνήθως ως ψυκτικό στην υγρή ψύξη λόγω της υψηλής ειδικής θερμικής του ικανότητας, επιτρέποντας την ταχεία απορρόφηση θερμότητας ενώ είναι μη διαβρωτικό, επομένως δεν επηρεάζει την αξιοπιστία του αγωγού. Η υγρή ψύξη ψυχρής πλάκας είναι έμμεση, με το τσιπ να μην έρχεται σε άμεση επαφή με το υγρό ψυκτικό, με αποτέλεσμα την υψηλή αξιοπιστία και την ώριμη τεχνολογία.

 

Ωστόσο, υπάρχει θερμική αντίσταση μεταξύ του τσιπ και του υγρού ψυκτικού υγρού, με αποτέλεσμα ορισμένοι κατασκευαστές να προωθούν λύσεις ψύξης με εμβάπτιση. Στην ψύξη με εμβάπτιση, ο εξοπλισμός πληροφορικής βυθίζεται σε κυκλοφορούν υγρό, με το τσιπ να έρχεται σε απευθείας επαφή με το ψυκτικό, μειώνοντας τη θερμική αντίσταση ενώ παράλληλα αξιοποιεί την αλλαγή φάσης για να αφαιρέσει περισσότερη θερμότητα, καθιστώντας το ένα νέο hotspot στην υγρή ψύξη. Τα φθοριούχα υγρά χρησιμοποιούνται συνήθως ως ψυκτικά στην ψύξη με εμβάπτιση, αλλά το υψηλό κόστος τους αποτελεί εμπόδιο για μεγάλης κλίμακας εμπορική χρήση.

 

2. Υγρό Ψύξη σε Επίπεδο Rack

Στα κέντρα δεδομένων, ο εξοπλισμός πληροφορικής είναι διατεταγμένος από racks, τα οποία φιλοξενούν εξοπλισμό πληροφοριών για τα κέντρα δεδομένων, όπως διακομιστές, συσκευές αποθήκευσης και διακόπτες δικτύου. Ενώ η ψύξη σε επίπεδο πλακέτας αφαιρεί θερμότητα από μεμονωμένες συσκευές IT, η ψύξη σε επίπεδο rack συλλέγει και μεταφέρει τη θερμότητα σε εξωτερικούς χώρους. Τα βασικά εξαρτήματα στην ψύξη υγρού σε επίπεδο rack περιλαμβάνουν πολλαπλές εισόδου και εξόδου, μονάδες παρακολούθησης, αισθητήρες θερμοκρασίας, ηλεκτρομαγνητικές βαλβίδες και βαλβίδες αντεπιστροφής, όπως φαίνεται στο Σχήμα 3.

 

Rack-Level Liquid Cooling Configuration

▲ Εικόνα 3: Διαμόρφωση υγρού ψύξης σε επίπεδο rack

 

Η πολλαπλή συνδέεται εξωτερικά με τη μονάδα διανομής υγρού ψύξης σε επίπεδο δωματίου και εσωτερικά μέσω ταχείας σύνδεσης στους συνδέσμους εισόδου και εξόδου της υγρόψυκτης ψυχρής πλάκας, διευκολύνοντας τη μεταφορά της θερμότητας του συστήματος στο εξωτερικό της σχάρας.

Οι κύριες λειτουργίες της ηλεκτρομαγνητικής βαλβίδας και της βαλβίδας αντεπιστροφής είναι ο έλεγχος της ροής του υγρού και ο περιορισμός της έκτασης της αστοχίας σε ένα μόνο ράφι σε περίπτωση διαρροής.

 

Ο πρωταρχικός ρόλος του αισθητήρα θερμοκρασίας είναι να παρακολουθεί συνεχώς τις θερμοκρασίες του νερού εισόδου και εξόδου. Χρησιμοποιώντας τη διαφορά θερμοκρασίας μεταξύ του νερού εισόδου και εξόδου, ελέγχει το άνοιγμα της ηλεκτρομαγνητικής βαλβίδας, ελέγχοντας έτσι τη ροή του νερού και διασφαλίζοντας ότι η θερμότητα και η ροή ταιριάζουν.

Το σύστημα υγρής ψύξης χρησιμοποιεί απιονισμένο νερό ως ρευστό εργασίας, το οποίο θεωρητικά δεν θα προκαλέσει βραχυκύκλωμα.

 

Ωστόσο, οι πλακέτες κυκλωμάτων ή τα ηλεκτρονικά εξαρτήματα έχουν συχνά σωματίδια σκόνης και όταν το απιονισμένο νερό έρχεται σε επαφή με την πλακέτα κυκλώματος, μπορεί να προκαλέσει βραχυκύκλωμα. Αυτό είναι ένα από τα σημαντικότερα εμπόδια και ανησυχίες στην εφαρμογή της υγρής ψύξης. Για να αντιμετωπιστεί το ζήτημα της διαρροής ψυχρής πλάκας, χρησιμοποιούνται μέτρα όπως ο ποιοτικός έλεγχος, η παρακολούθηση μικροδιαρροών και η πρόληψη ξαφνικών μεγάλων διαρροών.

 

Ο ποιοτικός έλεγχος χωρίζεται σε στάδια εφαρμογής παραγωγής και εγκατάστασης. Στο στάδιο της παραγωγής, διασφαλίζεται η αξιοπιστία της διαδικασίας, το 100% των ψυχρών πλακών υποβάλλονται σε δοκιμή πίεσης και ο υπέρηχος χρησιμοποιείται για τυχαία δειγματοληψία και ανίχνευση ελαττωμάτων. Τα εξαρτήματα ταχείας σύνδεσης πρέπει να είναι επικυρωμένα για αποτελεσματική εισαγωγή και μακροπρόθεσμη αξιοπιστία. Στο στάδιο της εφαρμογής εγκατάστασης, οι δευτερεύουσες σωληνώσεις πρέπει να ξεπλυθούν πριν από την εγκατάσταση για να αποφευχθεί η πρόκληση ακαθαρσιών από εμπλοκές στα εξαρτήματα ταχείας σύνδεσης, εμπλοκές ελατηρίου ή αστοχίες ελαστικού δακτυλίου, αποτρέποντας έτσι διαρροές κατά τη λειτουργία. Τα παραπάνω μέτρα στοχεύουν στην όσο το δυνατόν μεγαλύτερη αποτροπή διαρροών.

 

Rack-Level

 

Εάν μια ψυχρή πλάκα εμφανίσει μικροδιαρροή, πρέπει να είναι ανιχνεύσιμη και να ενεργοποιήσει συναγερμό για να ζητήσει από το προσωπικό συντήρησης να την επισκευάσει αμέσως. Υπάρχουν δύο μέθοδοι ανίχνευσης: η μία είναι η χρήση ενός αισθητήρα εμβάπτισης στο νερό, ο οποίος είναι εγκατεστημένος στο δίσκο σταγόνων. Η κύρια λειτουργία του δίσκου σταγόνων είναι να διευκολύνει τον εντοπισμό διαρροών και να αποτρέψει τη διαρροή υγρού έξω από το ράφι, μειώνοντας την εξάπλωση των βλαβών.

 

Ενώ η ανίχνευση αισθητήρα εμβάπτισης νερού είναι ώριμη και αξιόπιστη, απαιτεί το υγρό που διαρρέει να συσσωρεύεται στο δίσκο σταγόνων αφού ρέει κατά μήκος της πλακέτας υλικού και των εξαρτημάτων ραφιών, οπότε η συνολική ποσότητα υγρού που έχει διαρρεύσει μπορεί να είναι σημαντική και μπορεί να έχει ήδη καταστρέψει την πλακέτα και εξαρτήματα κατά τη διάρκεια της ροής.

 

Η άλλη μέθοδος είναι η παρακολούθηση σε πραγματικό χρόνο. Μια ουσία ιχνηθέτη με χαμηλό σημείο βρασμού αναμιγνύεται στο λειτουργικό ρευστό και σε περίπτωση διαρροής, ένας αισθητήρας αερίου ενσωματωμένος στην πλακέτα την ανιχνεύει. Οι αιφνίδιες διαρροές μεγάλης κλίμακας είναι σπάνιες αλλά έχουν μεγάλη επίδραση. Για την αποφυγή τέτοιων συμβάντων, τοποθετούνται βαλβίδες αντεπιστροφής στην είσοδο και την έξοδο της πολλαπλής στο ράφι. Αυτές οι βαλβίδες αντεπιστροφής κλείνουν αυτόματα όταν ανιχνευτεί σημαντική διαφορά πίεσης.

 

3. Σχεδιασμός υγρού ψύξης σε επίπεδο δωματίου

Η ψύξη σε επίπεδο δωματίου έχει σχεδιαστεί για να μεταφέρει τη θερμότητα που εξάγεται από τα ράφια στους εξωτερικούς χώρους. Η λύση υγρής ψύξης σε επίπεδο δωματίου περιλαμβάνει ένα υγρόψυκτο αρθρωτό δωμάτιο δεδομένων, ψυκτικά συγκροτήματα, αντλίες νερού, πύργους ψύξης, σωληνώσεις και άλλα, όπως φαίνεται στο Σχήμα 4.

 

Room-Level Liquid Cooling Configuration

▲ Εικόνα 4: Διαμόρφωση υγρού ψύξης σε επίπεδο δωματίου

 

Συνήθως, ένας υγρόψυκτος αρθρωτός χώρος δεδομένων περιέχει δύο εφεδρικές μονάδες διανομής ψύξης υγρού (CDU), 10-20 rack IT, 1-2 κλιματιστικά σε επίπεδο σειράς και εξοπλισμό τροφοδοσίας, όπως φαίνεται στο Σχήμα 4.

 

Η μονάδα διανομής υγρού ψύξης (CDU) είναι υπεύθυνη για τη διανομή του ρευστού εργασίας μεταξύ υγρόψυκτων ραφιών IT, παρέχοντας λειτουργίες δευτερεύουσας πλευρικής διανομής ροής, ελέγχου πίεσης, φυσικής απομόνωσης και λειτουργίες κατά της συμπύκνωσης. Κατά τη διάρκεια της πραγματικής λειτουργίας, το CDU παρέχει μια συγκεκριμένη ροή και θερμοκρασία νερού ψύξης στα υγρόψυκτα rack IT, τα οποία εισέρχονται στις υγρόψυκτες ψυχρές πλάκες μέσω της πολλαπλής, αφαιρεί τη θερμότητα που παράγεται από επεξεργαστές και βασικά εξαρτήματα και επιστρέφει τη θερμαινόμενη ψύξη νερό στη μονάδα ενδιάμεσης εναλλαγής θερμότητας του CDU. Στη συνέχεια, η θερμότητα απελευθερώνεται στον υπαίθριο αγωγό νερού επιστροφής και αυτό το μέρος της θερμότητας εκκενώνεται στο εξωτερικό περιβάλλον μέσω ψυκτών ή ξηρών ψυκτών, ολοκληρώνοντας τη διαδικασία διαχείρισης θερμότητας για τους υγρόψυκτους διακομιστές.

 

Το CDU ρυθμίζει τη θερμοκρασία και τη ροή του ψυκτικού που εισέρχεται στις υγρόψυκτες ψυχρές πλάκες, παρέχοντας έτσι ψύξη στα rack IT και κατανέμοντας την ψυκτική ισχύ. Η εσωτερική μονάδα ανταλλαγής θερμότητας παίζει επίσης ρόλο στην απομόνωση του κυκλώματος παροχής υγρού μεταξύ του αρθρωτού δωματίου δεδομένων και του εξωτερικού περιβάλλοντος. Λόγω του κρίσιμου ρόλου του, το CDU συνήθως χρησιμοποιεί μια διαμόρφωση πλεονασμού 1+1. Το CDU ελέγχει τη ροή του υγρού ψυκτικού μέσου ανιχνεύοντας τις θερμοκρασίες του νερού εισόδου και εξόδου και την πίεση παροχής και ρυθμίζοντας την ταχύτητα της αντλίας νερού παροχής.

 

Room-Level Liquid Cooling

 

Επί του παρόντος, τα περισσότερα συστήματα ελέγχου CDU δεν συνδέονται με τους αισθητήρες θερμοκρασίας εντός των ραφιών, με αποτέλεσμα τον σχετικά αδρό έλεγχο. Για την αντιμετώπιση αυτού του ζητήματος, ορισμένες εφαρμογές έχουν αντικαταστήσει τα κεντρικά CDU με κατανεμημένα CDU, τα οποία είναι ενσωματωμένα στα rack. Με αυτόν τον τρόπο, οι ρυθμίσεις ροής CDU βασίζονται εξ ολοκλήρου στη λειτουργική κατάσταση και τις διακυμάνσεις της κατανάλωσης ισχύος του rack. Τα κεντρικά CDU είναι κατάλληλα για σενάρια με μεγάλο αριθμό υγρόψυκτων rack που μπορούν να ενοποιηθούν σε ένα αρθρωτό δωμάτιο δεδομένων, ενώ τα κατανεμημένα CDU είναι καλύτερα κατάλληλα για καταστάσεις με μόνο 2-3 υγρόψυκτα rack, διευκολύνοντας την ανάπτυξη.

 

 

III Συμπέρασμα

 

Υπό την καθοδήγηση των στόχων διπλού άνθρακα, τα κέντρα δεδομένων έχουν μια διπλή αποστολή: αφενός, μέσω εντατικών και κλιμακωμένων λειτουργιών, παρέχουν επαρκή υπολογιστική ισχύ για την ψηφιακή οικονομία. Η ευρεία εφαρμογή ραφιών υψηλής πυκνότητας και τσιπ υψηλής ισχύος, με γνώμονα την αποτελεσματικότητα της υπολογιστικής ισχύος του κέντρου δεδομένων, έχει προκαλέσει την παραδοσιακή ψύξη αέρα να αντιμετωπίζει σημεία συμφόρησης. Από την άλλη πλευρά, χρησιμοποιώντας εναλλάκτες θερμότητας υψηλής απόδοσης, υγρή ψύξη και φυσική ψύξη από ξηρούς ψύκτες, τα κέντρα δεδομένων μπορούν να μειώσουν τη δική τους κατανάλωση ενέργειας.

 

Μετά την υιοθέτηση της υγρής ψύξης, η απόδοση ψύξης βελτιώνεται σημαντικά, με την κατανάλωση ενέργειας των συστημάτων ψύξης να μειώνεται από 37% σε περίπου 10%, με αποτέλεσμα σημαντική εξοικονόμηση ενέργειας και μείωση του άνθρακα. Εάν το 50% των νεόκτιστων κέντρων δεδομένων σε εθνικό επίπεδο υιοθετήσουν υγρή ψύξη, μπορούν να εξοικονομηθούν 45 δισεκατομμύρια kWh ηλεκτρικής ενέργειας ετησίως και 3 εκατομμύρια τόνοι CO2 οι εκπομπές μπορούν να μειωθούν.

 

 

Αποστολή ερώτησής