Ο υπολογιστής σας χρειάζεται λιγότερη μνήμη από όση πιθανώς νομίζετε για να τρέξει ένα τοπικό chatbot τεχνητής νοημοσύνης. Για μικρά μοντέλα με 7-8 δισεκατομμύρια παραμέτρους, αρκεί ένας υπολογιστής με 16GB RAM και μια κάρτα γραφικών με 8GB VRAM. Για παράδειγμα, το Llama 3.1 8B λειτουργεί κανονικά με αυτές τις προδιαγραφές.
Ωστόσο, αν επιθυμείτε να χρησιμοποιήσετε πιο προηγμένα μοντέλα, όπως αυτά που βρίσκονται πίσω από το ChatGPT, θα χρειαστείτε τουλάχιστον 32GB RAM και κάρτα γραφικών με 16GB VRAM ή μεγαλύτερη. Αυτά τα μοντέλα διαθέτουν εκατομμύρια περισσότερες παραμέτρους και απαιτούν σημαντικά μεγαλύτερη υπολογιστική ισχύ.
Η απαιτούμενη μνήμη ενός μοντέλου αυξάνεται σχεδόν γραμμικά με το μέγεθός του. Για παράδειγμα, το μοντέλο Llama 3.3 70B χρειάζεται 43GB αποθηκευτικού χώρου όταν συμπιεστεί. Η ταχύτητα απόκρισης του chatbot εξαρτάται κυρίως από τη μνήμη και την ταχύτητά της στη σύνδεση με τον επεξεργαστή, και λιγότερο από την επεξεργαστική ισχύ. Η μνήμη της κάρτας γραφικών είναι σημαντικά ταχύτερη από τη RAM του υπολογιστή, γι’ αυτό τα μοντέλα που χωράνε σε αυτήν λειτουργούν ταχύτερα.
Εγγραφείτε στο ενημερωτικό μας δελτίο!