Bộ nhớ LPDDR là chìa khóa cho hiệu suất AI trên thiết bị

Bộ nhớ LPDDR là chìa khóa cho hiệu suất AI trên thiết bị

Bài viết này thiết lập bộ nhớ LPDDR là điều cần thiết để cho phép suy luận AI tốc độ cao, tiết kiệm năng lượng.

Kể từ khi được giới thiệu lần đầu tiên vào năm 2006, mỗi thế hệ LPDDR mới đã cung cấp băng thông và dung lượng cần thiết cho một sự thay đổi lớn trong trải nghiệm người dùng di động. Một lần nữa, LPDDR đang dẫn đầu trong một sự thay đổi lớn khác, vì thế hệ tiếp theo của các ứng dụng AI tổng quát sẽ được tích hợp vào điện thoại di động và máy tính xách tay của chúng ta.

AI trên điểm cuối là suy luận mạnh mẽ. Quá trình sử dụng các mô hình AI được đào tạo để đưa ra dự đoán hoặc quyết định. Cần có công nghệ bộ nhớ chuyên dụng với hiệu suất cao hơn. Điều này được điều chỉnh cho phù hợp với nhu cầu cụ thể của thiết bị điểm cuối. Bộ nhớ để suy luận AI trên điểm cuối cần đạt được sự cân bằng phù hợp giữa băng thông. Công suất, công suất và sự nhỏ gọn của hệ số hình thức

LPDDR5 và LPDDR5X, là các tiện ích mở rộng tùy chọn, là các bản cập nhật mới nhất cho tiêu chuẩn LPDDR5X. Nó cung cấp tốc độ dữ liệu lên đến 8.533 Gbps, giúp tăng đáng kể tốc độ và hiệu suất. So với bộ nhớ DDR5, LPDDR5 / 5X giới hạn chiều rộng của bus dữ liệu ở mức 32 bit, cùng với việc tăng tốc độ dữ liệu. So với xung nhịp nửa tốc độ của LPDDR4, với tính năng Tỷ lệ tần số điện áp động mới, LPDDR5 với tốc độ dữ liệu cao hơn được giữ ở cùng ngưỡng nhiệt như các thiết bị dựa trên LPDDR4.

Xem xét kích thước của điện thoại di động, cùng với yêu cầu bộ nhớ cao hơn cho các ứng dụng nâng cao, LPDDR5X có thể hỗ trợ dung lượng lên đến 64GB bằng cách sử dụng DRAM nhiều khuôn trong gói nhiều khuôn. Nếu sử dụng INT4, một gói LPDDR5X có kích thước x64 với hai thiết bị LPDDR5X trên mỗi gói, cung cấp tổng băng thông là 68GB/s, vì vậy mô hình LLaMa 2 có thể chạy suy luận với tốc độ 19 mã thông báo mỗi giây.

Do nhu cầu cao hơn về bộ nhớ hiệu suất, chúng ta đang thấy LPDDR5 phát triển trên thị trường, với các nhà sản xuất lớn công bố mở rộng hơn nữa LPDDR5 như LPDDR5T, với T là viết tắt của Turbo LPDDR5T tăng hiệu suất lên 9,6 Gbps, dẫn đến tổng băng thông là 76,8 GB / s trong các gói x64 với nhiều LPDDR5T.

Với mức tiêu thụ điện năng thấp và khả năng băng thông cao, LPDDR5 là một lựa chọn bộ nhớ tuyệt vời không chỉ cho các thiết bị di động hiện đại. Nhưng nó cũng tuyệt vời cho suy luận AI trên các điểm cuối, nơi hiệu quả năng lượng và yếu tố hình thức nhỏ gọn là những yếu tố quan trọng cần xem xét.

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique. Duis cursus, mi quis viverra ornare, eros dolor interdum nulla, ut commodo diam libero vitae erat. Aenean faucibus nibh et justo cursus id rutrum lorem imperdiet. Nunc ut sem vitae risus tristique posuere.

Win a Raspberry Pi!

Answer 5 questions for your chance to win!
Question 1

What color is the sky?

Tìm kiếm bằng danh mục

Chọn danh mục