Tóm tắt

Bài viết này trình bày cách Liên kết nối tiếp đa phương tiện Gigabit (GMSL)^™) công nghệ có thể được kết nối liền mạch với miền Ethernet để tạo ra video đa camera tốc độ cao và độ trễ thấp hoàn chỉnh tuân thủ RFC chuỗi phát trực tuyến. Để hưởng lợi từ hiệu suất cao, tiết kiệm năng lượng và kiến trúc linh hoạt, toàn bộ quy trình phát trực tuyến video tốc độ cao đã được thực hiện bằng cách tận dụng tài nguyên FPGA.

Giới thiệu

Tự động hóa công nghiệp thông qua robot tự động¹ và lái xe tự động² Các khái niệm được coi là một trong những công nghệ mới nổi quan trọng nhất của những năm 2020. Một trong những thành phần quan trọng của việc triển khai đó là truyền video, hiển thị thông tin thời gian thực về môi trường xung quanh robot hoặc phương tiện. Bằng cách đó, Liên kết nối tiếp đa phương tiện Gigabit (GMSL^™) Công nghệ đóng vai trò là trụ cột quan trọng có thể cung cấp liên kết video tốc độ cao hiệu quả về chi phí qua một dây duy nhất giữa nhiều mô-đun máy ảnh và liên quan đến xử lý máy chủ hệ thống trên chip (SoC). Mặt khác, vì hầu hết các thiết bị được sử dụng trong các yếu tố tự trị khác nhau đều được nối mạng, tiêu chuẩn Ethernet đã trở thành một phương pháp truyền dữ liệu quan trọng bằng cách hiển thị các biến thể triển khai tốc độ cao. Do đó, công nghệ phát trực tuyến video đóng một vai trò quan trọng bằng cách đảm bảo tốc độ và đường ống truyền tiêu chuẩn của các pixel của camera giữa SoC máy chủ và các thiết bị nối mạng khác từ môi trường. Các khía cạnh quan trọng nhất được xem xét để phát trực tuyến video là các hành vi tốc độ cao và độ trễ thấp. Bằng cách này, thiết bị FPGA đại diện cho lựa chọn tốt nhất do tính linh hoạt trong xử lý và triển khai song song của nó. Bài viết này mô tả mức độ hiệu quả cao của đường truyền video đến Dịch gói mạng IP và phân phối video dựa trên giao thức truyền tải thời gian thực (RTP) có thể đạt được bằng cách tận dụng hoàn toàn tài nguyên FPGA. Để giới thiệu cách tiếp cận được trình bày, có thể sử dụng kịch bản phát trực tuyến video camera đa GMSL, dựa trên hiệu suất cao, độ trễ thấp và tiết kiệm chi phí ADRD8012-01Z Nền tảng điện toán biên.

Công nghệ GMSL và đặc điểm kỹ thuật RTP

Công nghệ GMSL của ADI đại diện cho một giải pháp SERDES chính có thể mở rộng và tiết kiệm chi phí được thiết kế để truyền dữ liệu video thời gian thực, thông tin điều khiển và cấp nguồn qua một cáp duy nhất. Nó đi kèm với hai biến thể kiến trúc: một cho liên kết nối tiếp và có độ tin cậy cao giữa các mô-đun camera và hệ thống SoC nhúng và một giữa SoC nhúng và thiết bị hiển thị. Được áp dụng rộng rãi trong lĩnh vực ô tô, công nghệ GMSL dựa trên camera hiện đóng vai trò là công nghệ quan trọng để lái xe tự động bằng cách cung cấp các liên kết video tốc độ cao hiệu quả từ nhiều khu vực của ô tô bằng cách sử dụng càng ít cáp càng tốt. Hơn nữa, nó cũng có lợi trong một số ứng dụng từ thị trường robot, công nghiệp, thiết bị đo đạc và chăm sóc sức khỏe.

Để có được bộ truyền dẫn một dây đã đề cập trước đó, công nghệ SERDES hiệu suất cao đã được xác định, có hai thiết bị là thành phần chính: bộ nối tiếp GMSL và bộ khử tuần tự GMSL. Trong bối cảnh camera, thiết bị serializer có vai trò dịch dữ liệu video song song tốc độ cao đến từ giao diện nối tiếp camera phiên bản 2 (CSI-2)³ giao diện đầu ra máy ảnh. Phần tử tiếp theo trong động cơ truyền động GMSL, liên kết nối tiếp tốc độ cao, có tốc độ lên đến 3 Gbps trong GMSL1, lên đến 6 Gbps trong GMSL2 và lên đến 12 Gbps trong GMSL3, sử dụng từng tùy chọn cáp: cáp đồng trục hoặc xoắn đôi được bảo vệ (STP). Cuối cùng, bộ giải tuần tự giải nén dữ liệu đến từ nhiều thiết bị tuần tự và sau đó dịch dữ liệu đó sang một hoặc nhiều giao diện đầu ra CSI-2. Để thực hiện việc truyền phân chia thời gian, các thiết bị GMSL sử dụng tính năng kênh ảo được đề xuất trong thông số kỹ thuật MIPI CSI-2. Mã định danh kênh ảo đại diện cho một cơ chế xen kẽ dữ liệu được đơn giản hóa cho phép người nhận dễ dàng diễn giải các khung hình nhận được từ nhiều nguồn video bằng cách sử dụng giá trị ID được chỉ định.

Hình 1 mô tả kết nối điển hình giữa bốn camera hỗ trợ GMSL và logic bộ thu CSI-2 được tích hợp trong vùng FPGA của Xilinx SoC, sử dụng bộ thu CSI-2 và I²Bộ điều khiển C để xử lý cả dữ liệu video và điều khiển.

RTP⁴ đại diện cho thông số kỹ thuật phổ biến nhất để phát video trực tiếp qua mạng IP. Nó thường dựa trên cơ chế truyền tải không kết nối có độ trễ thấp bằng cách sử dụng biểu đồ dữ liệu người dùng giao thức (UDP)⁵ và xác định một số sơ đồ gói để bao gồm nhiều định dạng tải trọng video. Hình 2 minh họa gói RTP chung cho video không nén,⁶ có một vị tướng Tiêu đề RTP, tiêu đề tải trọng và một số dòng video một phần hoặc toàn bộ cụ thể. Vì giao thức RTP đóng vai trò như một triển khai lớp ứng dụng, nó có tất cả các trường bắt buộc có thể xác định sâu các đặc điểm của dữ liệu tải trọng, trong trường hợp này là dòng, loại video hoặc trường cuối khung hình là một số trường dành riêng cho ứng dụng.

Ngăn xếp mạng không kết nối sử dụng FPGA so với hệ thống con CPU

Khi khả năng tự chủ phát triển vào những năm 2020, nhu cầu rất lớn về các giải pháp sáng tạo ở một số thị trường như lái xe tự động hoặc tự động hóa công nghiệp thông qua robot. Bên cạnh việc sử dụng mạng cảm biến đa dạng và thuật toán AI phức tạp, truyền phát video tốc độ cao và độ trễ thấp đóng vai trò là một trong những phần quan trọng khi nói về lái xe tự động hoặc robot thông minh như hình người. Trong trường hợp này, việc phân phối dữ liệu video theo thời gian thực đại diện cho khía cạnh quan trọng nhất cần được xem xét hoặc dẫn đến sự cần thiết của việc dựa vào các phương pháp truyền tải không kết nối. Thuộc tính RTP đã đề cập trước đây đóng vai trò là trụ cột chính khi nói về việc triển khai phát trực tuyến video thời gian thực, chủ yếu được thiết kế kết hợp với đặc điểm kỹ thuật truyền tải UDP và qua mạng IP.

Ngay cả khi phát trực tuyến video không kết nối dẫn đến mức tiêu thụ tài nguyên thấp hơn đáng kể và hiệu suất cao hơn so với các thiết kế hướng kết nối dựa trên ngăn xếp TCP/IP, nó có thể được cải thiện hơn nữa, vì việc phát trực tuyến video trong bối cảnh lĩnh vực ô tô và công nghiệp chủ yếu được thực hiện giữa các hệ thống nhúng có chứa kết nối phần cứng trực tiếp (HW) với các nguồn video. Cải tiến này có thể đạt được bằng cách sử dụng nhiều Các giải pháp HW như hệ thống con CPU hiệu suất cao được sử dụng trong các trung tâm dữ liệu. Mặc dù các thiết bị điện toán này có thể giải quyết các lỗ hổng về hiệu suất trong các quy trình phát trực tuyến video điển hình, nhưng chi phí và độ phức tạp của chúng khiến chúng không phù hợp với môi trường SoC nhúng, yêu cầu các thành phần được tối ưu hóa cho cả hiệu suất và hiệu suất năng lượng. Ngoài ra, các thiết bị GPU cung cấp một giải pháp thay thế cho điện toán hiệu suất cao, tận dụng các hoạt động song song cực lớn, nhưng với mức độ linh hoạt ở cấp độ HW thấp hơn.

Bằng cách này, FPGA có khả năng cấu hình lại cao đã trở thành một thành phần quan trọng khi nói về mạng hiệu suất cao và phát trực tuyến video thời gian thực. Để tối đa hóa hiệu suất điện toán biên, các SoC nhúng hiện tại kết hợp các hệ thống con CPU, tài nguyên FPGA và RAM trên một chip duy nhất. Như vậy, Những loại thiết bị này có thể đóng vai trò là tùy chọn tính toán tốt nhất để phát trực tuyến video thời gian thực, có khả năng nhận dữ liệu video, thực hiện dịch giữa các pixel video nhận được và các gói mạng và thực hiện phát trực tuyến video với xử lý CPU tối thiểu, được sử dụng cho cấu hình trường giao thức. Do đó, dữ liệu video hoàn chỉnh sang dịch gói mạng và phát trực tuyến video không kết nối có thể được thực hiện bằng cách cung cấp hiệu suất cao nhất có thể từ cả góc độ độ trễ và tốc độ dữ liệu, ngay cả khi một hoặc nhiều mô-đun camera được sử dụng. Để có được hiệu suất truyền tốt nhất và phù hợp với các tài nguyên FPGA có sẵn, thiết kế kiến trúc ngăn xếp mạng này có giao thức lớp ứng dụng tuân thủ yêu cầu nhận xét (RFC) đầy đủ và thiết kế có thể điều khiển phần mềm (SW) tối thiểu cho các thông số kỹ thuật của lớp truyền tải, mạng và liên kết dữ liệu. Qua đó, việc triển khai định tuyến IP chính thức truyền thống được thay thế bằng cấu hình trường thủ công và đơn giản hóa để gán địa chỉ IP.

Dịch tên miền video sang mạng

Như đã đề cập trước đây, công nghệ GMSL nhằm mục đích tuần tự hóa dữ liệu video đến từ nhiều mô-đun camera và sau đó xuất các luồng được nối qua triển khai tiêu chuẩn hóa như CSI-2 sang SoC nhúng. Để thực hiện sự kết nối, nó tận dụng kênh ảo xen kẽ cơ chế, sử dụng khả năng lưu trữ có sẵn từ các thiết bị GMSL SERDES. Bài viết này mô tả một đường video không nén hiệu suất cao và độ trễ thấp sang dịch gói mạng IP. Ngăn xếp phát trực tuyến video dựa trên RTP được tiêu chuẩn hóa đã được chọn do thiết kế tiêu đề tối thiểu và tùy chọn lớp truyền tải không kết nối sử dụng UDP. Bằng cách sử dụng cách tiếp cận như vậy, ngăn xếp phát trực tuyến video tương thích với nhiều các triển khai SW hoặc HW khác của phía nhận, hoàn toàn tuân thủ RTP RFC.

Ngay cả khi RTP cho thông số kỹ thuật video không nén bao gồm kiến trúc có một phần dòng, cách tiếp cận tốt nhất để triển khai hỗ trợ HW là thiết kế không phân mảnh, do đó có được mức sử dụng tài nguyên thấp hơn đáng kể cùng với việc giảm thiểu mức tiêu thụ điện năng.

Như đã mô tả trước đó, có một số máy tính toán có thể thực hiện dịch miền video sang mạng. Hơn nữa, có nhiều cách tiếp cận truyền dữ liệu khác nhau. Hình 3, 4 và 5 trình bày khả năng truyền dữ liệu dựa trên bộ nhớ bằng cách sử dụng các hệ thống nhúng dựa trên CPU/GPU/FPGA và kiến trúc ngăn xếp phát trực tuyến video chỉ FPGA của bài viết này.

Hình 3 minh họa các tùy chọn có thể được chọn khi triển khai ngăn xếp mạng liên quan đến phát trực tuyến video dựa trên đồng thiết kế HW / SW cổ điển. Qua đó, phía bên trái chứa hệ thống con bộ thu video, sau đó gửi các dòng video đến bộ nhớ RAM của hệ thống nhúng bằng cách sử dụng bộ điều khiển truy cập bộ nhớ trực tiếp (DMA). Sau đó, dữ liệu video được đọc từ bộ nhớ và truyền đến Bộ điều khiển truy cập phương tiện Ethernet (MAC) bằng cách sử dụng một trong các cơ chế thiết kế ngăn xếp mạng sau: (1) Bộ phát triển mặt phẳng dữ liệu (DPDK)⁷ hoặc (2) một triển khai truyền thống dựa trên mạng nhân Linux.⁸ Cuối cùng, Ethernet MAC sau đó chuyển tiếp các gói mạng đến Ethernet PHY được đính kèm.

Hình 4 mô tả cách thực hiện chuỗi truyền dẫn dựa trên truy cập bộ nhớ trực tiếp từ xa (RDMA), thể hiện yêu cầu thẻ giao diện mạng (NIC) hỗ trợ RDMA cụ thể cho cả phía người gửi và người nhận. Như được liệt kê trong sơ đồ, việc triển khai lớp 2 cơ bản dựa trên tiêu chuẩn Ethernet. Chuỗi ví dụ này là một tổng quan trình bày cách RDMA qua Ethernet hội tụ (RoCE))⁹ Truyền tải có thể được thực hiện.

Hình 5 trình bày tổng quan về cách tiếp cận của bài viết này, tiết lộ các thành phần quan trọng nhất: chuyển đổi các đường video dựa trên FPGA sang gói RTP và các mô-đun ngăn xếp mạng không kết nối.

Hình 6 mô tả việc dịch dữ liệu video CSI-2 thành một bản dịch gói RTP hoàn chỉnh. Để thiết kế chuyển đổi hiệu quả, thư từ gói 1 dòng sang 1 RTP đã được chọn, đại diện cho giải pháp tốt nhất từ cả góc độ sử dụng tài nguyên và tiêu chuẩn Ethernet. Một khung Ethernet điển hình dựa trên đơn vị truyền tối đa được chỉ định (MTU), một đơn vị đo lường được sử dụng trong NIC sản xuất, có Phạm vi 1500 (bình thường) hoặc 9000 (khung hình jumbo) và tối đa trên lý thuyết là 65536 (khung hình siêu lớn) cho các trường hợp sử dụng thử nghiệm. Vì một dòng video đại diện cho hàng nghìn byte, kiến trúc dựa trên 1 dòng đã được chọn để tuân thủ hầu hết các thiết kế NIC của máy thu. Như đã thấy trước đây, bản dịch dữ liệu video sang gói RTP chỉ SW hoặc HW / SW sẽ trải qua nhiều hoạt động đọc/ghi bộ nhớ trên cả hệ thống con SW video và mạng, làm tăng độ phức tạp và làm giảm hiệu suất thông qua độ trễ cao. Trong cách tiếp cận HW đầy đủ này, sự phức tạp của việc triển khai được giảm thiểu, chứa một cơ chế lưu trữ duy nhất cho khoảng thời gian truyền của mỗi đường truyền, do đó đảm bảo một gói không phân mảnh sau đó được gửi qua dây. Mặt khác, cơ chế cực kỳ đơn giản này chỉ có giá trị đối với việc dịch dữ liệu từ một nhóm các luồng video được phân chia kịp thời bằng cách sử dụng khả năng kênh ảo. Trong trường hợp sử dụng nhiều nhóm song song các luồng video được phân chia kịp thời, một cấp độ lưu trữ mới cần được thêm vào hệ thống phân cấp truyền, do đó tạo ra một đường truyền được phân chia kịp thời đi đến hệ thống con mạng.

Như trong Hình 6, luồng dịch bao gồm hai bước: (1) thu thập dữ liệu từ việc triển khai bộ thu CSI-2 và tạo gói dựa trên một dòng video tuân thủ AXIS và (2) tạo gói RTP bằng cách thêm tiêu đề của giao thức vào dòng video.

Nền tảng điện toán biên ADI GMSL đến 10 GbE

Để hưởng lợi từ những lợi thế mà thiết kế phát trực tuyến video RTP tăng tốc FPGA đầy đủ có thể mang lại, ADI cung cấp nền tảng điện toán biên ADRD8012-01Z. Nó đại diện cho một máy ảnh đa GMSL hiệu suất cao sang bộ chuyển đổi 10 Gigabit Ethernet (GbE) được xây dựng dựa trên AMD-Xilinx tiết kiệm chi phí K26 SoM. Thiết lập HW có hai bộ giải tuần tự bốn MAX96724 GMSL có thể chứa một luồng video song song lên đến tám camera, được biểu thị dưới dạng hai khối gồm bốn kênh ảo (VC - VC0 đến VC3) trước bộ khử tuần tự. Hình 7 trình bày chuỗi phát trực tuyến video đầy đủ. Về mặt mạng, nền tảng này mang lại một lồng có thể cắm được hệ số hình thức (SFP +) có thể được sử dụng để thực hiện truyền mạng dựa trên 10 GbE. Các mô-đun máy ảnh đã được thử nghiệm với triển khai phát trực tuyến video của sản phẩm này như sau: Cấp IV cấp ô tô C1 và C2, có dải động cao 120 dB và độ phân giải 2.5 MP / 5.4 MP, và Intel RealSense D457. Ngoài ra, các mô-đun chứa bộ xử lý cảm biến hình ảnh (ISP) tích hợp được gắn vào cảm biến hình ảnh tương ứng, do đó có thể truyền hình ảnh đầy đủ màu sắc dựa trên thông số kỹ thuật YUV422 làm ví dụ. Như đã đề cập trước đây, trong bối cảnh phát trực tuyến video, đặc điểm kỹ thuật lớp ứng dụng đóng vai trò là nền tảng cho việc hiển thị cấu trúc của khung hình. Trong trường hợp này, truyền video không nén, tiêu đề tải trọng RTP⁶ xác định độ dài của từng trường tải trọng, cho biết độ dài dòng thực tế, số dòng và các yếu tố liên quan đến phân mảnh khác không được xem xét trong cách tiếp cận của bài viết này. Mặt khác, tiêu đề RTP chung⁴ minh họa loại video và giá trị nhận dạng điểm đánh dấu, chỉ định byte cuối cùng của khung video, được khớp hoàn hảo với cánh tay^® logic TVALID / TLAST của eXtensible Interface Streaming (AXIS).

Kết luận

Bài viết này minh họa cách truyền video cục bộ tốc độ cao được hỗ trợ bởi GMSL có thể được mở rộng hiệu quả sang cơ sở hạ tầng phát trực tuyến video hiệu suất cao bằng cách duy trì hiệu suất tốc độ dữ liệu như cũ và cung cấp hành vi có độ trễ thấp. Để thực hiện kiến trúc mạnh mẽ và hiệu quả này, loại thiết bị SoC FPGA đã được chọn. Cung cấp cả tài nguyên CPU và FPGA, thiết bị được chọn kết hợp cả khả năng phần mềm và phần cứng để tạo ra một công cụ phát trực tuyến video thời gian thực đa camera vượt trội.