Перейти к основному содержимому

NVIDIA Jetson

NVIDIA Jetson — семейство встраиваемых Linux-компьютеров для обработки данных рядом с датчиками. Их выбирают, когда роботу нужно обрабатывать видео, запускать нейросетевую модель локально, работать с несколькими камерами или выполнять тяжёлую обработку без облака.

В статье используется конкретный ориентир — Jetson Orin Nano Super Developer Kit. Другие Jetson отличаются модулем, производительностью, памятью, разъёмами, режимами питания и поддерживаемым программным стеком.

Jetson Orin Nano Super Developer Kit: реальная плата

Коротко

Jetson — это не «нейросеть на плате», а одноплатная Linux-система с CPU, GPU, памятью, камерами, USB, сетью и программным стеком NVIDIA JetPack. Jetson хорошо принимает решения по изображению, но моторы всё равно подключают через микроконтроллер и силовой драйвер.

Что это за компьютер​

В документации NVIDIA важно различать модуль Jetson и developer kit. Модуль содержит основную вычислительную часть. Carrier board даёт питание, разъёмы камер, USB, сеть, накопители и GPIO. Developer kit объединяет модуль и несущую плату для разработки и обучения.

В роботе Jetson обычно получает кадры, выполняет предобработку, запускает модель, принимает решение и отправляет короткую команду микроконтроллеру. Микроконтроллер проверяет свежесть команды и управляет приводом.

Конвейер камеры, нейросети и команды микроконтроллеру

Преимущества и недостатки​

СторонаЧто это значит для проекта
GPU и Tensor CoresМожно ускорять подходящие нейросетевые модели и обработку данных.
JetPackВ одном стеке идут Jetson Linux, драйверы, CUDA, cuDNN и TensorRT.
Камеры и USBПодходит для роботов с видеопотоком, лидарами, накопителями и датчиками.
Много памяти для edge AIУдобнее держать модели, кадры и буферы, чем на обычном микроконтроллере.
Linux и контейнерыМожно строить сложную систему из нескольких сервисов.
Высокие требования к питаниюНужен подходящий источник и проверка нагрузки.
Нужное охлаждениеБез охлаждения производительность может снижаться из-за температуры.
Сложный программный стекВерсии JetPack, CUDA, TensorRT и модели должны быть совместимы.
Не контроллер реального времениБыстрый привод и энкодеры лучше обслуживает микроконтроллер.

Разъёмы и распиновка​

У Jetson Orin Nano Super Developer Kit есть разъёмы MIPI CSI-2 для камер, USB Type-A, Gigabit Ethernet, DisplayPort, M.2 для накопителя и расширения, а также 40-контактный разъём. Но форма 40-pin не означает полную совместимость с Raspberry Pi HAT.

GPIO, UART, I²C, SPI и другие функции зависят от конкретной carrier board, device tree и выбранной конфигурации. Перед подключением нужно сверить pinout developer kit, напряжения и занятость линий.

Мощностные и функциональные характеристики​

ПараметрJetson Orin Nano Super Developer Kit
AI-производительностьдо 67 sparse INT8 TOPS для подходящих операций
GPUNVIDIA Ampere, 1024 CUDA-ядра, 32 Tensor Cores
CPU6 × Arm Cortex-A78AE
RAM8 ГБ LPDDR5
Камеры2 разъёма MIPI CSI-2
USB и сетьUSB Type-A, Gigabit Ethernet
НакопительmicroSD и NVMe через M.2 Key M
Питаниережимы мощности 7/15/25 Вт; вход developer kit через DC jack
Расширение40-pin header, M.2, интерфейсы carrier board

TOPS нельзя читать как «готовые кадры в секунду». На задержку влияют камера, разрешение, предобработка, формат модели, копирование данных, память, температура и постобработка.

Совместимые языки и IDE​

ИнструментКогда использовать
PythonПрототипирование компьютерного зрения, ROS 2, обучение и тесты.
C/C++Производительные узлы, работа с камерами, CUDA и системными библиотеками.
CUDA / cuDNN / TensorRTУскорение поддерживаемых вычислений и нейросетевого вывода.
ROS 2Многомодульные роботы с камерами, лидарами и навигацией.
NVIDIA JetPackБазовый стек ОС, драйверов и библиотек для Jetson.
VS Code / SSHУдалённая разработка и настройка стенда.

Специфичные функции Jetson в сравнении​

По сравнению с Raspberry Pi, Jetson сильнее в задачах edge AI и параллельных вычислений. По сравнению с микроконтроллером, Jetson способен обрабатывать изображения и модели, но хуже подходит для гарантированного периода управления.

Jetson особенно полезен, когда робот должен распознавать объекты, сегментировать изображение, оценивать позу, вести несколько потоков данных или работать без подключения к облаку. Если задача ограничивается простыми датчиками и двумя моторами, Jetson будет избыточен.

Что проверить перед запуском​

ПроверкаЗачем она нужна
Точная модель JetsonНе смешать Orin Nano, Orin NX, AGX Orin и старый Jetson Nano.
Версия JetPackУбедиться в совместимости драйверов, CUDA, TensorRT и модели.
Камера и шлейфПроверить поддержку сенсора и физический разъём.
Режим мощностиПонять реальное потребление и требования к источнику.
ОхлаждениеИзбежать снижения частот под длительной нагрузкой.
Полный конвейерИзмерить задержку от кадра до команды, а не только FPS модели.
Failsafe микроконтроллераОстановить привод при зависании приложения на Jetson.

Практика​

Составьте бюджет задержки для зрительного конвейера: получение кадра — 12 мс, подготовка — 8 мс, нейросеть — 35 мс, обработка результата — 7 мс, передача команды — 5 мс. Найдите полную задержку и максимальную теоретическую частоту такого последовательного цикла. Сравните её с требованием 20 команд в секунду.

Сумма должна получиться 67 мс, то есть около 14,9 полного цикла в секунду. Поэтому требование 20 команд/с не выполнено, даже если отдельно нейросеть показывает более высокий показатель.

Проверьте себя​

  1. Чем модуль Jetson отличается от developer kit?
  2. Почему 67 TOPS не равны частоте кадров готового робота?
  3. Какие части входят в путь одного кадра от камеры до команды?
  4. Почему Jetson не должен напрямую управлять мотором через GPIO?
  5. Зачем фиксировать версию JetPack в проекте?
  6. Что произойдёт при плохом охлаждении под нагрузкой?
Ориентиры для самопроверки

Сначала ответьте без подсказки. Ответ можно считать полным, если вы:

  • формулируете основную мысль своими словами;
  • называете важные условия, ограничения или меры безопасности;
  • для схемы, кода или расчёта показываете ход решения и ожидаемый результат.

Если один из пунктов объяснить не получается, найдите соответствующую главу статьи, перечитайте её и повторите ответ.

Словарь статьи​

  • JetPack — комплект системного ПО и библиотек NVIDIA для Jetson.
  • CUDA — платформа вычислений на совместимом GPU NVIDIA.
  • TensorRT — инструменты оптимизации и выполнения нейросетевых моделей NVIDIA.
  • TOPS — оценка числа триллионов операций в секунду; она не равна частоте кадров готовой системы.
  • Failsafe — заранее определённое безопасное действие при отказе или потере связи.

Связанные темы​

Источники​