Brazo robótico con visión 3D Hiwonder JetArm ROS1/ROS2

Despliegue de modelos multimodales

JetArm integra un modelo de IA multimodal de gran tamaño y admite el despliegue en línea a través de la API de OpenAI, lo que permite el acceso en tiempo real a capacidades avanzadas de IA. También permite cambiar sin problemas a modelos alternativos, como los disponibles a través de OpenRouter, para admitir aplicaciones de modelos de lenguaje visual. En esencia, JetArm está diseñado como un centro de interacción todo en uno construido alrededor de ChatGPT, permitiendo casos de uso sofisticados de IA incorporada y creando una experiencia de interacción humano-máquina fluida e intuitiva.

Aplicaciones de IA incorporada impulsadas por grandes modelos de IA

El kit JetArm Ultimate está equipado con una matriz circular de 6 micrófonos. Más allá del patrón de comando-respuesta unidireccional de los modelos de IA tradicionales, JetArm —impulsado por ChatGPT— permite un salto cognitivo de la comprensión semántica a la ejecución física, mejorando significativamente la naturalidad y fluidez de la interacción humano-máquina. Combinado con una visión artificial avanzada, JetArm ofrece capacidades sobresalientes en percepción, razonamiento y acción, lo que lo hace ideal para desarrollar aplicaciones sofisticadas de IA incorporada.

Control por voz Con la integración de ChatGPT, JetArm puede comprender comandos hablados y llevar a cabo las acciones correspondientes, permitiendo una interacción controlada por voz intuitiva y fluida.	Clasificación por colores Con el apoyo de ChatGPT, JetArm puede entender los comandos del usuario y, cuando se combina con la visión por IA, identificar y clasificar con precisión los objetos en función de sus colores dentro de su campo de visión.
Clasificación de residuos JetArm aprovecha el modelo de aprendizaje profundo YOLOv8 integrado en su sistema para reconocer diferentes tipos de objetos en la escena. Con el poder de ChatGPT, puede interpretar los comandos del usuario y realizar las acciones correspondientes, como la clasificación de residuos.	Clasificación de objetos 3D Equipado con una cámara de profundidad 3D, JetArm puede detectar objetos de diversas formas dentro de su campo de visión. Cuando se combina con ChatGPT, entiende las instrucciones del usuario y lleva a cabo las acciones requeridas.

Entrenamiento de modelos de aprendizaje profundo

JetArm integra tecnologías avanzadas de redes neuronales, aprovechando YOLOv8 para la detección de múltiples objetos en tiempo real. Permite el entrenamiento de modelos de aprendizaje profundo personalizados para objetos específicos, produciendo modelos ligeros optimizados para la aceleración TensorRT, lo que abre una amplia gama de posibilidades creativas impulsadas por la IA.

Simulación en Gazebo

El brazo robótico JetArm está desarrollado utilizando el framework ROS y admite la simulación en GAZEBO. El brazo robótico es controlado y el algoritmo verificado en un entorno virtual, lo que reduce los requisitos del entorno experimental y mejora la eficiencia experimental.

Guía de selección de configuración de JetArm

El Jetson Nano proporciona capacidades esenciales de inferencia de IA, perfectas para redes neuronales simples y modelos de aprendizaje profundo, lo que lo hace ideal para aplicaciones de IA de nivel de entrada. El Jetson Orin Nano ofrece 80 veces el rendimiento y la potencia de cálculo del Jetson Nano, admitiendo modelos de aprendizaje profundo más complejos e inferencia acelerada, lo que lo hace muy adecuado para aplicaciones avanzadas de IA en el borde. El Jetson Orin NX aumenta la potencia de cálculo 2.5 veces respecto al Jetson Orin Nano, ofreciendo un rendimiento de inferencia de IA de primer nivel para redes neuronales más grandes y tareas de aprendizaje profundo en tiempo real. ¡Esta mejora de rendimiento potencia a JetArm, desbloqueando capacidades excepcionales en control de servomotores, tareas de visión y aprendizaje profundo en una amplia gama de aplicaciones!