ESP32-S3 permite que agente de IA controle iPhone por USB

Henry Yuan apresentou uma maneira de colocar um iPhone sob controle de um agente de inteligência artificial usando um ESP32-S3. A solução combina a captura da tela com comandos de teclado e mouse enviados pelo microcontrolador. Assim, o agente recebe uma representação visual do aparelho e dispõe de um caminho para interagir com a interface, sem precisar recorrer a jailbreak.

A imagem chega ao agente por uma sequência de ferramentas: o AirPlay faz o espelhamento, o UxPlay recebe essa transmissão e um pipeline GStreamer entrega a tela como um fluxo de imagens JPEG. Na outra direção, o ESP32-S3 funciona como dispositivo USB-HID, emulando mouse e teclado. Com o AssistiveTouch habilitado no iOS, essas entradas permitem operar o telefone. A escolha das ações necessárias para cumprir uma tarefa fica a cargo do agente e depende da aplicação. A montagem dispensa conta Apple Developer, XCode e computador Macintosh.

Por que importa: para quem trabalha com ESP32, IIoT e automação, o projeto mostra como um microcontrolador pode conectar decisões de software a uma interface existente por meio de entradas padronizadas. Isso abre uma possibilidade de experimentação com tarefas realizadas em telas, inclusive na avaliação de interfaces usadas por operadores. O ponto de atenção é separar a capacidade de enviar comandos da capacidade de decidir corretamente: emular teclado e mouse resolve a interação, mas a execução da tarefa ainda depende da interpretação visual e das escolhas do agente.