Qu’est-ce que Meta Muse Gadgets ? Que peut faire un appareil IA physique ?

Qu’est-ce que Meta Muse Gadgets ?

Le SDK open source Muse Gadgets de Meta est un outil pour créer des appareils IA. Le dépôt officiel comprend du code pour ESP32 et Linux ainsi que des exemples reliant un agent à des écrans, boutons, capteurs, haut-parleurs et autres périphériques. HomeLink explore aussi la maison connectée. L’idée est de permettre à un agent d’utiliser des entrées et sorties physiques, au-delà d’une fenêtre de chat.

Muse sert de point de départ pour prototyper une IA physique. Un bouton reçoit une action, un capteur donne un contexte local, tandis qu’un écran à papier électronique ou un haut-parleur renvoie un résultat bref. Un signal utile sur le bureau aide lorsque l’agent travaille en arrière-plan pendant que vous vous concentrez sur une autre tâche.

Que peut faire une IA physique sur un bureau ?

Imaginez que vous demandiez à Claude desktop de modifier un fichier pendant que vous examinez autre chose. InksPet reflète l’activité de l’agent sur l’écran à papier électronique d’EleksCava : le crabe pixelisé bouge, les voyants RGB indiquent l’activité et un bref statut reste visible. Vous pouvez garder votre tâche principale à l’écran.

Lorsqu’une action prise en charge par Claude desktop Hardware Buddy demande votre accord, le voyant jaune clignote et la requête s’affiche sur l’appareil. Appuyez sur A pour autoriser, B pour toujours autoriser ou C pour refuser. L’activité passe ensuite au vert ; à la fin, InksPet affiche l’état Completed avec un fondu vert. Vous suivez ainsi le déroulement sur le bureau sans chercher une boîte de dialogue cachée.

L’écran conserve le contexte utile et la lumière signale les changements. Pour Codex, le pont local documenté par InksPet transmet les états de hooks pris en charge. Les boutons décrits concernent les demandes prises en charge par Claude desktop Hardware Buddy ; les commandes dépendent de l’intégration. Pendant une modification plus longue, vous pouvez voir la demande, répondre sur l’appareil, puis suivre l’avancement et la fin.

L’écran à papier électronique de 2,9 pouces et 296 × 128 pixels affiche un bref résumé de tâche. Cinq voyants RGB signalent les changements d’état et trois boutons gèrent les réponses prises en charge. Placé près du clavier, il complète l’éditeur et le chat par un aperçu rapide de l’activité de l’agent.

InksPet et Muse sont indépendants

Le micrologiciel InksPet fonctionne sur le matériel EleksCava à papier électronique. Le produit actuel documente une connexion native à Claude desktop Hardware Buddy et un pont local pour Codex. InksPet n’a pas été validé avec le SDK Muse. Choisissez-le selon ces intégrations documentées ; elles ne nécessitent ni compte ni jeton Muse.

Pour développer avec Muse, les conditions actuelles du SDK réservent les jetons à un usage individuel non commercial et interdisent leur intégration dans des produits proposés à la vente ou à la promotion.

Essayer sur votre bureau

Si vous possédez déjà un appareil EleksCava, installez InksPet avec l’installateur de micrologiciel dans le navigateur, puis suivez le guide de configuration (anglais). Il présente la mise en route et les intégrations prises en charge.

Si vous cherchez le matériel, la page AI Companion d’EleksCava présente les informations produit et d’achat actuelles. EleksCava fournit l’appareil ; InksPet est le micrologiciel qui ajoute son compagnon-agent au crabe pixelisé. Consultez la page produit pour la configuration et le contenu actuels.

Muse met en lumière une évolution plus large : une interface IA peut inclure un écran, une lumière ou un bouton dans la pièce. InksPet permet d’essayer cette idée avec un appareil disponible et des intégrations documentées.