UX multimodal: veu, text, imatge i vídeo en el mateix flux
Disseny d'experiències en què l'usuari combina input de veu, text, imatge i vídeo en una conversa natural, sense haver de canviar d'eina per a cada tipus d'input.
El problema que resolem.
Fins fa poc, l'input multimodal era un somni: el teu producte entenia text, o imatge, o veu, però rarament els tres al mateix temps i de forma natural. Els models multimodals moderns (Claude, GPT-4o, Gemini) ho permeten - però la UX per a aquests fluxos està gairebé per inventar.
Dissenyem experiències en què l'usuari pot fer una foto, comentar-la per veu i refinar per text en la mateixa interacció, amb un agent que manté el fil i actualitza la resposta a cada pas.
Què inclou
- Disseny de fluxos on es combinen ≥2 modalitats d'input
- Patrons de feedback immediat per a cada modalitat
- Maneig d'errors específics per canal (audio mal gravat, imatge borrosa)
- Microcopy i guidance que ajuden l'usuari a fer servir les modalitats noves
- Tests amb usuaris sobre friccions específiques de cada modalitat
El nostre procés per a UX multimodal.
Mapat
Identifiquem quines tasques es fan millor per cada modalitat i on l'usuari guanya canviant entre elles.
Disseny
Prototips navegables amb veu, imatge i text reals. Proves amb dispositius del públic objectiu.
Calibratge
Iteració amb usuaris reals: en multimodal el factor humà pesa més que en interfícies tradicionals.
Casos d'ús típics
Atenció al client amb captura d'imatge del producte + descripció per veu. Apps de salut amb foto de símptoma + comentari parlat. Assistents de camp (tècnics, agents comercials) que necessiten capturar context ràpid sense parar a escriure. Educació amb explicació oral + il·lustració generada al vol. Com més natural sigui canviar de modalitat, més es desbloqueja cada un d'aquests casos.
Altres serveis de Experiències IA natives
Estratègia de producte IA
Com integrar IA al teu producte existent o construir-ne un de nou amb la IA al centre.
Veure servei →Prototipatge funcional amb IA
Prototips funcionals connectats a LLMs reals per validar casos d'ús en dies, no en mesos.
Veure servei →Disseny d'agents IA
Disseny de l'experiència dels agents: com es presenten, com escalen a humà i com gestionen la incertesa.
Veure servei →Enginyeria de context
Disseny del context que alimenta els models: prompts, tools, memòria, RAG i polítiques d'ús.
Veure servei →UI generativa
Interfícies que es construeixen sobre la marxa en funció de la intenció de l'usuari i el context disponible.
Veure servei →