Protokoll-Übersicht

UIAP in einem Satz

UIAP ist ein Standardvertrag zwischen laufender Anwendung und KI-Agent, damit die Anwendung dem Agenten strukturiert sagen kann, was gerade sichtbar ist, was fachlich möglich ist, was riskant ist, wie etwas ausgeführt werden darf und woran Erfolg oder Fehler erkennbar sind.

Was UIAP sein soll

• Ein UI-Vertragsprotokoll
• Ein Capability- und State-Protokoll
• Ein Action- und Feedback-Protokoll
• Ein Policy- und Audit-Protokoll

Was UIAP nicht sein soll

• Kein LLM-Prompt-Format
• Kein Voice-Protokoll
• Kein Ersatz für Accessibility
• Kein Ersatz für Browser-Automation
• Nicht nur ein SDK
• Keine Magie, die schlechte Apps plötzlich steuerbar macht

Die Spezifikations-Module

#	Modul	Zweck
1	Core	Message Envelope, Session Lifecycle, Fehler, Versionierung, Erweiterungen
2	Capability Model	UI-Rollen, Zustände, Affordances, Actions, Risk, Success Signals
3	Web Profile	DOM, ARIA, PageGraph, iframes, Shadow DOM, Routen, Formulare, Modale
4	Action Runtime	Action-Ausführung, Verifikation, Result Reporting
5	Policy Extension	Berechtigungen, Bestätigungen, Sensitivität, Audit
6	SDK API	Client-seitige Integrations-API für Web-Anwendungen
7	Workflow Extension	Skills, Onboarding-Flows, Schritt-Orchestrierung
8	Discovery Mapper	Automatische UI-Element-Erkennung und -Klassifizierung
9	Authoring/Manifest	Manifest-Formate, Authoring-Workflows, Validierung
10	Conformance Suite	Testmodule, Harness-Modell, Bewertungsregeln

End-to-End-Flow

1. App bindet das UIAP SDK ein
2. Session startet (session.initialize)
3. App sendet Capabilities (capabilities.list)
4. App sendet aktuellen Live-Zustand (state.snapshot)
5. Agent plant nächste Aktion (z.B. action.request(click video.new))
6. SDK prüft Policy und Ausführungsmodus (bevorzugt appAction, Fallback semanticDom)
7. SDK animiert optional Ghost Cursor (rein Präsentation)
8. SDK führt die Aktion aus und sendet action.started
9. App beobachtet Ergebnis (Route-Change, Toast, Feldwert, Dialog-Schluss)
10. App sendet Feedback + Delta (action.succeeded + state.delta)
11. Agent plant den nächsten Schritt (bis Ziel erreicht oder User übernimmt)
12. Session endet und Trace wird abgeschlossen (session.end)