Hinweis
Die Computernutzung ist in Öffentliche Vorschau und kann geändert werden.
Informationen zur Computerverwendung
Copilot kann in Ihrem Auftrag mit Desktopanwendungen interagieren, indem sie barrierefreie Anwendungsinhalte und visuellen Kontext lesen, auf Steuerelemente klicken, Text eingeben und bearbeiten, Tasten drücken, Scrollen, Ziehen und Navigieren in Workflows in allen Anwendungen ausführen.
Die Computernutzung ist unter GitHub Copilot CLIGitHub Copilot app macOS und Windows verfügbar.
Die Computerverwendung erweitert die Aufgaben Copilot , die sie automatisieren können, einschließlich Workflows in legacy- und GUI-only-Software, die keine API, Befehlszeilenschnittstelle oder MCP-Integration bereitstellen.
Die Computerverwendung kann Ihnen beim Ausführen von Aufgaben helfen, z. B.:
- Überprüfen und Zusammenfassen von Informationen in einer älteren Desktopanwendung.
- Aktualisieren von Inhalten in einer Präsentation.
- Eingeben oder Aktualisieren von Informationen in nur GUI-Software.
- Verschieben von Informationen zwischen Anwendungen als Teil eines mehrstufigen Workflows.
Tipp
Die Computerverwendung ist für Aufgaben vorgesehen, die eine Interaktion mit einer visuellen Schnittstelle erfordern. Wenn eine API, ein MCP-Server, ein Terminalbefehl, ein Dateisystemtool oder ein dediziertes Browsertool die Aufgabe direkt ausführen kann, stellt dieses Tool in der Regel strukturiertere Informationen und vorhersagbare Ergebnisse bereit.
Capabilities
Wenn diese Option aktiviert ist, erlaubt die Computerverwendung Copilot Folgendes:
- Lesen von barrierefreien Anwendungsinhalten und visuellem Kontext über die Barrierefreiheitsstruktur oder Screenshots Ihres Betriebssystems, wenn visueller Kontext erforderlich ist.
- Klicken Sie auf Steuerelemente.
- Geben Sie Text ein, und bearbeiten Sie ihn.
- Drücken Sie Tasten, Scrollen und Ziehen von Elementen.
- Navigieren Sie in Workflows über Anwendungen hinweg.
Der Agent wählt diese Tools so aus, wie es durch Ihre Eingabeaufforderung funktioniert. Sie können die Toolaktivität in der Sitzung überprüfen.
Zugriff auf Computer steuern
Die Computerverwendung ist standardmäßig deaktiviert. Sie müssen sie aktivieren, bevor ein Agent seine Tools verwenden kann.
Die Computerverwendung folgt den Toolberechtigungseinstellungen für die Oberfläche, auf der Copilot Ihre Sitzung ausgeführt wird. Diese Einstellungen legen fest, ob Copilot vor der Steuerung einer Desktopanwendung um Genehmigung bittet. Sie können die Berechtigungseinstellungen für das Tool für jede Fläche ändern. Wenn Sie aufgefordert werden, den Zugriff auf eine Anwendung zu genehmigen, können Sie für die aktuelle Sitzung Zugriff gewähren, die Genehmigung für zukünftige Sitzungen speichern oder den Zugriff verweigern.
Wenn Sie "Immer zulassen " für eine bestimmte Anwendung auswählen, Copilot wird die Entscheidung lokal gespeichert. Die Entscheidung gilt sowohl für als auch GitHub Copilot CLIGitHub Copilot app für denselben Computer. In der App können Sie die Liste der immer zulässigen Anwendungen überprüfen und einzelne Genehmigungen entfernen. Durch das Entfernen einer Anwendung wird die gespeicherte Genehmigung für zukünftige Sitzungen sowohl in der App als auch in der CLI gelöscht. Bereits gewährter Zugriff in einer laufenden Sitzung wird nicht widerrufen.
Berechtigungsregeln, die ein Tool verweigern, haben Vorrang vor automatischen oder gespeicherten Genehmigungen.
Unternehmensadministratoren können die Computerverwendung über verwaltete Einstellungen deaktivieren. Durch die lokale Aktivierung der Computerverwendung wird keine Unternehmensrichtlinie außer Kraft setzen. Einzelheiten zur Konfiguration finden Sie unter Unternehmensverwaltete Einstellungen.
Sie können einen aktiven Vorgang unterbrechen, wenn die Computerverwendung unerwartet gestartet wird. Drücken Sie in GitHub Copilot CLI zweimal Esc. Klicken Sie in GitHub Copilot app, klicken Sie auf "Beenden" , oder drücken Sie ESC.
Auf macOS führt Sie die Funktion „Computer verwenden“ durch das Erteilen von:
- Berechtigung für Barrierefreiheit für die Interaktion mit Anwendungssteuerelementen.
- Bildschirmaufzeichnungsberechtigung zum Überprüfen von Anwendungsfenstern, wenn visueller Kontext erforderlich ist.
Einschränkungen und Risiken
Computerverwendung interpretiert Schnittstellen, die sich zwischen Anwendungsversionen, Betriebssystemen und Fensterzuständen ändern können. Es kann das falsche Steuerelement auswählen, Text an der falschen Position eingeben oder Schwierigkeiten mit nicht standardmäßigen oder dynamischen Steuerelementen und komplexen Workflows haben. Änderungen des Anzeigedauer- oder Fensterzustands können zu unterschiedlichen Ergebnissen führen, dazu führen, dass Computer eine Aktion wiederholen oder verhindern, dass sie fortgesetzt wird.
Warnung
Computerverwendung kann Interaktionen über Desktopanwendungen hinweg automatisieren, führt aber auch Sicherheitsrisiken ein. Mehrdeutige Anweisungen oder unerwartete Bildschirminhalte können unbeabsichtigte Aktionen verursachen, die sich auf Ihr Gerät, Ihre Daten oder verbundene Konten auswirken, einschließlich des Zugriffs auf persönliche, finanzielle oder Unternehmenssysteme. Die Verwendung eines Computers ist kein Ersatz für menschliches Urteilsvermögen. Überprüfen Sie die Zielanwendung, angeforderte Berechtigungen und Ergebnisse, insbesondere bevor Sie Aktionen zulassen, die Daten ändern oder andere Personen betreffen.
Anwendungsfenster zeigen möglicherweise vertrauliche Informationen an, einschließlich Informationen zu anderen Personen. Verwenden Sie nur Computerverwendung mit Anwendungen und Aufgaben, deren sichtbarer Inhalt Sie als Kontext bereitstellen Copilotmöchten.
Wenn Sie "Immer zulassen " für eine Anwendung auswählen, können später Computerverwendungsaktionen sie steuern, ohne erneut zu fragen. Vermeiden Sie die Auswahl von "Immer zulassen ", wenn Anwendungen vertrauliche Informationen enthalten oder Aktionen mit hoher Auswirkung unterstützen.
Umfassende Informationen zur verantwortungsvollen Verwendung finden Sie unter Anwendungskarte: GitHub Copilot Agents.
Nächste Schritte
Informationen zum Aktivieren und Verwenden der Computerverwendung finden Sie unter: