Computer Use

Codex 앱에서 computer use는 현재 macOS에서 사용할 수 있습니다. Computer Use 플러그인을 설치한 뒤 macOS가 요청하면 화면 기록과 손쉬운 사용 권한을 부여합니다.

computer use를 사용하면 Codex가 macOS의 그래픽 사용자 인터페이스를 보고 조작할 수 있습니다. 명령줄 도구나 구조화된 통합만으로 충분하지 않은 작업에 사용합니다. 예를 들어 데스크톱 앱 확인, 브라우저 사용, 앱 설정 변경, 플러그인으로 사용할 수 없는 데이터 소스 작업, 그래픽 사용자 인터페이스에서만 발생하는 버그 재현에 적합합니다.

computer use는 프로젝트 워크스페이스 밖의 앱과 시스템 상태에 영향을 줄 수 있으므로 범위가 명확한 작업에 사용하고, 계속하기 전에 권한 요청을 검토하십시오.

computer use 설정

Codex 설정에서 Computer Use를 열고 Install을 클릭해 Codex가 데스크톱 앱을 조작하기 전에 Computer Use 플러그인을 설치합니다. macOS가 접근 권한을 요청하면 Codex가 대상 앱을 보고 상호작용할 수 있도록 화면 기록과 손쉬운 사용 권한을 부여합니다.

computer use를 사용하려면 다음 권한을 부여합니다.

Screen Recording: Codex가 대상 앱을 볼 수 있게 합니다.
Accessibility: Codex가 클릭, 입력, 탐색을 수행할 수 있게 합니다.

computer use를 사용할 때

파일이나 명령 출력만으로 검증하기 어려운 그래픽 사용자 인터페이스에 작업이 의존할 때 computer use를 선택합니다.

적합한 경우는 다음과 같습니다.

Codex가 만들고 있는 macOS 앱, iOS 시뮬레이터 흐름, 다른 데스크톱 앱을 테스트합니다.
웹 브라우저가 필요한 작업을 수행합니다.
그래픽 인터페이스에서만 나타나는 버그를 재현합니다.
UI 클릭을 요구하는 앱 설정을 변경합니다.
플러그인으로 제공되지 않는 앱이나 데이터 소스의 정보를 검사합니다.
다른 곳에서 계속 작업하는 동안 범위가 정해진 작업을 백그라운드로 실행합니다.
여러 앱에 걸친 워크플로를 실행합니다.

로컬에서 만드는 웹 앱에는 먼저 앱 내 브라우저를 사용합니다.

computer use 작업 시작

프롬프트에서 @Computer 또는 @AppName을 멘션하거나 Codex에게 computer use를 사용하라고 요청합니다. Codex가 조작해야 할 정확한 앱, 창, 흐름을 설명합니다.

Open the app with computer use, reproduce the onboarding bug, and fix the
smallest code path that causes it. After each change, run the same UI flow
again.

Open @Chrome and verify the checkout page still works after the latest changes.

대상 앱이 전용 플러그인이나 MCP 서버를 제공한다면 데이터 접근과 반복 가능한 작업에는 그 구조화된 통합을 우선 사용합니다. Codex가 앱을 시각적으로 검사하거나 조작해야 할 때 computer use를 선택합니다.

권한과 승인

computer use를 위한 macOS 시스템 권한은 Codex의 앱 승인과 별개입니다. macOS 권한은 Codex가 앱을 보고 조작할 수 있게 합니다. 앱 승인은 Codex가 사용할 수 있도록 허용한 앱을 결정합니다. 파일 읽기, 파일 편집, 셸 명령은 여전히 스레드의 샌드박스와 승인 설정을 따릅니다.

computer use를 사용할 때 Codex는 사용자가 허용한 앱 안에서만 보고 작업할 수 있습니다. 작업 중 Codex가 컴퓨터의 앱을 사용하려면 먼저 권한을 요청합니다. Always allow를 선택하면 이후 해당 앱을 다시 묻지 않고 사용할 수 있습니다. 허용 목록의 앱은 Codex 설정의 Computer Use 섹션에서 제거할 수 있습니다.

Codex는 민감하거나 중단을 일으킬 수 있는 작업을 수행하기 전에도 권한을 요청할 수 있습니다.

Codex가 앱을 보거나 제어할 수 없다면 System Settings > Privacy & Security를 열고 Codex 앱의 Screen Recording과 Accessibility 권한을 확인합니다.

안전 지침

computer use를 사용하면 Codex가 화면 콘텐츠를 보고, 스크린샷을 찍고, 대상 앱의 창, 메뉴, 키보드 입력, 클립보드 상태와 상호작용할 수 있습니다. 작업이 실행되는 동안 표시되는 앱 콘텐츠, 브라우저 페이지, 스크린샷, 대상 앱에서 열린 파일은 Codex가 처리할 수 있는 컨텍스트로 취급합니다.

작업을 좁게 유지하고 민감한 흐름에서는 자리를 지키십시오.

한 번에 하나의 명확한 대상 앱이나 흐름을 Codex에 제공합니다.
언제든지 작업을 중지하거나 컴퓨터 제어를 직접 넘겨받을 수 있습니다.
작업에 필요하지 않다면 민감한 앱을 닫아 둡니다.
비밀 정보가 필요한 작업은 사용자가 함께 있으면서 각 단계를 승인할 수 있을 때만 수행합니다.
Codex가 앱을 사용하도록 허용하기 전에 앱 권한 프롬프트를 검토합니다.
Always allow는 이후 작업에서 Codex가 자동으로 사용해도 된다고 신뢰하는 앱에만 사용합니다.
계정, 보안, 개인정보, 네트워크, 결제, 자격 증명 관련 설정에서는 자리를 지킵니다.
Codex가 잘못된 창과 상호작용하기 시작하면 작업을 취소합니다.

Codex가 사용자의 브라우저를 사용하면 이미 로그인된 페이지와 상호작용할 수 있습니다. 웹사이트 작업은 사용자가 직접 수행하는 것처럼 검토하십시오. 웹 페이지에는 악의적이거나 오해를 유발하는 콘텐츠가 포함될 수 있고, 사이트는 승인된 클릭, 양식 제출, 로그인된 동작을 사용자의 계정에서 수행된 것으로 취급할 수 있습니다. Codex가 작업하는 동안 브라우저를 계속 사용하려면 Codex에게 다른 브라우저를 사용하라고 요청하십시오.

이 기능은 터미널 앱이나 Codex 자체를 자동화할 수 없습니다. 이를 자동화하면 Codex 보안 정책을 우회할 수 있기 때문입니다. 또한 컴퓨터의 관리자 인증이나 보안 및 개인정보 권한 프롬프트 승인을 수행할 수 없습니다.

파일 편집과 셸 명령은 해당되는 경우 여전히 Codex 승인과 샌드박스 설정을 따릅니다. 데스크톱 앱을 통해 이루어진 변경은 디스크에 저장되고 프로젝트에서 추적되기 전까지 리뷰 패널에 나타나지 않을 수 있습니다. computer use가 촬영한 스크린샷을 포함해 Codex가 처리하는 콘텐츠에는 ChatGPT 데이터 제어가 적용됩니다.