AI画面操作が、単なる未来の構想ではなく、開発者向けAPIで試せる段階に入りました。Anthropicが発表したClaude 3.5の新機能は、AIが画面を見て、マウスを動かし、クリックや文字入力まで行うものです。この記事では、Claude 3.5 Sonnetの強化、新しいClaude 3.5 Haiku、そしてcomputer useの仕組みと活用方法を、初心者にもわかりやすく解説します。
目次
Claude 3.5で何が変わったのか
今回の発表には、大きく3つのアップデートがあります。性能を高めたClaude 3.5 Sonnet、新モデルのClaude 3.5 Haiku、そしてAIにパソコン操作をさせるcomputer useです。それぞれ役割が異なるため、目的に合わせて使い分けることが大切です。
Claude 3.5 Sonnetは、もともと文章理解やプログラミングで高い評価を受けていたモデルです。今回の改良では、コードを書くことだけでなく、既存のコードを読み解く、バグを探す、複数ファイルを変更するといった開発作業の性能が向上しました。
たとえば、開発者が「この機能を追加して、関連するテストも修正して」と指示すると、AIがプロジェクト内の複数ファイルを確認し、変更案を作成できます。もちろん最終的な確認は人間が行う必要がありますが、調査や下書きにかかる時間を大きく減らせる可能性があります。
高速処理を支えるClaude 3.5 Haiku
Claude 3.5 Haikuは、軽量で高速な処理を目指したモデルです。AIは一般的に高性能になるほど、回答までの時間や利用料金とのバランスが難しくなります。Haikuは、日常的な大量処理をすばやくこなす実用担当として位置づけられます。
発表時点では、過去の大型モデルであるClaude 3 Opusに匹敵する性能を、多くの評価項目で示したとされています。それでいて、従来世代のHaikuに近い応答速度を目指している点が特徴です。すべての作業に最上位モデルを使う必要がない場合、コストと速度の両面で有力な選択肢になります。
活用例としては、チャットボットの返信、文章の分類、問い合わせ内容の振り分け、要約、データの前処理などが挙げられます。料金は改定後、入力100万トークンあたり0.80ドル、出力100万トークンあたり4ドルです。実際の費用は入力文の長さやリクエスト数によって変わるため、導入前に利用量を試算しましょう。
- 大量の問い合わせを分類する
- 短い文章をすばやく要約する
- 定型的なデータ処理を自動化する
- 応答速度を重視したチャット機能を作る
AI画面操作を実現するcomputer useとは
computer useは、AIが画面の内容を確認し、人間に近い方法でパソコンを操作する機能です。これまでのAIは、操作方法を説明したり、コードを出力したりする存在でした。computer useでは、ブラウザを開き、ボタンを押し、フォームへ文字を入力するところまで実行できます。
イメージとしては、AIが「案内役」から「作業員」に近づいたと考えるとわかりやすいでしょう。人間が画面を見ながら行っていた操作を、AIがスクリーンショットなどの情報をもとに判断します。API（アプリ同士をつなぐ仕組み）経由で指示を送れば、決められた環境の中で一連のタスクを進められます。
「このサイトを開き、指定された情報を入力して、結果を一覧にまとめて」と頼むと、AIが複数の画面を移動しながら作業する。これがcomputer useの目指す体験です。
具体的には、Webサイトでの情報確認、フォーム入力、複数画面にまたがる設定変更、開発環境でのコード実行などに利用できます。専用APIが用意されていない古い業務システムでも、画面を通じて操作できる可能性がある点は、従来の自動化ツールとの大きな違いです。
業務自動化で期待される5つの活用方法
最初に導入しやすいのは、手順が決まっていて、繰り返し発生する作業です。たとえば、社内システムへ同じ形式のデータを転記する作業なら、AI画面操作によって担当者の負担を減らせます。人間は例外対応や内容の確認に集中できるようになります。
1つ目は、Web上の情報収集です。複数のページを開いて必要な項目を確認し、表に整理する作業を自動化できます。2つ目はフォーム入力で、申請内容や顧客情報を決められた欄へ転記する用途です。入力前後に人間の確認を入れれば、ミスの発見もしやすくなります。
3つ目は、複数画面にまたがる設定変更です。管理画面を移動しながら設定を更新する作業は、慣れていない人にとって負担になります。4つ目は開発環境の操作で、テスト実行やログ確認を補助できます。5つ目は定型的な事務処理で、定期レポートの作成やデータの整理などが候補になります。
- 情報収集と一覧化
- 定型フォームへの転記
- 管理画面の設定変更
- 開発環境でのテスト補助
- 定期的な事務処理
ただし、最初から複雑な業務を丸ごと任せるのは避けましょう。まずは失敗しても影響が小さい作業を選び、操作回数を少なくした検証環境で試すことが重要です。成功率や処理時間を記録すると、本番導入に向けた改善点も見つけやすくなります。
便利さと同時に考えるべき安全対策
AIに画面操作を許可するということは、クリックや入力の権限を渡すという意味です。誤ったボタンを押したり、入力先を間違えたりすれば、データの変更や情報漏えいにつながる可能性があります。そのため、便利さだけを見て導入を急ぐのは危険です。
まず重要なのは、AIに与える権限を必要最小限にすることです。管理者権限ではなく限定ユーザーを使い、決済、削除、公開などの重要操作には人間の承認を挟みます。パスワードや個人情報を画面に表示しない、テスト用データを使うといった工夫も有効です。
また、Anthropic自身も、この機能は実験段階であり、動作が遅い、操作を間違える、複雑な手順に失敗するといった可能性を説明しています。AIの判断結果をそのまま信じるのではなく、操作前後の画面や入力内容を記録し、異常があれば停止できる仕組みを用意しましょう。
安全に運用するための基本は、次の4点です。
- 重要操作の前に人間の承認を入れる
- 権限とアクセス範囲を限定する
- 失敗しても被害が出にくい環境で試す
- 操作ログを保存し、定期的に確認する
AIエージェントの未来と導入の進め方
computer useが進化すると、AIは質問に答えるだけでなく、目標を受け取って作業を進める存在になります。これまでの自動化は、専用APIや連携機能があるサービスに限られがちでした。しかし画面を操作できれば、ブラウザ上でしか使えないサービスや、古い業務システムも自動化の候補になります。
実際に、Asana、Canva、Cognition、DoorDash、Replit、The Browser Companyなどが、数十ステップから数百ステップに及ぶ作業で活用を試しています。これは、AIエージェントが単発の回答ではなく、複数の判断と操作を組み合わせる方向へ進んでいることを示しています。
導入を検討する企業や個人は、まず業務を細かく分解してみましょう。「毎日発生する」「手順が決まっている」「入力データが比較的きれい」「失敗しても復元できる」という条件に当てはまる作業から始めると、効果を確認しやすくなります。
人間の仕事がすぐにすべて置き換わるわけではありません。最初に変わるのは、繰り返しが多く、判断の幅が小さい作業だと考えられます。人間は目的の設定、例外への対応、最終確認を担い、AIは画面操作や転記を担当するという分業が、現実的な第一歩になりそうです。
AI画面操作は、まだ発展途上の機能ですが、業務自動化の入口を大きく広げる可能性があります。安全確認を前提に小さく試し、どの作業なら安心して任せられるかを見極めていきましょう。
出典: Claude 3.5モデルとcomputer useに関するAnthropicの発表
