Foundation Modelフレームワークにより、Apple Intelligenceの中核をなすオンデバイスの基盤モデルに直接アクセスして、インターネット接続なしでも機能する、プライバシー重視のスマートな体験を構築できるようになりました。Swiftをネイティブにサポートしているため、わずか3行のコードで基盤モデルのパワーを利用できます。このフレームワークでは、テキストの抽出や要約などのモデル機能を利用して、アプリのインテリジェントな機能を強化できます。Foundation Modelフレームワークにはガイド付き生成やツール呼び出しなどの機能も組み込まれているため、かつてないほど簡単に、インテリジェントな体験を既存のアプリやゲームに実装できます。
Apple Intelligence
Apple Intelligenceは、iPhone、iPad、Mac、Apple Vision Pro、Apple Watchの中核にパワフルな生成モデルをもたらすパーソナルインテリジェンスシステムで、ユーザーのコミュニケーションや仕事に役立つ驚くような新機能を備えています。Apple Intelligenceの機能をアプリに直接組み込んだり、App Intentを介してシステムのさまざまな場所に統合したり、モデルを直接活用して独自のインテリジェントな体験を構築することができます。
Apple Intelligenceの特徴
Foundation Modelフレームワーク
ビジュアルインテリジェンス
iPhoneのカメラだけでなく、iPhone画面でもビジュアルインテリジェンスを利用できるようになりました。ユーザーは、スクリーンショットを撮影する時と同じボタンを押すことで、画面上のコンテンツを検索したり、操作したり、コンテンツについて質問したりできます。
App Intentを使用して、アプリの検索機能をビジュアルインテリジェンスに統合すると、iPhone画面上のコンテンツや周囲の物理的なオブジェクトをアプリ全体でビジュアル検索できるようになります。
ショートカット
ショートカットアプリで、新しいインテリジェントなアクションを効果的に組み合わせて便利なアクションを構築できるようになりました。App Intentを活用して、アプリのアクションやエンティティを作文ツール、Image Playground、新しい「モデルを使用」アクションなどの機能と連携させることができます。「モデルを使用」アクションでは、ユーザーは、オンデバイスで直接、またはプライベートクラウドコンピューティングを介してApple Intelligenceモデルを利用し、ショートカットのほかの部分にフィードされる応答を生成できます。
ジェン文字
アプリの使用中、あらゆる瞬間にぴったりな絵文字を作成できるようにして、アプリをパワーアップしましょう。ジェン文字に新しい方法が追加され、お気に入りの絵文字やジェン文字と説明テキストを組み合わせて、まったく新しい絵文字を作成できるようになりました。ユーザーは、家族や友人からインスピレーションを得たジェン文字をさらに細かく制御できます。
システムのテキストコントロールを使用すると、アプリ内でジェン文字が自動的にステッカーとしてサポートされます。また、カスタムテキストエンジンでジェン文字をレンダリングするためのAPIも用意されています。
Image Playground
Image Playgroundは、コンセプトを選び、説明を入力し、写真ライブラリにある人物を使用してユニークな画像を作成するためのアプリです。家族や友人からインスピレーションを得た画像をさらに制御し、ChatGPTでより多くのスタイルを利用できるようになりました。
Image Playground APIを使用すると、これらの新しい画像作成機能をアプリからサポートできます。また、Image Creator APIを使用すると、オンデバイスモデルを使用して、アプリの体験内でプログラムによって画像を作成できます。
作文ツール
作文ツールはシステム全体に組み込まれており、文章の書き直し、校正、要約に利用することができます。標準のUIフレームワークを使用してテキストフィールドをレンダリングしている場合、アプリで自動的に作文ツールを使えるようになります。また、これらの機能をアプリで利用できるようにするためのAPIも用意されています。
