Искусственный интеллект в смартфонах — это не просто технологии, меняющие нашу повседневную жизнь и подход к коммуникациям. Он помогает решать множество задач: от профессиональных и до творческих, от рутинных и до неординарных.
Трендом последних лет стала презентация AI-фишек во время анонса новых устройств. Производители больше сосредоточены не на улучшении технических характеристик смартфонов, а на расширении их программных возможностей с помощью искусственного. Операционные системы становятся уникальными не благодаря визуальному оформлению, а посредством новых инструментов, улучшающих пользовательский опыт.
Запускаю серию публикаций о возможностях искусственного интеллекта в современных смартфонах. Эти статьи будут регулярно обновляться, что позволит дополнять описание новых технологий, которые с выходом обновлений станут доступны пользователям. Вы сможете не только узнать больше о фишках, которые предлагают разные производители, но и сравнить их в реальных сценариях.
Первая публикация посвящена технологиям Apple. Презентация iPhone нового поколения прошла в сентябре 2024 года и позволила получить немного новой информации о возможностях Apple Intelligence. Ожидается, что релиз некоторых AI-технологий мы увидим в конце осени 2024 года. Со временем Apple расширит пакет Apple Intelligence, добавив новые функции и увеличив количество стран, где они будут доступны.
Что такое Apple Intelligence? Это набор технологий и пользовательских функций, построенных на основе искусственного интеллекта и доступных на устройствах и в сервисах Apple. Apple Intelligence будет доступен на iPhone, iPad, Mac, Watch и других устройствах компании. Благодаря машинному обучению сервисы компании будут предлагать не только индивидуальный контент, но и персональные рекомендации в привычных сценариях использования. Хотя Apple не рекламирует свой искусственный интеллект также ярко и масштабно, как другие компании, например Google или OpenAI, однако ожидается, что именно Apple сможет предложить уникальные возможности, которые будут реально направлены на улучшение пользовательского опыта.
Вот некоторые из ключевых аспектов Apple Intelligence, о которых известно на данный момент.
Помощник Siri, готовый к диалогу
Голосовой ассистент Siri — это инструмент для коммуникации пользователя с искусственным интеллектом Apple. Siri станет важным элементом Apple Intelligence:
- Продвинутое понимание голосовых команд и выполнение действий, таких как отправка сообщений, настройка напоминаний, запуск приложений и управление устройствами;
- Siri станет более контекстно осведомленной и сможет обрабатывать более сложные запросы. Например, она будет задавать уточняющие вопросы, продолжать диалог, использовать мультимодальные данные с учётом местоположения и времени и автоматически обращаться с запросами к ранее сохраненным сведениям;
- Siri будет рекомендовать приложения и действия в зависимости от контекста (например, появится предложение отправить сообщение определенному контакту, если пользователь часто взаимодействуете с ним в это время дня). Они будут появляться на экране блокировки или в поиске на основе пользовательских действий и привычек.
Все еще привычный, но уже более индивидуальный интерфейс
Apple планирует сделать оболочку более персонализированной под конкретного пользователя:
- Система будет способна предлагать пользователям удобные способы взаимодействия с устройствами, учитывая предпочтения;
- Алгоритмы смогут оптимизировать работу системы и батареи, используя машинное обучение для предсказания и адаптации к поведению пользователя;
- Можно будет создавать свои команды или использовать предложенные сценарии для выполнения задач (например, включение музыкального плейлиста, когда пользователь подключается к домашнему Wi-Fi);
- Искусственный интеллект будет запоминать и предлагать часто используемые команды или повторять последовательность действий в интерфейсе;
- Функция Focus будет определять и выводить наиболее значимые уведомления; срочные уведомления всегда будут выше остальных в перечне (например, с напоминаниями о задачах или сведениями о ближайшей поездке).
Управление галереей для творческих задач
Apple использует собственные алгоритмы машинного обучения для улучшения работы с фотографиями:
- Распознавание лиц и объектов – искусственный интеллект позволит автоматически распознавать и группировать людей, объекты, места и сцены на фотографиях в альбомы;
- Функция поиска в приложении «Фото» позволит легко находить снимки и фрагменты в роликах по ключевым словам (например, достаточно написать «собака» и обнаружить в галерее снимки питомцев);
- Автоматически создаваемые подборки фото и видео на основе событий и поездок станут интереснее и разнообразнее благодаря новым сюжетам;
- Image Playground позволит генерировать изображения в различных стилях на основе пользовательских запросов, в том числе с учетом библиотеки снимков;
- Genmoji предложит создать реалистичные эмодзи и аватары, в том числе на основе запросов и загруженных фотографий;
- Image Wand позволит создавать изображения с учетом окружающего контекста – на основе эскизов и дополнительного описания;
- Появится интеллектуальный инструмент очистки фоновых объектов на фотографиях;
- Камера iPhone сможет распознавать объекты в кадре и показывать дополнительную информацию о них (например, можно будет узнать породу собаки).
Распознавание текста для рабочих сценариев
Apple представляет инструменты Writing Tools для распознавания текста на изображениях и работы с ним:
- Появится возможность выделять, копировать текст прямо с фотографий или скриншотов, а затем его сохранять, отправлять или использовать в стороннем приложении;
- Ожидается поддержка работы с текстом в реальном времени через камеру;
- Алгоритмы машинного обучения помогут предсказывать ввод текста и исправлять ошибки, адаптируясь к пользовательскому стилю письма. Будут всплывать контекстно-релевантные предложения слов и фраз для ускорения набора текста;
- Появится возможность получить краткую справку об объемном тексте, в том числе получить выдержки из длинных переписок по электронной почте и в мессенджере;
- Пользователям будет доступен многократный рерайт текста в автоматическом режиме;
- Аудиозаписи, в том числе телефонные разговоры и записи на диктофон, можно будет перевести в текстовый формат, чтобы сохранить расшифровки в заметках;
- Функция Smart Reply поможет не упустить вопросы, которые пользователю задали в переписке – происходит быстрая группировка вопросов и подготовка кратких ответов на них.
Функции для фитнеса и улучшения здоровья
Apple планирует использовать искусственный интеллект для поддержания здоровья пользователей, занимающихся спортом:
- Фирменный софт для фитнеса на Apple Watch и iPhone получит доступ к машинному обучению для анализа движений, распознавания активности, отслеживания сна, чтобы сформировать точечные рекомендаций по тренировкам;
- Приложение «Здоровье» будет использовать искусственный интеллект для предоставления более детализированных отчетов и рекомендаций на основе данных пользователя.
Конфиденциальность данных превыше всего
Важным аспектом Apple Intelligence является обработка данных на непосредственно устройстве (on-device):
- Модели машинного обучения работают локально на iPhone или iPad, что позволяет сохранять конфиденциальность данных пользователя;
- Apple заявляет, что минимизирует передачу данных в облако, стремясь защитить приватность пользователей и сохраняя персонализацию функций.
Машинное обучение в приложениях нового поколения
Разработчики смогут использовать Apple Core ML — платформу для машинного обучения:
- Интегрировать модели искусственного интеллекта в приложения для прогнозирования действий, анализа данных и принятия решений прямо на устройстве без необходимости подключения к облачному серверу;
- Приложения, использующие Core ML, смогут выполнять такие задачи, как распознавание изображений, обработка естественного языка и прогнозирование.
Стоит отметить, что в Siri интегрированы функции ChatGPT от OpenAI. Голосовой ассистент сможет подключаться к ChatGPT для определенных запросов, включая пользовательские вопросы о фотографиях. Доступ к ChatGPT в рамках использования функций Apple Intelligence будет неявным, бесплатным и не потребует дополнительной авторизации. Текстовые инструменты или Writing Tools разработаны непосредственно Apple.
Ожидается, что функции Apple Intelligence в бета-статусе частично станут доступны пользователям этой осенью и будут работать на английском языке. Первыми попробовать возможности искусственного интеллекта смогут владельцы iPhone 16 всех версий, iPhone 15 Pro и iPhone 15 Pro Max; iPad Pro и iPad Air с чипами M1 и новее, а также пользователи MacBook Air и Pro, iMac и Mac mini с чипами M1 и новее; Mac Studio с чипами M1 Max и новее; Mac Pro с чипом M2 Ultra.
Реализацию Apple Intelligence на других языках можно ожидать лишь в 2025 году, как и запуск всего пакета отмеченных функций. Стоит сказать, что многое из описанных возможностей уже доступно на смартфонах с Android, однако качество работы существующих AI-фишек далеко от совершенства.
Apple Intelligence позволит создавать интуитивные сценарии использования на устройствах Apple, а искусственный интеллект будет работать незаметно для пользователя.