Модель искусственного интеллекта Phi от Microsoft – маленькая, дешевая и не страдает “галлюцинациями”. Вот что говорят о новой языковой модели, которой пророчат большое будущее.
GPT совершенно замечателен, но он, в то же время, ужасно дорогой, кроме того, он не может быть идеальным для всех и каждого. По этим и многим другим причинам Microsoft экспериментирует с гораздо меньшими моделями искусственного интеллекта. Говорят, что Phi-3-mini может даже посрамить работу инженеров OpenAI.
Также интересно: Транзисторы будущего: Нас ждет новая эра чипов
ChatGPT – это изобретение, которое финансируется, курируется и совершенствуется Microsoft. Вообще-то, оно принадлежит не Microsoft, а компании OpenAI, которой Microsoft не владеет (она является ведущим, хотя и не самым крупным, инвестором). Языковая модель GPT дала Microsoft гигантское преимущество перед остальными крупными технологическими корпорациями, которые сейчас спешат наверстать упущенное. Однако проблем с GPT существует множество, многие из которых пока что невозможно решить.
Прежде всего, это очень ресурсоемкая языковая модель. Веб-ориентированный Microsoft Copilot или ChatGPT от OpenAI генерируют очень высокие операционные расходы для Microsoft. Это особенность не только GPT, но и всех крупных языковых моделей. Кроме того, GPT, как и его конкуренты, имеет склонность к “галлюцинациям”, то есть может генерировать ответы на запросы, которые содержат ложную или недостоверную информацию. Чем больше данных поглощает такая модель, тем больше она склонна генерировать подобный контент. Поэтому галлюцинации и ложные утверждения не являются высосанным из цифрового пальца мифом. Пользователи нередко отмечают, что большие языковые модели часто ошибаются, дают неточные данные, оперируют несуществующими фактами.
Обе проблемы очень серьезные, поэтому OpenAI, Microsoft, Meta, Google и другие работают над разработкой не только технологии Large Language Model, но и Small Language Model, которая на практике может давать гораздо лучшие результаты.
Цифровому помощнику бухгалтера не обязательно много знать о квантовой физике. Он может быть намного меньшим и менее сложным (и, следовательно, более дешевым) и, тренируясь только на данных, необходимых для его предназначения, теоретически должен меньше галлюцинировать. Хотя это легче сказать, чем сделать. Технология GenAI все еще остается “диким западом” ИТ. И хотя работа продвигается беспрецедентными темпами, практически сделать прорывы по принципиальным вопросам все равно сложно. Но компания Microsoft недавно объявила о таком прорыве. Речь о малой языковой модели Microsoft Phi.
Также интересно: Что нового в Windows 11 Moment 5
В первую очередь, следует отметить, что эксперимент проводился без участия компании OpenAI. То есть, это разработка именно инженеров Microsoft.
Модели Microsoft Phi – это серия малых языковых моделей (SLM), которые достигают исключительных результатов в различных тестах. Первая модель, Phi-1, имела 1,3 миллиарда параметров и достигла лучших результатов кодирования на Python среди существующих SLM.
Затем разработчики сосредоточились на понимании языка и мышлении, создав модель Phi-1.5, которая также имела 1,3 миллиарда параметров и показала производительность, сравнимую с моделями в пять раз большими по параметрам.
Phi-2 – это модель с 2,7 миллиардами параметров, которая демонстрирует выдающиеся способности к мышлению и пониманию языка, работая на уровне лучших базовых моделей с 13 миллиардами параметров. Phi-2 выделяется среди других моделей благодаря своим инновациям в масштабировании моделей и обучении кураторству данных.
Она доступна в каталоге моделей Azure AI Studio, который способствует исследованиям и разработкам в области языковых моделей. Phi-2 была выпущена в декабре 2023 года. Разработчики уверяют, что она работает так же хорошо, как Mistral или llama 2 от Meta. А Phi-3 работает еще лучше, чем предыдущая версия.
Однако модель Phi-3, которая только что была анонсирована, является абсолютно новой качественно. По крайней мере, об этом можно судить из информации, предоставленной Microsoft. По заверениям компании, согласно показателям всех известных бенчмарков, Phi-3 работает лучше, чем любая другая модель аналогичного размера, в том числе, в анализе языка, работе по программированию или математической работе.
Phi-3-mini, самый маленький вариант этой модели, только что стал доступным для всех заинтересованных лиц. То есть, он доступен уже с 23 апреля. Phi-3-mini имеет 3,8 миллиарда параметров и, согласно измерениям Microsoft, вдвое эффективнее, чем любая другая модель такого же размера. Ее можно будет найти в каталоге ИИ-моделей облачного сервиса Microsoft Azure, платформе моделей машинного обучения Hugging Face и фреймворке для запуска моделей на локальном компьютере Ollama.
Как утверждает Microsoft, для Phi-3-mini не нужны мощные чипы Nvidia. Модель может работать на обычных компьютерных чипах. Или поместиться даже на телефон, который не подключен к интернету.
Меньшая мощность означает и то, что модели будут не такие точные. Phi-3 не подойдет для медиков или налоговиков, но поможет в более простых задачах. Например, для таргетирования рекламы или обобщения отзывов в интернете.
Поскольку меньшие модели требуют меньшей обработки, их использование будет дешевле для частных компаний. То есть у Microsoft появится больше клиентов, которые хотели бы привлечь ИИ в свою работу, но считали это слишком дорогим. Однако пока непонятно, сколько они будут стоить.
Пока не известно, когда появятся модели small и medium. Но последняя будет мощнее и дороже. Хотя уже известно, что Phi-3-small будет иметь 7 млрд параметров, а Phi-3-medium аж 14 млрд параметров.
Читайте также:
GPT-4 Turbo требует мощных чипов для искусственного интеллекта, которые стоят пока что очень дорого. Малая языковая модель Phi-3 может работать в автономном режиме, без облака, даже с помощью чипа на мобильном телефоне.
Phi-3 – это не продукт для конечных пользователей, а технология, которую разработчики смогут использовать и внедрять в свои приложения – как облачные, то есть, удаленно размещенные, а так и те, что работают локально и офлайн. Предполагается, что он будет бесперебойно работать с устройствами и их компонентами, такими как мобильные телефоны, автомобили и их информационно-развлекательные системы, или даже датчики Интернета вещей. В некоторых сценариях эта технология может оказаться бесценной.
Microsoft даже приводит конкретный пример, чтобы нам не приходилось напрягать свое воображение. Представьте себе фермера, который осматривает свои посевы и видит признаки болезней на листьях, стеблях и ветвях. Даже находясь вдали от телекоммуникационных вышек, ему нужно будет лишь достать телефон, сфотографировать повреждения, поместить его в приложение, использующее технологию Phi-3 – и модель быстро и офлайн проанализирует фото и даст советы, как именно бороться с этой болезнью.
Как объясняет Microsoft, ключ к успеху GPT заключался в привлечении огромного количества данных для обучения. С такими большими массивами информации не может быть и речи о высоком качестве данных. Между тем, при обучении модели Phi использовался совершенно противоположный OpenAI подход. Вместо того, чтобы наполнять модель информацией, основное внимание уделялось постепенному и тщательному обучению.
Вместо того, чтобы использовать необработанные интернет-данные, разработчики Microsoft создали набор данных TinyStories, сгенерировав миллионы миниатюрных “детских” историй. Эти истории использовались для тренировки очень маленьких языковых моделей. Затем исследователи пошли дальше, создав набор данных CodeTextbook, который содержал тщательно отобранные, общедоступные данные, которые были отфильтрованы по образовательной ценности и качеству контента. Затем эти данные фильтровались несколько раз и возвращались обратно в большую языковую модель (LLM) для дальнейшего синтеза.
Все это позволило создать массив данных, достаточный для обучения более способного SLM. Кроме того, в процессе разработки модели Phi-3 был использован многоуровневый подход к управлению рисками и минимизации, включая оценку, тестирование и ручную корректировку. В результате, как утверждает Microsoft, разработчики, использующие семейство моделей Phi-3, могут воспользоваться набором инструментов, доступным в Azure AI, для создания более безопасных и надежных приложений.
Читайте также: Революция поиска. На что я заменил Google и какой ИИ в итоге выиграл гонку вооружений
Совсем нет. Малые языковые модели (SLM), даже если они обучены на высококачественных данных, имеют свои ограничения и не предназначены для глубокого усвоения информации. Большие языковые модели (LLM) превосходят SLM в сложных рассуждениях благодаря своему размеру и вычислительной мощности. LLM есть и будут оставаться особенно полезными в таких областях, как, например, открытие лекарств, где нужно выполнять поиск в огромных коллекциях научных работ и анализировать сложные закономерности. С другой стороны, SLM можно использовать для более простых задач, таких как обобщение основных моментов документа с длинным текстом, создание контента, или обеспечение работы чат-ботов службы поддержки клиентов.
Microsoft, по ее словам, уже внутренне использует гибридные наборы моделей, где LLM берет на себя ведущую роль, направляя определенные запросы, которые требуют меньшей вычислительной мощности, на SLM, в то время как сама она обрабатывает другие, более сложные запросы. Рһі позиционируются для вычислений на устройствах, без использования облака. Однако все равно будет существовать разрыв между малыми языковыми моделями и уровнем интеллекта, который можно получить с помощью больших моделей в облаке. Этот пробел, благодаря постоянному развитию LLM, вряд ли исчезнет в ближайшее время.
Phi-3 еще должен быть проверен внешними независимыми сторонами. Microsoft иногда говорит о в 25 раз более высокой эффективности или энергоэффективности в крайних случаях по сравнению с конкурентами, что звучит довольно-таки сказочно. Хотя, с другой стороны, нельзя забывать, что за эти годы Microsoft немного отучила нас от того, что она является явным лидером в IT-инновациях, и, возможно, именно поэтому мы этому не очень верим. Программы на основе искусственного интеллекта, которые мгновенно реагируют и работают в автономном режиме, а не генерируют? Это было бы достойной кульминацией нынешней революции. К сожалению, есть одна ключевая проблема.
Читайте также: Midjourney V6: все о следующем поколении ИИ
Phi-3 массово не поглощал петабайты, брошенные в его сторону. Тщательное и скрупулезное обучение модели предполагает одну незначительную проблему. Phi-3 прошел обучение с информацией на английском языке и пока не имеет представления ни об одном другом языке. Не только украинский, но и немецкий, испанский, французский или китайский. Конечно, это значительно снижает его привлекательность для большинства пользователей по всему миру.
Но в Microsoft заверили, что ведется работа над его развитием и усовершенствованием. Хотя не стоит обманывать себя тем, что украинский рынок является приоритетным для любой из крупных корпораций. Поэтому поддержки украинского языка придется ждать очень долго. А ведь этот факт никогда не останавливал энтузиастов и тех, кто хочет идти в ногу с прогрессом.
Читайте также:
Leave a Reply