, яка може писати тексти в 128 разів швидше за аналоги){kind=link}
Розробники Apple та Університету штату Огайо створили нову дифузійну модель Few-Step Discrete Flow-Matching (FS-DFM), яка може писати тексти в 128 разів швидше за аналоги, повідомив ресурс 9to5mac з посиланням на дослідження «FS-DFM: швидка і точна генерація довгих текстів за допомогою моделей мови дифузії з малою кількістю кроків»
Щоб дізнатись останні новини, слідкуйте за нашим каналом Google News онлайн або через застосунок.
Згідно з дослідженням, FS-DFM здатна записувати повні текстові фрагменти всього за вісім швидких кроків уточнення. Для отримання аналогічного результату по запису текстового фрагмента іншим моделям дифузії потрібно більше тисячі кроків.
Для цього дослідники використовують триетапний підхід: спочатку модель навчається обробляти різні види ітерацій уточнення. Потім вони використовують направляючу модель «вчителя», яка допомагає їй робити більші та точніші оновлення на кожній ітерації, не виходячи за рамки заданого тексту. І нарешті, вони виконують коригування роботи кожної ітерації з тим, щоб кінцевий результат був досягнутий за меншу кількість кроків при більш стабільній роботі моделі.
У порівнянні з більшими моделями дифузії, FS-DFM показала хороші результати за двома важливими метриками: перплексією та ентропією. Показник перплексії відображає якість тексту в мовних моделях. Чим він нижчий, тим точніше і природніше звучить текст. Ентропія відображає, наскільки впевнено модель вибирає кожне слово. Якщо ентропія занадто низька, текст може стати повторюваним або передбачуваним, але якщо вона занадто висока, він може виглядати незв’язним з випадковим набором слів.
У порівнянні з моделями дифузії Dream з 7 млрд параметрів і LLaDA з 8 млрд параметрів варіанти FS-DFM з 1,7 і 1,3, а також 0,17 млрд параметрів стабільно забезпечували меншу перплексію і більш стабільну ентропію протягом всієї кількості ітерацій. З огляду на отримані результати та потенціал нового підходу, Apple планує незабаром опублікувати код і контрольні точки своїх моделей для подальших досліджень і підвищення відтворюваності.
Читайте також:
- Apple показала перший трейлер науково-фантастичного серіалу Pluribus
- Apple згортає розробку нової Vision Pro: у пріоритеті розумні окуляри