Объяснение языковых моделей: как машины понимают и генерируют текст
Современные большие языковые модели, такие как BERT или GPT, основаны на структуре под названием «трансформер». Такая архитектура оказалась самой эффективной и давала лучшие результаты, чем статистические или RNN-модели. Например, хорошо известно, что Джек Николсон — болельщик «Лейкерс». Что произойдёт, если он вдруг откажется от своего фэндома, станет болельщиком «Пэйсерс» и переедет в Индианаполис? Маловероятно, что языковая модель столкнулась бы с этим в процессе обучения, а значит, в её словаре вряд ли найдутся суперслова, представляющие Джека Николсона как фаната «Пэйсерс». Во-первых, для создания даже не очень большой языковой модели — до 35 млрд параметров — нужно собрать кластер GPU, графических процессоров.
- Декодер создает контекст и создает окончательный вывод, используя выходные данные кодировщика.
- Хотя мы не можем напрямую увидеть мультивселенную, у нас есть способы исследовать и визуализировать мультиверсальную структуру реальности.
- «Сад расходящихся тропок — это огромная загадка или притча, предметом которой является время.
- Класс конфигурации дообучения LoRA называется LoraConfig, а класс для запуска обучения из библиотеки trl называется SFTTrainer.
Какие опасности есть у применения ИИ?
Он приносит возможность дообучения небольшой части параметров модели, с незначительным падение точности, по отношению к полному дообучению. Полное дообучение модели является операцией, требующей большого объема памяти из-за необходимости хнанения градиента ошибки для каждого параметра модели. Это требует гораздо большего обьема памяти, чем инференс модели. В настоящее время наиболее используемым оптимизатором для языковых моделей является AdamW [15], суть метода заключается в отдельной регуляризации затухания весов.
Что можно посоветовать тем, кто хочет связать свою карьеру с ИИ?
Различные техники дополнения и преобразования данных, а также измерения качества были тщательно изучены в статье [20]. Примечательно, что Microsoft провело исследование по генерации датасета для дообучения языковой модели инструкциями [21]. Конкретные промпты, используемые в исследовании, представлены в их статье. Мне кажется, что языковые модели — особенно большие языковые модели, с которыми общается сейчас много людей — это адронный коллайдер для языка. https://ilovelatins.com/members/coilcrime5/activity/196813/ Мы впервые находимся в ситуации, когда мы можем задокументировать человеческое общение в таком объёме, причём в условиях, которые мы можем контролировать. Следовательно, Перплексия может не быть лучшей мерой качества, так как она оценивает качество таких моделей косвенно. Явный способ оценки языковых моделей, настроенных на выполнение инструкций, основан на специализированных наборах тестов, таких как Massive Multitask Language Understanding (MMLU), HumanEval для кода, Mathematical Problem Solving (MATH) и другие. Стоит отметить, что модели на основе RNN используются и для обучения векторных представлений языка. В частности, наиболее известными моделями являются ELMo (2018) и ULMFiT (2018). Графические процессоры позволяют параллельно обрабатывать огромные объемы данных. Для компьютерных лингвистов и для прикладников, занимающихся языковыми моделями, очевидно, что язык включает в себя разные подмножества и поджанры. В этом смысле код, написанный на любом языке программирования с человеческими комментариями на естественном языке, — это просто подмножество внутри обучающего корпуса. Однако с кодом ровно та же ситуация, что и с другими данными, — очень мало не только качественного, но даже плохого кода. Помимо того, что для обучения нужны качественные данные, https://artificial-intelligence.blog.gov.uk они должны быть репрезентативными и отражать всю вариативность языка. Мы хотим, чтобы были представлены действительно в разном объёме разные задачи, разная сложность, разные жанры, разные языки. http://king-wifi.win//index.php?title=locklearhatfield5673 Должны быть и чатики из интернета, и 4chan, и художественная литература разных веков, и Шекспир, и Сорокин. Мне показалось интересным думать о языковых моделях как о стохастических динамических системах, а о мультивселенных, которые они порождают, как о совокупностях разветвляющихся траекторий в гипотетическом фазовом пространстве. Насколько нам известно, наиболее точно мы можем предсказать любую систему, если смоделировать её с помощью квантовой механики. Будущее на самом деле еще не написано, за исключением вероятностей. Обучение людей многофакторное и включает эмоциональные, социальные и практические аспекты. Нейросеть должна увидеть максимально разнообразный язык, потому что только так она сможет генерировать текст в разной стилистике. Если обучать её только на «Википедии», то у неё не получится написать интересный пост для Instagram. Стали появляться более интересные программы на сложных алгоритмах, выдающие вполне осмысленные ответы на вопросы пользователя (например, сервис вопросов-ответов Ask Jeeves), которые легли в основу «поисковых машин» типа Google, Yandex и т.п.