Декодирование параметров LLM, часть 1: температура

Учебники

Параметры LLM

Как и любая модель машинного обучения, большие языковые модели имеют различные параметры, контролирующие вариацию выходного текста. Мы начали многочастную серию, чтобы объяснить детально влияние этих параметров. Мы завершим, найдя идеальный баланс в генерации содержимого с использованием всех этих параметров, которые были рассмотрены в нашей многочастной серии.

Добро пожаловать в первую часть, где мы обсуждаем самый известный параметр – “Температура”.

Температура

Если целью является контролировать случайность предсказаний, то температура – именно то, что вам нужно. Меньшие значения температуры делают выход более детерминированным, а более высокие значения делают его более творческим, позволяя различные результаты.

Посмотрим, как температура действует с использованием следующего кода и выхода. Чтобы проще представить важность, мы выбрали использовать трансформеры прикосновения и модель GPT2 в частности.

Python

 

Выход:

PowerShell

 

Посмотрим на выход:

  • Низкая Температура (0,3): Модель будет концентрироваться на наиболее вероятных выборах слов. Если вам важна точность и согласованность, тогда вы можете использовать температуру в этом диапазоне. Но помните, что модель может зациклиться на повторяющихся фразах, как и в нашем выходе здесь.
  • Средняя температура (0,5): Эта температура идеально балансирует согласованность и творчество. Это отличное среднее место, если вы хотите достаточного количества вариации без теряния структуры. Как вы можете видеть в выходе, добавлено немного сбалансированности, но вы все еще можете увидеть некоторую повторяемость в выходе.
  • Высокая температура (0,9): Эта температура усиливает LLM, делая его максимально творческим. Как вы можете видеть, этот выход отличается от двух предыдущих, приводя в состояние многочисленность и вариацию в содержимом.

Приведенный выше пример обозначает основное понимание температуры. Теперь посмотрим на нее более детально с несколькими примерами использования: “творчество историй” и “техническое объяснение”.

Посмотрим на это с помощью следующего кода, чтобы понять, как температура влияет на эти два приложения.

Python

 

Выход:

PowerShell

 

Теперь рассмотрим и анализируем выход для творчества историй и технического объяснения на основе настроения температуры и как она повлияла на выход. Также мы наблюдем, как настроение температуры идеально работает для одного из вопросов и совершенно другое для другого.

Творчество историй

  • Низкая температура (отрицательное влияние):Как вы можете видеть, выход истории очень повторяемый и несутщает разнообразие. Это не удовлетворяет творческому заданию, и крайнее повторяемость, вызванная неспособностью модели внедрять новаторские идеи, делает ее нежелательной для написания историй.
  • Высокая температура (Perfect Impact): Как вы можете видеть из выхода, история занимает интересные направления и является очень творческой.Output также добавляет много аспектов в историю, что делает ее разносторонней, воображаемой и идеальной для новаторской истории.

Техническое объяснение

  • Высокая температура (Negative Impact): Важно помнить, что поддержание фактической точности очень важно для использования, такого как техническое объяснение. Высокая температура приводит к многочисленности случайных событий и менее вероятных слов в генерируемом содержимом, что делает его неудовлетворительным для технического письма.同一可以从上面的输出推断，它太模糊，并且包含不相关的主意。
  • Korrekturierte Temperatur (Perfect Impact):  Мы настроили температуру на уровне, который обеспечивает идеальный баланс для генерации технического содержимого. Как вы можете видеть, выход гораздо более организован в настоящее время. Na diesem Temperaturwert erkennt das Modell die Überrepraesentation wie bei niedriger Temperatur und verliert Coherenz nicht wie bei hoher Temperatur.

Schlussfolgerung

Вы увидели все способы, в которых температура может влиять на генерацию содержимого и какая температурная настройка идеальна для каждого использования. Также обратите внимание, что настройка температуры не все для генерации содержимого; вам также нужно будет настроить другие параметры. Мы рассмотрим все это в следующих статьях в этой серии.

Source:
https://dzone.com/articles/decoding-llm-parameters-temperature