Как работают LLM

Языковые модели, большие и малые, окружают нас повсюду. Узнайте, что такое корпус и как модели предсказывают следующее слово.

Узнайте, как биграммная модель предсказывает следующее слово по одному слову контекста и что такое марковское предположение.

Узнайте, как окно контекста N-граммной модели растёт вместе с N, и почему более широкий контекст — это компромисс, а не улучшение.

Узнайте, как N-граммные модели превращают подсчёт слов в вероятности, и научитесь читать таблицы частот биграмм.

Управляйте креативностью ответов языковой модели.

Посмотрите своими глазами, как ответы языковой модели становятся лучше.

Предсказания модели каждый раз немного мимо. Эта величина называется потерями.

Перед обучением текст нужно почистить и привести к единому виду.

Как предобработка должна обходиться с заглавными буквами?

Как предобработка должна обходиться со знаками препинания?

Слова состоят из более мелких единиц — токенов, на которых и обучают модели.

Разберите по шагам популярный алгоритм токенизации текста.

Глубокие сети учатся предсказывать, подстраивая параметры на обучающих данных.

Обучение подбирает параметры, спускаясь по потерям к минимуму.

Градиентный спуск автоматизирует обучение, шаг за шагом подталкивая параметры вниз по склону.

Разберите по слоям, как нейросеть превращает картинку цифры в предсказание.

Глубокие сети выучивают наборы измерений, которые вытаскивают и объединяют признаки.

Автокодировщики сжимают изображения в латентные векторы, которые сохраняют ключевые признаки лица.

В сжатом изображении хватает информации, чтобы узнавать лица.

Латентное пространство укладывает лица так, что плавное движение по нему порождает новые лица.

Сдвиньте вектор лица — и на случайном снимке расцветёт улыбка.

Глубокие сети обрабатывают данные слоями, а слой умеет всего два простых действия.

Глубокие сети измеряют и складывают данные, чтобы преобразовать их под сложные задачи.

Слои, поставленные друг за другом, позволяют сети преодолеть предел внутренней размерности.

Научитесь находить в тексте пары соседних слов.

Считайте пары соседних слов с помощью кортежей.

Порождайте новый текст по карте связей исходного.

Улучшите модель, расширив контекст.

Научитесь читать текстовые файлы на Python — первый шаг к генерации текста.

Используйте словарь, чтобы посчитать, как часто встречается каждое слово.

Посчитайте, как часто встречается слово, с помощью словарей и счётчиков.