Плагины ChatGPT, DALL-E 3, умные ассистенты!
Итак, давайте погрузимся в самые свежие обновления GPTunnel! Недавно мы внедрили целый ряд улучшений и расширений функционала. Но останавливаться на достигнутом не собираемся.
В этом посте мы поделимся взглядом на текущее состояние нашего продукта, а также раскроем планы на будущее и расскажем, что наши пользователи могут ждать в начале следующего года. Приготовьтесь к захватывающему путешествию в мир наших последних достижений и амбициозных планов!
1. Ассистенты
Многие из вас, возможно, уже заметили наш новый каталог ассистентов для ChatGPT. Это место, где каждый из вас имеет возможность создать персонального помощника и, если захочется, поделиться им с нашим сообществом. Или же, если предпочтение отдается конфиденциальности, использовать его для собственных нужд в частном порядке. Но давайте я объясню, зачем вам может понадобиться такой помощник.
Начнем с самого простого, ассистенты которые возьмут на себя ваши рутинные задачи Мы разработали несколько таких помощников, например:
«Грамотей» - исправляет тексты без лишних инструкций. Отправили текст ассистенту, и он быстро улучшит его, исправив ошибки.
«Перефразировщик» - обладает талантом красиво излагать мысли и может преобразовать ваше сообщение в более ясную и элегантную форму.
«CoPilot» - идеальный инструмент для программистов, который исправляет ошибки в коде, помогает писать программы и дает советы по разработке на различных языках программирования.
Ценность таких ассистентов заключается в экономии времени и средств. Постоянно объяснять ChatGPT, что от него требуется, может быть дорого и затратно по времени. А если у вас множество задач с необходимостью быстрого переключения между ними, то наличие ассистента становится не просто удобством, а необходимостью.
Настройте ассистента один раз, и потом легко выбирайте его через специальное меню в чате. А еще можно продумать промпты на английском, что в перспективе позволит экономить на использовании токенов. И это только основные функции, ведь возможности помощников намного шире.
2. Плагины на ChatGPT
Мы разработали интуитивно понятный метод создания плагинов для ChatGPT, который оснащен простым и доступным интерфейсом. Теперь каждый ассистент на нашей платформе GPTunnel может быть преобразован в плагин, расширяющий функционал моделей GPT-4 или GPT-3.5, и дать им возможность взаимодействовать с внешним миром через API.
Как это работает?
Вы создаете ассистента и добавляете в него API функции, указывая параметры, которые ваши функции принимают, и описывает текстом, чего следует ожидать от выполнения вашей API функции. Затем алгоритм ChatGPT берет на себя роль умника, определяя, какие функции и в какой последовательности следует вызывать. Мы же поддержим этот процесс, осуществляя вызовы на наших серверах в Яндекс.Облаке и обеспечивая передачу ответов чату, чтобы он мог предоставить вам идеально подходящий ответ!
В качестве примера мы разработали несколько помощников, которые используют внешний API для демонстрации функционала плагинов для ChatGPT.
Разберем на примере плагин, который информирует пользователя о погоде, используя бесплатный API и географические координаты. И самое замечательное, что вам даже не придется беспокоиться о деталях передачи данных в API.
Например, вы можете просто спросить: «Какая сейчас погода в Москве?» и ChatGPT автоматически определит местоположение, используя нужные параметры, обратится к API, получит данные и сообщит вам актуальную погодную информацию! Это только пример самого простого функционала, как можно использовать API зависит только от вашего воображения.
3. Базы знаний - embeddings
Вы, скажете: API - это великолепно, но что насчёт загрузки файлов в ChatGPT, чтобы использовать их как источник знаний? Мы часто слышим подобные запросы и спешим сообщить, что уже активно занимаемся разработкой этой функции! Сегодня я поделюсь с вами последними новостями о наших успехах в этом направлении.
Начнем с того, как вообще загрузить большие файлы в чат, когда в нем такое маленькое контекстное окно, и я говорю действительно о больших файлах размером в несколько гигабайт!
Решение есть - это векторная база данных, это такая база куда складываются файлы в виде embeddings (это такие числа, которые помогут нам определить значения слов в файле) образно говоря мы создаем 3D модель слов, но вместо привычных трёх измерений, мы будем использовать 1500 и больше, создавая многомерные пространства значений - это позволит нам понять, что «Газировка» и «Coca-cola» это одно и тоже, а вот «стол» и «телефон» означают практически одно и то же, а вот «стол» и «земля» - это сущности из совершенно разных миров.
Эти данные позволят нам эффективно отыскивать подходящий контент в файле для использования его в контекстном окне. Однако, стоит помнить об одном важном ограничении: мы не можем загружать в модель весь файл целиком, и пока такая возможность недоступна никому. Тем не менее, мы можем искать самую актуальную информацию среди гигабайт данных и использовать ее в качестве контекста на основе конкретного запроса – именно такие задачи мы и намерены выполнять.
Что касается создания эмбеддингов, они генерируются при помощи специальной модели от OpenAI под названием ada-embeddings. Да, это услуга платная – 1000 токенов обойдутся нам всего в 5 копеек. Не так уж и много, так что работать вполне возможно!
Это решение станет отличным помощником для работы с базами знаний, документацией и различными информационными справочниками. С векторной базой чат может быстро находить ответы на запросы, опираясь на продвинутые алгоритмы поиска. Однако, многие ошибочно полагают, что векторная база + ChatGPT способны выполнять более сложные задачи, такие как пересказ книги или написание рецензии. Нужно ясно понимать, что на данном этапе эти функции осуществимы лишь с применением тонкой настройки модели (fine-tuning), что является совершенно отдельной темой. Об этом мы поговорим подробнее в другой раз.
4. Новый DALL•E версия 3.0
Да! Мы подумали: почему бы и нет? OpenAI активно развивает свою diffusion модель и уже достигла впечатляющих успехов. А у нас есть возможность интегрировать эту технологию в чат. И мы решили реализовать интеграцию DALL-E 3 непосредственно в диалоговую систему. Чтобы оценить, как это функционирует, вы можете активировать эту опцию через меню настроек модели GPT-3.5-Turbo или GPT-4-Turbo, как это показано на скриншоте ниже.
Запуск создания изображения с DALL-E выглядит очень просто. Всё, что вам нужно сделать, это переключить тумблер и написать в чат запрос на генерацию картинки. Внутренний механизм ChatGPT создаст подходящий запрос (промпт) и поговорит с API DALL-E. В результате вы получите изображение, максимально соответствующее вашему запросу, всего за несколько секунд. Вот так это работает:
Что примечательно, DALL-E довольно успешно справляется с задачами по созданию изображений, требующих добавления текста на изображения, в отличие от MidJourney. Взгляните на то, как он решил задачу нарисовать флаг с надписью «hello» на Луне:
Безусловно, на данный момент MidJourney остается флагманом в мире diffusion-моделей, однако DALL-E уже демонстрирует весьма высокий уровень, и у OpenAI есть все шансы в скором времени изменить ход игры.
5. FaceSwap 2.0
Мы обновили модель замены лиц, теперь она выполняет замену лица более качественно и быстрее, но, как мы считаем, не идеально, поэтому работы над улучшением ещё ведутся!
Кроме того, мы расширили возможности нашего сервиса, добавив API для функции FaceSwap, и значительно усовершенствовали API для MidJourney. Отличная новость заключается в том, что теперь для использования API не обязательно иметь статус юридического лица. Чтобы получить доступ, достаточно связаться с нашим менеджером, поделиться с ним деталями вашего проекта, и он активирует для вас функцию отправки API-запросов в наш сервис.
Заключение
Поскольку статья получилась довольно объемной, и это при условии, что в ней написаны только самые ключевые аспекты нашего обновления, давайте заканчивать :)
Отметим, что у нас довольно масштабные планы на 2024 год, и вы увидите много интересных развитий для бизнес-решений, новых увлекательных моделей в сфере звука и видео. Но самое главное, сервис будет оттачивать свою стабильность и лаконичность, чтобы оставаться лучшим на рынке!
