Как долго может длиться ответ в ChatGPT, прежде чем генеративный ИИ перестанет отвечать вам?
ChatGPT - это большая новость. Но насколько велики ответы, которые вы получаете от этого универсального чатбота?
Установить это не так просто, как вам кажется. Для начала задайте этот самый вопрос ChatGPT, и вас заверят, что длина его ответов не ограничена.
Однако, как мы выяснили здесь, все не так просто. Существуют скрытые ограничения на длину ответа ChatGPT, но есть также несколько интересных и простых обходных путей, которые помогут вам получить более длинные ответы.
Как ChatGPT определяет длину ответа?
Принцип работы ChatGPT сложен, и длина ответа зависит от того, о чем спрашивают, и от уровня запрошенной детализации.
Как показано на следующем скриншоте, ChatGPT утверждает, что строгих ограничений нет.
Скриншот ChatGPT, заявляющий об отсутствии лимитов
На самом деле это не то, что мы обнаружили.
В примере ниже показано, как ChatGPT внезапно останавливает ответ на середине предложения.
Мы попросили его написать эссе на тысячу слов о преимуществах циркулярной экономики.
ChatGPT перестал отвечать, когда дошел до 677 слов.
Скриншот остановки ChatGPT на середине предложения
Мы повторили тест несколько раз с разными вопросами, и каждый раз он останавливался на середине предложения; иногда это сопровождалось ошибкой сети.
Это распространенная ошибка, и существуют различные способы устранения сетевых ошибок в ChatGPT.
Частично ответ на вопрос, почему это происходит, кроется в системе маркеров.
Что такое система маркеров, которую использует ChatGPT?
Вместо простого подсчета слов для определения длины запросов и ответов, ChatGPT использует систему маркеров.
Она разбивает каждый вход и выход на ряд маркеров, используемых для классификации размера запроса и ответа.
Хотя количество слов играет определенную роль, это не вся история.
Например, приведенный ниже пример был введен в инструмент OpenAi's Tokenizer.
Скриншот теста инструмента ChatGPT Tokenizer
Предложение и ответ были "токенизированы" до значения в девять токенов. Это соответствует "эмпирическому правилу" OpenAI, согласно которому один токен эквивалентен трем четвертям слова.
Модель GPT 3.5 ограничивает вопросы и данные пользователя 4 097 лексемами.
По подсчетам OpenAI, это соответствует примерно 3 000 слов. Однако важно отметить, что это ограничение распространяется как на ответ, так и на вопрос.
Хотя в теории все это хорошо, результаты, с которыми мы столкнулись, никогда не приближались к этим пределам.
Неполный ответ, который ChatGPT выдал в нашем предыдущем тесте, весил всего 798 лексем.
Скриншот ответа Tokenizer на ответ ChatGPT
Почему ответы ChatGPT ограничены?
Эта зарождающаяся технология быстро стала самой обсуждаемой технологической разработкой этого века.
Это породило огромный спрос на ChatGPT. В конечном счете, этот спрос привел к тому, что количество ответов стало намного меньше заявленного предела.
Хотя официального подтверждения этому нет, похоже, что де-факто существует ограничение в пятьсот слов или 4 000 знаков.
В основном это объясняется огромным спросом на ChatGPT.
Это привело к неполным ответам и остановке ответов на середине предложения, но есть простые обходные пути, которые помогут вам получить более длинные ответы.
Несмотря на свои ограничения, ChatGPT остается замечательной технологической разработкой, которая будет продолжать развиваться и расширять качественные и количественные границы своей продукции.
Добавить комментарий