Два миллионера? Как?

Я написал статью некоторое время назад:#GPT4-Турбор 128к? Недостаточно? Недостаточно!Помнить GPT4-T Количество параметров контекста 128к, вот и все 100 10 000 английских символов, 50 Десять тысяч иероглифов кандзи, Кими как это сделать double из?

Действительно ли это возможно?

Есть ли конец расширению контекста?

Упоминалось в предыдущей статье RAG технология, т.е. Улучшения генеративного поиска,это может пройти API Звоните, запрашивайте страницы или читайте файлы, оптимизируйте извлекаемые данные, сокращайте текст или разметку, сохраняя при этом необходимую информацию, затем используйте разделитель текста для преобразования документов в абзацы и блоки кода, определения размера каждого абзаца, а затем выполнения семантической индексации и сохранения в них; векторная база данных перед ответом на пользовательский контент выбираются и вставляются в подсказку блоки абзацев, семантически соответствующие первоначальному запросу пользователя;

На просторечии это означает разделение, анализ, взвешивание и вставку контекстных подсказок в подсказки. Итак: если длину контекста можно бесконечно расширять, имеет ли технология RAG смысл?

image.png

Принцип Кими,Официальный сайт объясняет：# Kimi Chat Объявление результатов длиннотекстового стресс-теста «иголка в стоге сена»

«Игла» здесь — это ядро ​​«большой контекстной подсказки», ядро, которое нам нужно извлечь и проанализировать:

Есть интересные данные:

1. GPT-4 Turbo (128К) имеет плохую точность, когда длина корпуса превышает 72К и предложение («игла») скрыто в заголовке текста. (Это также то, что мы упоминали ранее)

2. Кажется, что Клод 2.1 имеет низкую точность после того, как длина корпуса превышает 20 КБ, и точность особенно низкая, когда предложение (игла) спрятано в передней части корпуса.

Результаты испытаний Кими Чата в эксперименте «иголка в стоге сена» следующие:

Результаты тестов Кими на удивление хороши!

Итак... что именно Кими сделал правильно?

Чиновник ничего вразумительного не сказал, но в итоге дал такое заключение:

Конкретные детали технической реализации лежат в основе большого количества сложных инженерных оптимизаций и инновационных алгоритмов. Это также является основным техническим барьером команды Кими и неизвестно.

Ответ внутренних участников:

думать:

Каким будет будущий конкурс крупных моделей? Два момента:

1. Точность данных – различные отрасли

2. Вычислительная мощность и мощность синтаксического анализа — здесь даже контекстный анализ большого текста!