Премиум-доступ к результатам исследования Nova sapiens за язварь, февраль 2025 г.
Бэкстейдж. Сначала я собрал 4000 исследований с помощью Python-скрипта, который полностью написал GPT. Затем тем же способом сделал инструмент для извлечения текста из PDF. После этого подключил API Claude для первичной оценки релевантности каждого исследования от 1 до 100, и таким образом осталось 1200 лучших работ.
Эти 1200 документов начал саммаризировать через API Claude, попросив нейросеть выделить суть и привести практические примеры. Когда начал изучать результаты, сразу понял, что промт получился неудачным: в выдаче оказалось много нерелевантных исследований. Несколько дней экспериментировал с формулировками промтов, читая материалы и постепенно дорабатывая подход. Сжег много денег по API на тесты и повторные тесты. В итоге удалось добиться качественного отбора: получил исследования с ценными практическими техниками, которые можно применять сразу, без сложной технической инфраструктуры или дообучения моделей.
Затем сформировал таблицу с описанием подходов и сделал PDF с краткими выводами. Но этот PDF показался мне перегруженным: информации много, а системности не хватает. Чтобы исправить это, решил использовать RAG, ведь его упоминал практически каждый второй исследователь как мощный инструмент для работы со сложными данными.
Я загрузил 300 самых полезных саммари в векторную базу и на её основе начал формировать полноценные статьи с помощью Claude Sonnet 3.7. Именно здесь произошёл прорыв: статьи получились глубокими, структурированными и очень практичными. Комплексные данные из векторной базы позволили создавать отчеты по исследованиям с человеческим языком и высоким уровнем экспертности.
Из более чем 70 таких статей я собрал тематическую структуру, разбил её по меню и получил что то типа локального сайта, который можно скачать архивом и юзать. Для автоматизации работы с векторной базой использовал n8n.
Для широкого доступа создал Telegram-бота на основе GPT-4.1 mini, который отвечает на вопросы по конкретным исследованиям и методам из базы. Чтобы избежать абуза, ограничил доступ до 20 запросов в день для одного пользователя.
————-
В данный момент собираю данные за весь 2024 и частично за 2023 год (в 23м было найдено исследователями много интересных техник), также собираю еще самый свежак за март и апрель. Хочу построить умного бота, который знает все мощные и доказанные техники по практическому промтингу. Еще будет полноценный webсайт для Ru и на весь мир, проект уже дописывается.
Что входит в комплект полного доступа:
Полная книга с кратким изложением 293 самых ценных исследований по промпт-инжинирингу (январь-февраль 2025).
293 отдельных PDF-отчёта по каждому исследованию (для детального изучения).
73 статьи в формате HTML (а также PDF и Markdown), подготовленные по этим же исследованиям для удобного чтения.
Исходные документы всех 293 исследований в полном виде + удобная таблица для навигации и быстрого поиска нужной информации.