🔥 Горю идеей
👁 184
Случилось так, что новый проект сейчас меня сильно драйвит, и я этому очень рад. Вчера работал 12 часов подряд, закончил ближе к 2 часам ночи. Сегодня продолжил. Зато получил отличный результат.
Вчера я писал, что скорее всего буду использовать простую доработку парсера. Так вот, после ряда тестов и проверок гипотез пришел к варианту попробовать бесплатные возможные AI. Читал статью, где один из пользователей использовал gemeni и его API. Не долго думая - перевел рельсы своего парсера на gemeni, провел ряд тестов и был приятно удивлен качеством обработки. Но споткнулся о достаточно неприятные ограничения со стороны gemeni. Если количество токенов и RPM (запросов в минуту) - ещё можно было обыграть и сделать "очередь", то ограничения в RPD (запросов в день) - уже меня стопнуло. 20 запросов в день это вообще ни о чем.
После небольшого исследования перешел на Groq. Немного повозился с промтами. Потом передела категоризацию внутри, снова повозился с промтами. Провел с десяток тестов. Много раз тюнил в разные стороны. По итогу сейчас имею результат, который меня полностью устроил. Качество парсинга великолепное. Ошибок - минимум.
Завел два аккаунта, распараллелил обработчики, чтобы сократить время ожиданий. За 30 минут смог обработать 316 постов. Отсеять ненужное, а нужное разбить на составляющие для последующей работы. В общем - результатом СИЛЬНО доволен.
Всё же ко всем решениям нужно подходить с головой. Приступая к тестам парсера я думал что "и так сойдет", но после ряда тестов увидел, что результат очень далек даже до "и так сойдет". И пришлось сделать хорошо)
Изображение готовится…
31
Владька пытается
Подписаться