← все записи

🤪 Запусти, а потом доделай

👁 210
Сейчас вновь столкнулся с проблемой, о которой писал в предыдущем посте. Перед тем как делать до конца фронтенд для своего проекта - решил ещё раз провести тесты уже готового бэкенда. Самое основное что хотелось посмотреть - как себя ведет парсер. После небольших доработок (несостыковка между парсером и БД, а так же нюансы работы с ТГ и их ID чатов\каналов) - добавил 11 первых каналов для парсинга, и на одном из каналов провел первые тесты. Собрал порядка 80 постов, прогнал через парсер. И тут то и появились первые очевидные проблемы. Я знал, что парсер будет нуждаться в доработке т.к. нет единого формата постов (не то, что между разными каналами, иногда внутри одного канала), по этому точность парсинга изначально уже оставляла желать лучшего. И тут у меня встала дилемма. Либо я сейчас трачу N времени на большую доработку парсера, чтобы довести до "близкого к идеалу", либо делаю на "работать будет" и продолжу запускать MVP. Очевидно сейчас я выбрал более дешевый для меня вариант, как по времени так и по затратам. Я решил что немного доработаю базовый парсер, оставлю люфт на 20-30% ошибок (а они явно будут), и продолжу работу. А уже потом возьму один из двух доступных сейчас вариантов. 1️⃣ вариант. Парсер + AI на сложные поля Использовать AI для разгрузки в тяжелые для парсера поля - название, заголовки, ЗП или нюансы оплаты. Можно уложиться в примерно 1-2$ на 1000 запросов по вакансиям. 2️⃣ вариант. Локальная LLM Fine-tune маленькой локальной модели на собранных данных. Скормить 500-1000 вакансий из разных чатов и обучить модель самостоятельно. Точность будет высокой, но проблема в разметке данных, датасете и самом обучении. По этому на данный момент - лишь небольшие доработки. Дел ещё много, а продукт нужен уже сильно. В влажных мечтах запустить уже в ближайшие 1-2 недели. А в полноценный прод выйти в начале года. Хотя может в тестах окажется, что лучше запариться и сделать, если не будет давать нужного минимального результата. Будем посмотреть) За сим откланяюсь, и продолжу работу над проектом.
111

Владька пытается

Подписаться