RAG чатбот и семантично търсене на собствен сървър

Предизвикателството

Три сайта със съдържание имаха нужда от чатбот, който отговаря на въпросите на посетителите въз основа на собственото им съдържание, и от семантично търсене – без месечна такса на потребител за SaaS услуга.

Подходът

Процеси в n8n импортират и преиндексират съдържанието на всеки сайт с отделен токен, Qdrant пази векторите, а лек API за търсене на Python обслужва WordPress сайтовете и събира статистика за въпросите на посетителите. Всичко работи в Docker Compose зад nginx на един VPS, с ограничения на паметта и процесора за всяка услуга, така че хостингът струва няколко долара на месец.

Ключови функции

• Процеси в n8n за импорт и преиндексиране, с отделен токен за всеки сайт
• Векторна база Qdrant с постоянно хранилище
• Лек API за търсене на Python (многоезични MiniLM вграждания чрез FastEmbed): извличане, генериране на отговори и статистика за въпросите
• Чат прозорец и семантично търсене на работещите WordPress сайтове
• Docker Compose зад nginx, услуги само на localhost, ограничения на паметта и процесора за всяка услуга
• Прототип: по-ранна RAG система с FastAPI, Qdrant, вход чрез Supabase и интерфейс на Chainlit, с избор на LLM доставчик (Ollama, Claude, OpenAI)