ذخیره برداری

مرحله 1 (Indexing - یکبار):
  اسناد → تکه‌تکه کردن (Chunking) → تبدیل به بردار (Embedding) → ذخیره در Vector Store

مرحله 2 (Query - هر سوال):
  سوال کاربر → تبدیل به بردار → جستجو در Vector Store
    → یافتن مرتبط‌ترین تکه‌ها → ارسال به LLM همراه سوال
    → LLM پاسخ مستند تولید می‌کند

مرحله Indexing (یکبار):
  Google Drive Trigger (فایل جدید)
    → Document Loader (PDF/Docx)
    → Text Splitter (Recursive, 800 chars, 200 overlap)
    → Embeddings (OpenAI text-embedding-3-small)
    → Vector Store Insert (Qdrant)
      Collection: "company_docs"
      Metadata: {source: filename, department: folder, date: uploadDate}

مرحله Query (هر سوال):
  Telegram Trigger (سوال کارمند)
    → Vector Store Search (Qdrant)
      Query: \${$json.message}
      TopK: 5
      Filter: {department: \${$json.userDepartment}}
    → OpenAI Chat
      System: "بر اساس اسناد زیر به سوال پاسخ بده.
      اگر پاسخ در اسناد نبود، بگو اطلاعات کافی نداری.
      منبع هر پاسخ را ذکر کن."
      Context: \${$json.documents}
      Question: \${$json.message}
    → Telegram (پاسخ مستند + منابع)

Indexing:
  MySQL (همه محصولات)
    → Set (ترکیب: نام + توصیف + ویژگی‌ها + دسته‌بندی)
    → Embeddings (OpenAI)
    → Vector Store Insert (Pinecone)
      Metadata: {productId, category, price, inStock}

Query:
  Webhook (جستجوی کاربر)
    → Vector Store Search (Pinecone)
      Query: "یک لپتاپ سبک برای دانشجو با بودجه متوسط"
      TopK: 10
      Filter: {inStock: true}
    → Set (فرمت نتایج)
    → Response (لیست محصولات مرتبط)

Telegram Trigger (پیام کاربر)
  → AI Agent (Tools Agent)
    LLM: GPT-4o-mini
    Memory: Window Memory (20 پیام)
    SessionId: \${$json.chat.id}
    System: "دستیار دانش شرکت هستی.
    از ابزار search_docs برای پاسخ به سوالات استفاده کن.
    فقط بر اساس اسناد پاسخ بده."
    Tools: [
      Vector Store Tool (Qdrant - company_docs)
    ]
  → Telegram (پاسخ)

Webhook (مقاله جدید)
  → Vector Store Search
    Query: \${$json.title + " " + $json.content}
    TopK: 3
    Threshold: 0.92
  → IF (similarityScore > 0.92)
    → True: "محتوای تکراری! مشابه: [عنوان مقاله قبلی]"
    → False: Vector Store Insert (ذخیره مقاله جدید)
      → "مقاله ثبت شد"

Webhook (مشاهده محصول)
  → MySQL (اطلاعات محصول فعلی)
  → Vector Store Search (Pinecone)
    Query: \${$json.productDescription}
    TopK: 6
    Filter: {
      category: \${$json.category},
      productId: {$ne: \${$json.currentProductId}}
    }
  → Set (فرمت پیشنهادات)
  → Response (محصولات پیشنهادی)

Webhook (تیکت جدید)
  → Vector Store Search (FAQ Knowledge Base)
    Query: \${$json.subject + " " + $json.message}
    TopK: 5
    Filter: {status: "resolved"}
  → IF (topScore > 0.85)
    → True: OpenAI Chat
      System: "بر اساس پاسخ‌های قبلی، پیش‌نویس پاسخ بنویس"
      Context: \${$json.similarTickets}
    → False: "تیکت نیاز به بررسی انسانی دارد"
  → MySQL (ذخیره + ارجاع)

Indexing:
  Schedule (هفتگی)
    → Google Drive (پوشه قراردادها)
    → Document Loader (PDF)
    → Text Splitter (Token, 1000 tokens, 200 overlap)
    → Vector Store Upsert (Qdrant)
      Collection: "legal_docs"
      Metadata: {contractType, parties, date, status}

Query:
  Webhook (سوال حقوقی)
    → Vector Store Search
      Query: \${$json.question}
      Filter: {contractType: \${$json.type}}
      TopK: 8
    → OpenAI Chat (GPT-4o)
      System: "وکیل متخصص هستی.
      بر اساس مفاد قراردادها پاسخ بده.
      شماره بند و ماده را ذکر کن."
    → Response (پاسخ حقوقی مستند)

Telegram Trigger (پیام کاربر)
  → Vector Store Search (Memory Store)
    Query: \${$json.message}
    Filter: {userId: \${$json.from.id}}
    TopK: 3
  → OpenAI Chat
    System: "دستیار شخصی با حافظه بلندمدت هستی.
    اطلاعات قبلی کاربر: \${$json.memories}
    به پیام جدید پاسخ بده."
  → IF (اطلاعات مهم در پیام)
    → Vector Store Insert (Memory Store)
      Metadata: {userId, topic, timestamp}
  → Telegram (پاسخ شخصی‌سازی‌شده)

Schedule (هر ساعت)
  → HTTP Request (RSS خبرگزاری‌ها)
  → SplitInBatches
  → Vector Store Search (مقالات موجود)
    Query: \${$json.title}
    Threshold: 0.95
  → IF (تکراری نیست)
    → Vector Store Insert
      Metadata: {source, date, category}
    → OpenAI Chat
      System: "خبر را تحلیل کن:
      - احساسات (مثبت/منفی/خنثی)
      - موضوعات کلیدی
      - تاثیر بر صنعت ما"
  → IF (مرتبط با شرکت)
    → Telegram (هشدار خبری)

Indexing:
  Manual Trigger
    → Google Drive (جزوه‌ها و کتاب‌ها)
    → Document Loader (PDF)
    → Text Splitter (Recursive, 600 chars)
    → Vector Store Insert (Qdrant)
      Collection: "course_\${courseName}"
      Metadata: {chapter, topic, difficulty}

Student Query:
  Webhook (سوال دانشجو)
    → Vector Store Search
      Query: \${$json.question}
      Collection: "course_\${$json.course}"
      TopK: 5
    → OpenAI Chat (GPT-4o)
      System: "استاد خصوصی \${$json.course} هستی.
      بر اساس جزوه‌ها توضیح بده.
      مثال‌های ساده بزن.
      اگر سوال خارج از درس بود، بگو."
    → Response (توضیح + منبع)

Webhook (سند جدید)
  → Embeddings (تبدیل به بردار)
  → Vector Store Search
    Query: \${$json.documentText}
    TopK: 10
    Threshold: 0.80
  → Set (محاسبه درصد شباهت)
  → IF (شباهت > 80%)
    → Gmail (هشدار: "سند مشابه با \${$json.similarDoc.title}")
  → Response (گزارش شباهت)

Indexing:
  Webhook (سوال و جواب جدید)
    → Vector Store Upsert
      Content: \${$json.question + " " + $json.answer}
      Metadata: {question, answer, category, views: 0}

Query:
  Webhook (سوال کاربر)
    → Vector Store Search
      Query: \${$json.question}
      TopK: 3
    → IF (topScore > 0.85)
      → Response (پاسخ آماده از FAQ)
    → ELSE IF (topScore > 0.60)
      → OpenAI Chat (بازنویسی پاسخ مرتبط)
    → ELSE
      → Response ("سوال شما ثبت شد و پاسخ داده خواهد شد")
      → MySQL (ذخیره سوال بدون پاسخ)

تست و توسعه: In-Memory (ساده، بدون نصب)
   پروژه کوچک: Chroma (Docker ساده)
   پروژه متوسط: Qdrant (عملکرد عالی، خودمیزبان)
   پروژه بزرگ: Pinecone (مقیاس‌پذیر، مدیریت‌شده)
   PostgreSQL دارید: PGVector (بدون دیتابیس اضافی)
   Supabase دارید: Supabase Vector (یکپارچه)

   برای ایران: Qdrant + Ollama Embeddings
   (بدون نیاز به اینترنت و VPN)

// متن فارسی معمولاً بیشتر از انگلیسی توکن مصرف می‌کند
   // پیشنهاد:
   Chunk Size: 600-800 کاراکتر (فارسی)
   Chunk Overlap: 150-200 کاراکتر
   Splitter: Recursive Character Splitter
   Separators: ["\n\n", "\n", ". ", "، ", " "]

   // برای اسناد فنی:
   Chunk Size: 1000-1500 (بلوک‌های کد بزرگ‌ترند)

   // برای FAQ:
   هر سوال-پاسخ = یک Chunk (بدون Split)

// metadata خوب = فیلتر بهتر = جستجوی دقیق‌تر

   // مثال metadata برای مقاله:
   {
     source: "blog-post-123.md",
     category: "فنی",
     author: "علی احمدی",
     date: "2024-06-15",
     language: "fa",
     wordCount: 1500,
     tags: ["Docker", "DevOps"]
   }

   // مثال metadata برای محصول:
   {
     productId: "PRD-456",
     category: "لپتاپ",
     brand: "ASUS",
     priceRange: "medium",
     inStock: true
   }

TopK = 2-3: پاسخ سریع، context کم (سوالات ساده)
   TopK = 4-5: تعادل خوب (توصیه پیش‌فرض)
   TopK = 8-10: context زیاد (سوالات پیچیده)
   TopK = 15-20: جستجوی جامع (تحلیل و گزارش)

   نکته: TopK بیشتر = توکن بیشتر = هزینه LLM بالاتر

// مرحله 1: Indexing Pipeline
   Document Loader → Text Splitter → Embedding → Vector Store Insert
                                                    ↓
                                              metadata enrich

   // مرحله 2: Query Pipeline
   User Question → Embedding → Vector Search → Rerank → LLM → Answer
                                  ↓                       ↑
                            metadata filter          system prompt +
                                                     few-shot examples

   // مرحله 3: بهبود مستمر
   User Feedback → Log → Analyze → Improve Chunks/Prompts

"You are a helpful assistant that answers questions based
   on the provided context documents.

   Rules:
   1. ONLY use information from the provided documents
   2. If the answer is not in the documents, say:
      'اطلاعات مرتبطی در اسناد موجود نیست'
   3. Always cite your sources with document names
   4. Respond in Persian (Farsi)
   5. Be concise but thorough
   6. If documents are contradictory, mention both views

   Context Documents:
   {context}

   User Question: {question}"

// نصب و راه‌اندازی:
   1. ollama pull nomic-embed-text    // 274MB، سریع
   2. ollama pull mxbai-embed-large   // 670MB، دقیق‌تر

   // مزایا:
   - کاملاً رایگان (بدون API Key)
   - بدون نیاز به اینترنت
   - حریم خصوصی کامل
   - بدون Rate Limit

   // معایب:
   - نیاز به CPU/GPU مناسب
   - کیفیت فارسی کمتر از OpenAI
   - سرعت کمتر (بدون GPU)

// نصب با Docker:
   docker run -d --name qdrant \
     -p 6333:6333 -p 6334:6334 \
     -v qdrant_data:/qdrant/storage \
     --restart unless-stopped \
     qdrant/qdrant

   // مزایا برای ایرانی‌ها:
   - روی سرور خودتان نصب می‌شود
   - بدون نیاز به VPN
   - عملکرد فوق‌العاده (Rust-based)
   - پشتیبانی از Hybrid Search
   - فیلتر metadata پیشرفته
   - رابط وب: http://localhost:6333/dashboard

In-Memory:  سرعت ★★★★★  مقیاس ★☆☆☆☆  ماندگاری ✗
   Chroma:     سرعت ★★★★☆  مقیاس ★★★☆☆  ماندگاری ✓
   Qdrant:     سرعت ★★★★★  مقیاس ★★★★★  ماندگاری ✓
   Pinecone:   سرعت ★★★★☆  مقیاس ★★★★★  ماندگاری ✓
   PGVector:   سرعت ★★★☆☆  مقیاس ★★★★☆  ماندگاری ✓
   Supabase:   سرعت ★★★☆☆  مقیاس ★★★★☆  ماندگاری ✓

// الگوی Upsert هوشمند:
    هر سند ID منحصربه‌فرد داشته باشد (مثلاً hash محتوا)

    Document Changed → Delete old chunks (by source metadata)
                     → Re-chunk new document
                     → Insert new chunks

    // یا از Upsert استفاده کنید:
    Upsert with ID = hash(source + chunkIndex)
    → اسناد تغییریافته خودکار به‌روز می‌شوند

// ترکیب Vector Search + Keyword Search
    // مزیت: هم معنا و هم کلمات کلیدی بررسی می‌شوند

    Qdrant Hybrid Search:
      Vector weight: 0.7 (معنایی)
      Keyword weight: 0.3 (کلیدواژه)

    // مثال: جستجوی "خطای 404 در صفحه لاگین"
    // Vector: معنای "خطا در ورود" را می‌فهمد
    // Keyword: عدد "404" را دقیق پیدا می‌کند

// Pre-filtering (توصیه): فیلتر قبل از جستجوی برداری
    → سریع‌تر، نتایج مرتبط‌تر
    → مثال: ابتدا فقط اسناد "فنی" → سپس جستجوی معنایی

    // Post-filtering: ابتدا جستجوی برداری → فیلتر نتایج
    → ممکن است نتایج کمتر از TopK بگیرید
    → مناسب فیلترهای پیچیده

    // در Qdrant و Pinecone هر دو روش پشتیبانی می‌شود

// اسناد محرمانه:
    1. از Embedding محلی (Ollama) استفاده کنید
       → متن به سرور خارجی ارسال نمی‌شود
    2. Vector Store خودمیزبان (Qdrant/Chroma)
       → داده‌ها روی سرور شما می‌مانند
    3. Authentication فعال کنید (Qdrant API Key)
    4. دسترسی شبکه‌ای محدود کنید

    // برای اسناد عمومی: OpenAI + Pinecone = راحت‌ترین

// Embedding:
    text-embedding-3-small: $0.02 / 1M tokens (مناسب اکثر کارها)
    text-embedding-3-large: $0.13 / 1M tokens (دقت بالاتر)
    Ollama: رایگان!

    // مثال هزینه Indexing 1000 صفحه PDF:
    ~500,000 tokens → $0.01 با text-embedding-3-small

    // Vector Store:
    Qdrant/Chroma: رایگان (خودمیزبان)
    Pinecone Free: 100K vectors رایگان
    Pinecone Standard: $0.33/GB/month

// هر نوع سند در Collection جداگانه:
    Collection "products": اطلاعات محصولات
    Collection "faq": سوالات متداول
    Collection "docs": مستندات فنی
    Collection "tickets": تیکت‌های حل‌شده

    // جستجو:
    → ابتدا Intent Detection (تشخیص نوع سوال)
    → سپس جستجو در Collection مرتبط
    → نتایج دقیق‌تر + سریع‌تر

// مرحله 1: Vector Search (TopK = 20)
    // مرحله 2: Rerank با مدل Cross-Encoder (TopK = 5)
    // → نتایج بسیار دقیق‌تر

    Vector Store Search (TopK: 20)
      → Code (Rerank with similarity recalculation)
      → Limit (Top 5)
      → LLM (پاسخ با context بهینه)

// هر Query را لاگ کنید:
    {
      query: "سوال کاربر",
      topResults: [{score, source}],
      responseUseful: true/false,
      timestamp: Date.now()
    }

    // تحلیل هفتگی:
    - سوالاتی که پاسخ مرتبط نداشتند
    - اسنادی که هرگز بازیابی نشدند
    - امتیاز شباهت میانگین
    → بهبود Chunks، metadata و system prompt