RAG Systems —
מ-0 לProduction

# התקן: pip install langchain-community pypdf
from langchain_community.document_loaders import (
    PyPDFLoader,
    DirectoryLoader,
    WebBaseLoader,
    CSVLoader,
    JSONLoader
)

# PDF יחיד
loader = PyPDFLoader("company_policy.pdf")
docs = loader.load()
print(f"Loaded {len(docs)} pages")

# תיקייה מלאה של PDFs
loader = DirectoryLoader(
    "./docs/",
    glob="**/*.pdf",
    loader_cls=PyPDFLoader
)
docs = loader.load()
print(f"Loaded {len(docs)} pages")

# טעינה מ-URL
loader = WebBaseLoader("https://docs.example.com/api")
docs = loader.load()

# Google Drive (מצריך הגדרת OAuth)
from langchain_google_community import GoogleDriveLoader
loader = GoogleDriveLoader(
    folder_id="your_folder_id",
    file_types=["document", "pdf"]
)
docs = loader.load()

from langchain.text_splitter import (
    RecursiveCharacterTextSplitter,
    MarkdownHeaderTextSplitter,
    TokenTextSplitter
)

# Recursive — הכי מומלץ לרוב המקרים
splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,        # תווים לכל chunk
    chunk_overlap=200,      # חפיפה בין chunks — שומרת context
    separators=["\n\n", "\n", ".", " "]  # סדר עדיפות לחיתוך
)
chunks = splitter.split_documents(docs)
print(f"Created {len(chunks)} chunks")

# לפי Headers (Markdown) — מושלם לתיעוד טכני
headers = [("#", "H1"), ("##", "H2"), ("###", "H3")]
md_splitter = MarkdownHeaderTextSplitter(
    headers_to_split_on=headers
)
md_docs = md_splitter.split_text(markdown_text)

# לפי Tokens — מדויק יותר לחישוב עלויות API
token_splitter = TokenTextSplitter(
    chunk_size=250,
    chunk_overlap=30
)
token_chunks = token_splitter.split_documents(docs)

from langchain_openai import OpenAIEmbeddings
from langchain_community.embeddings import HuggingFaceEmbeddings
import numpy as np

# OpenAI (מומלץ לאיכות ולדיוק)
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
# 1536 dimensions, ~$0.02 per 1M tokens

# text-embedding-3-large — איכות גבוהה יותר, פי 2 יקר
embeddings_large = OpenAIEmbeddings(model="text-embedding-3-large")
# 3072 dimensions

# HuggingFace (חינמי, רץ לוקאלית, תומך עברית!)
embeddings_hf = HuggingFaceEmbeddings(
    model_name="sentence-transformers/paraphrase-multilingual-mpnet-base-v2"
)
# 768 dimensions, תומך ב-50+ שפות כולל עברית

# בדיקת Cosine Similarity
v1 = embeddings.embed_query("AI Agent")
v2 = embeddings.embed_query("Autonomous AI System")
similarity = np.dot(v1, v2) / (np.linalg.norm(v1) * np.linalg.norm(v2))
print(f"Cosine similarity: {similarity:.3f}")  # ~0.85

# Embedding של batch
texts = ["מה ימי הפעילות?", "how to reset password", "price list"]
vectors = embeddings.embed_documents(texts)
print(f"Shape: {len(vectors)} x {len(vectors[0])}")

from langchain_pinecone import PineconeVectorStore
from langchain_community.vectorstores import Chroma
import os

# === Pinecone (Production) ===
os.environ["PINECONE_API_KEY"] = "your-api-key"

vectorstore = PineconeVectorStore.from_documents(
    documents=chunks,
    embedding=embeddings,
    index_name="my-rag-index",
    namespace="v1"
)

# חיבור ל-index קיים
vectorstore = PineconeVectorStore(
    index_name="my-rag-index",
    embedding=embeddings,
    namespace="v1"
)

# === Chroma (Development / Local) ===
vectorstore = Chroma.from_documents(
    documents=chunks,
    embedding=embeddings,
    persist_directory="./chroma_db"
)

# טעינה מ-disk
vectorstore = Chroma(
    persist_directory="./chroma_db",
    embedding_function=embeddings
)

# === Retriever ===
retriever = vectorstore.as_retriever(
    search_type="similarity",  # similarity / mmr / similarity_score_threshold
    search_kwargs={"k": 4}     # מספר chunks להחזיר
)

# MMR — גיוון תוצאות (מניע כפילויות)
retriever_mmr = vectorstore.as_retriever(
    search_type="mmr",
    search_kwargs={"k": 6, "fetch_k": 20, "lambda_mult": 0.5}
)

# חיפוש ידני
results = vectorstore.similarity_search("מה מדיניות ההחזרות?", k=3)
for doc in results:
    print(doc.page_content[:200])
    print(f"Source: {doc.metadata.get('source', 'N/A')}")

from langchain_openai import ChatOpenAI
from langchain.chains import RetrievalQA
from langchain_core.prompts import PromptTemplate

# Prompt Template — ה-Prompt שמגדיר איך המודל יתנהג
TEMPLATE = """השתמש בחלקי ה-Context הבאים כדי לענות על השאלה בסוף.
אם אינך יודע את התשובה, אמור "אני לא יודע" — אל תמציא תשובות.
ענה תמיד בעברית, בצורה ברורה ומסודרת.

Context:
{context}

שאלה: {question}

תשובה:"""

prompt = PromptTemplate(
    template=TEMPLATE,
    input_variables=["context", "question"]
)

# LLM
llm = ChatOpenAI(
    model="gpt-4o",
    temperature=0  # 0 = עקבי ודטרמיניסטי
)

# RAG Chain
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",             # stuff = מכניס הכל ל-prompt
    retriever=retriever,
    return_source_documents=True,   # מחזיר מקורות
    chain_type_kwargs={"prompt": prompt}
)

# שאלה!
result = qa_chain.invoke({"query": "מה מדיניות ההחזרות שלנו?"})
print(result["result"])
print("\nמקורות:")
for doc in result["source_documents"]:
    print(f"  - {doc.metadata.get('source', 'unknown')}")