إجراء تحليل متقدم لبيانات أحداث Facebook باستخدام قاعدة بيانات متجهية

     import pandas as pd
from apify_client import ApifyClient
# تهيئة ApifyClient برمز API الخاص بك
client = ApifyClient("Enter_your_apify_key_here")

# تحضير مدخلات الممثل
run_input = {
    "searchQueries": ["Sport New York"],
    "startUrls": [],
    "maxEvents": 50,
}

# تشغيل الممثل وانتظار إكماله
run = client.actor("UZBnerCFBo5FgGouO").call(run_input=run_input)

df_columns = ['Name', 'Datetime', 'Description', 'Users_Going', 'Users_Interested', 'Users_Responded', 'City', 'Organized_By', 'Street_Address']
dataframe1 = pd.DataFrame(columns=df_columns)

for item in client.dataset(run["defaultDatasetId"]).iterate_items():
    # استخدام تجميع قاموس لاستبدال قيم None بسلسلة فارغة
    row = {
        'Name': item.get('name', ''),
        'Datetime': item.get('dateTimeSentence', ''),
        'Description': item.get('description', ''),
        'Users_Going': item.get('usersGoing', ''),
        'Users_Interested': item.get('usersInterested', ''),
        'Users_Responded': item.get('usersResponded', ''),
        'City': item.get('location', {}).get('city', '') if item.get('location') else '',
        'Organized_By': item.get('organizedBy', ''),
        'Street_Address': item.get('location', {}).get('streetAddress', '') if item.get('location') else ''
    }
    # تأكد من استبدال جميع قيم None بسلسلة فارغة
    row = {k: (v if v is not None else '') for k, v in row.items()}
    dataframe1 = dataframe1._append(row, ignore_index=True)

# تنظيف البيانات
dataframe1['Description'] = dataframe1['Description'].replace('\\n', '', regex=True)

     # استدعاء المكتبات الضرورية لمعالجة البيانات وتحليل التواريخ
import pandas as pd
import numpy as np
from datetime import datetime
from dateutil import parser

# تابع لتحليل سلاسل التواريخ التي قد تمثل نطاقًا أو تاريخًا واحدًا
def parse_dates(date_str):
    # التحقق مما إذا كانت سلسلة التاريخ تحتوي على شرطة، مما يشير إلى نطاق
    if '-' in date_str:
        parts = date_str.split('-')
        # إذا تم تقسيم السلسلة إلى جزأين، فهو نطاق صالح
        if len(parts) == 2:
            try:
                # تحليل تواريخ البداية والنهاية، وتنسيقها إلى تنسيق قابل للقراءة
                start_date = parser.parse(parts[0], fuzzy=True).strftime('%a, %b %d')
                end_date = parser.parse(parts[1], fuzzy=True).strftime('%a, %b %d')
                return start_date, end_date
            except ValueError:
                # في حالة حدوث خطأ في التحليل، لا تفعل شيئًا (سيتم التعامل معه أدناه)
                pass  
    # إذا لم يكن نطاقًا أو إذا فشل تحليل النطاق، حاول تحليله كتاريخ واحد
    try:
        parsed_date = parser.parse(date_str, fuzzy=True)
        # قم بتنسيق التاريخ الفردي لـ start_date وتنسيق مختلف لـ end_date
        start_date = parsed_date.strftime('%a, %b %d AT %I:%M %p EDT')
        end_date = parsed_date.strftime('%a, %b %d')  # Omitting time for end_date
        return start_date, end_date
    except ValueError:
        # إرجاع NaN لكل من التواريخ إذا فشل التحليل
        return np.nan, np.nan  

# تابع لاستخراج تفاصيل التاريخ والوقت واليوم من سلسلة التاريخ
def extract_date_time_day(date_str):
    try:
        # تحليل سلسلة التاريخ، مما يسمح ببعض المرونة في تنسيق الإدخال
        parsed_date = parser.parse(date_str, fuzzy=True)
        # استخراج وتنسيق أجزاء التاريخ والوقت واليوم
        date = parsed_date.strftime('%Y-%m-%d')
        day = parsed_date.strftime('%a')
        # تحديد ما إذا كانت السلسلة الأصلية تشمل مكون الوقت
        time_component = parsed_date.strftime('%I:%M %p') not in date_str
        time = parsed_date.strftime('%H:%M:%S') if not time_component else np.nan
    except ValueError:
        # إذا فشل التحليل، اضبط التاريخ والوقت واليوم على NaN
        date, time, day = np.nan, np.nan, np.nan
    
    return date, time, day

# تطبيق وظيفة parse_dates عبر إسقاط البيانات، مما يخلق أعمدة جديدة للتواريخ البدئية والنهائية
dataframe1[['Start_Date', 'End_Date']] = dataframe1.apply(lambda row: pd.Series(parse_dates(row['Datetime'])), axis=1)

# حذف الصفوف حيث يكون Start_Date هو NaN، مما يشير إلى عدم نجاح التحليل
dataframe = dataframe1.dropna(subset=['Start_Date'])

# تطبيق extract_date_time_day لتقسيم تواريخ البداية والنهاية إلى أعمدة تاريخ ووقت ويوم منفصلة
dataframe['Start_Date'], dataframe['Start_Time'], dataframe['Start_Day'] = zip(*dataframe['Start_Date'].apply(extract_date_time_day))
dataframe['End_Date'], _, dataframe['End_Day'] = zip(*dataframe['End_Date'].apply(extract_date_time_day))

# إزالة العمود الأصلي 'Datetime' لأنه لم يعد ضروريًا
dataframe=dataframe.drop(['Datetime'], axis=1)

# تحويل 'Start_Date' و'End_Date' إلى تنسيق datetime، استخراج جزء التاريخ فقط
dataframe['Start_Date'] = pd.to_datetime(dataframe['Start_Date']).dt.date
dataframe['End_Date'] = pd.to_datetime(dataframe['End_Date']).dt.date

# تحويل 'Start_Time' إلى تنسيق datetime، والاحتفاظ بمعلومات الوقت
dataframe['Start_Time'] = pd.to_datetime(dataframe['Start_Time'])

     # استيراد مكتبة OpenAI للوصول إلى واجهة البرمجة.
from openai import OpenAI 
# تهيئة عميل OpenAI بمفتاح API.
openai_client = OpenAI(api_key="your_openai_api_key_here")
# وظيفة للحصول على العلامات المصاحبة للنصوص 
def get_embedding(text, model="text-embedding-3-small"):
    return openai_client.embeddings.create(input=text, model=model).data
embeddings = get_embedding(dataframe["Description"].tolist())
# استخراج متجهات العلامات المصاحبة من كائن العلامات المصاحبة
vectors = [embedding.embedding for embedding in embeddings]
array = np.array(vectors)
embeddings_series = pd.Series(list(array))
# إضافة العلامات المصاحبة كعمود جديد في الجدول الشيك.
dataframe['Description_Embeddings'] = embeddings_series

     import clickhouse_connect
client = clickhouse_connect.get_client(
    host='host_name_here',
    port=443,
    username='username_here',
    password='passwd_here'
)

     client.command("""
    CREATE TABLE default.Events (
    Name String,
    Description String,
    Users_Going Int64,
    Users_Interested Int64,
    Users_Responded Int64,
    City String,
    Organized_By String,
    Street_Address String,
    Start_Date Date32,
    End_Date Nullable(Date32),
    Start_Time Nullable(DateTime64),
    Start_Day String,
    End_Day String,
    Description_Embeddings Array(Float32),
    CONSTRAINT check_data_length CHECK length(Description_Embeddings) = 1536
    ) ENGINE = MergeTree()
    ORDER BY (Name);
    """)

     batch_size = 10  # Adjust based on your needs

num_batches = len(dataframe) // batch_size

for i in range(num_batches):
    start_idx = i * batch_size
    end_idx = start_idx + batch_size
    batch_data = dataframe[start_idx:end_idx]
    # print(batch_data["Description_Embeddings"])
    client.insert("default.Events", batch_data.to_records(index=False).tolist(), column_names=batch_data.columns.tolist())
    print(f"Batch {i+1}/{num_batches} inserted.")

client.command("""
ALTER TABLE default.Events
    ADD VECTOR INDEX vector_index Description_Embeddings
    TYPE MSTG
""")

     results=client.query("""
        SELECT Name,Description FROM default.Events LIMIT 10
    """)
for row in results.named_results():
        print(row["Name"])
        print(row['Description'])

     results = client.query(f"""
        SELECT Name, City, Users_Going, Users_Interested, Users_Responded
        FROM default.Events
        ORDER BY Users_Going DESC, Users_Interested DESC
        LIMIT 10
    """)
for row in results.named_results():
        print("Event Name  ", row["Name"])
        print("City ", row["City"])
        print("Users Going ", row["Users_Going"])
        print("Interested Users ", row["Users_Interested"])

     embeddings=get_embedding(["One of the Longest Running Shows in the Country - Operating since 1974 ...NOW our 50th YEAR !!!Our Schenectady"])
embeddi=embeddings[0].embedding
results = client.query(f"""
        SELECT Name,City, Description, Users_Going,distance(Description_Embeddings, {embeddi}) as dist
        FROM default.Events
        WHERE City LIKE '%New York%' and dist < 1.5
        ORDER BY Users_Going DESC,dist
        LIMIT 10
    """)
for row in results.named_results():
        print("Event Name  ", row["Name"])
        print("Description ", row["Description"])
        print("Users Going ", row["Users_Going"])