تحلیل جامع داده‌های خوشه‌ای با شاخص‌های شباهت

مقدمه

در علم داده، تحلیل خوشه‌ای (Cluster Analysis) یکی از ابزارهای بنیادی برای کاوش در داده‌ها و دسته‌بندی نقاط داده بر اساس شباهت یا نزدیکی آنها به کار گرفته می‌شود. هدف از این فرآیند، یافتن گروه‌های طبیعی (خوشه‌ها) در داده‌ها بدون نیاز به برچسب یا دسته‌بندی از پیش تعیین شده است.

شاخص‌های شباهت نقش کلیدی در تحلیل خوشه‌ای ایفا می‌کنند، زیرا برای سنجش میزان شباهت یا نزدیکی بین نقاط داده مورد استفاده قرار می‌گیرند. انتخاب شاخص شباهت مناسب به ماهیت داده‌ها و هدف از خوشه‌بندی بستگی دارد.

مفاهیم کلیدی در تحلیل خوشه‌ای با شاخص‌های شباهت

• شاخص شباهت: معیاری برای سنجش میزان شباهت یا نزدیکی بین دو نقطه داده.
• ماتریس شباهت: ماتریسی که میزان شباهت بین هر دو نقطه داده را نشان می‌دهد.
• خوشه: دسته‌ای از نقاط داده که به لحاظ مشخصه‌ها با یکدیگر شباهت دارند.
• مرکز خوشه: نماینده یا نقطه مرکزی یک خوشه خاص.
• فاصله: معیاری برای سنجش میزان شباهت یا نزدیکی بین دو نقطه داده.
• الگوریتم خوشه‌بندی: روشی برای دسته‌بندی نقاط داده به خوشه‌های مجزا.

دسته‌بندی شاخص‌های شباهت

شاخص‌های شباهت مختلفی برای سنجش میزان شباهت بین نقاط داده وجود دارد که به طور کلی به دو دسته اصلی تقسیم می‌شوند:

• شاخص‌های مبتنی بر فاصله: این شاخص‌ها از فاصله بین دو نقطه داده برای سنجش میزان شباهت آنها استفاده می‌کنند.
  • فاصله اقلیدسی: متداول‌ترین شاخص مبتنی بر فاصله است که فاصله مستقیم بین دو نقطه را در فضای n-بعدی محاسبه می‌کند.
  • فاصله منهتن: فاصله بین دو نقطه را به عنوان مجموع مقادیر مطلق اختلافات آنها در هر بعد محاسبه می‌کند.
• شاخص‌های مبتنی بر همبستگی: این شاخص‌ها از میزان همبستگی بین دو نقطه داده برای سنجش میزان شباهت آنها استفاده می‌کنند.
  • ضریب همبستگی پیرسون: متداول‌ترین شاخص مبتنی بر همبستگی است که میزان همبستگی خطی بین دو متغیر را اندازه‌گیری می‌کند.
  • ضریب همبستگی اسپیرمن: مشابه ضریب همبستگی پیرسون است، اما به جای مقادیر واقعی، از رتبه‌بندی مقادیر استفاده می‌کند.

انتخاب شاخص شباهت مناسب

انتخاب شاخص شباهت مناسب به ماهیت داده‌ها و هدف از خوشه‌بندی بستگی دارد.

• برای داده‌های عددی: می‌توان از شاخص‌های مبتنی بر فاصله مانند فاصله اقلیدسی یا فاصله منهتن استفاده کرد.
• برای داده‌های دسته‌بندی شده: می‌توان از شاخص‌های مبتنی بر همبستگی مانند ضریب همبستگی پیرسون یا ضریب همبستگی اسپیرمن استفاده کرد.

مراحل کلی تحلیل خوشه‌ای با شاخص‌های شباهت

مراحل کلی تحلیل خوشه‌ای با شاخص‌های شباهت به شرح زیر است:

1. آماده‌سازی داده‌ها: در این مرحله، داده‌ها پاکسازی شده، مقادیر گمشده حذف و در صورت نیاز استانداردسازی می‌شوند.
2. انتخاب شاخص شباهت: با توجه به نوع داده و هدف از خوشه‌بندی، شاخص شباهت مناسب انتخاب می‌شود.
3. محاسبه ماتریس شباهت: ماتریسی که میزان شباهت بین هر دو نقطه داده را نشان می‌دهد، محاسبه می‌شود.
4. انتخاب الگوریتم خوشه‌بندی: با توجه به نوع داده و هدف از خوشه‌بندی، الگوریتم خوشه‌بندی مناسب انتخاب می‌شود.
5. اجرای الگوریتم: الگوریتم انتخاب شده بر روی ماتریس شباهت اجرا شده و خوشه‌ها ایجاد می‌شوند.
6. ارزیابی نتایج: کیفیت خوشه‌بندی با استفاده از معیارهای مختلف مانند شاخص سیلوئت یا نسبت قطر خوشه ارزیابی می‌شود.
7. تفسیر نتایج: خوشه‌ها تفسیر شده و یافته‌های حاصل از خوشه‌بندی برای حل مسئله یا تصمیم‌گیری مورد استفاده قرار می‌گیرند.

import pandas as pd
from sklearn.metrics import pairwise_distances
from sklearn.cluster import KMeans

data = pd.read_csv("shopping_carts.csv")

# تبدیل لیست محصولات به رشته
data["products_str"] = data["products"].apply(lambda x: ", ".join(x))

# تبدیل رشته محصولات به لیست کد محصول
data["product_codes"] = data["products_str"].apply(lambda x: [int(i) for i in x.split(", ")])

# محاسبه ماتریس فاصله جاکارد بین سبدهای خرید
distance_matrix = pairwise_distances(data["product_codes"], metric="jaccard")

# تبدیل ماتریس فاصله به ماتریس شباهت
similarity_matrix = 1 - distance_matrix

# انتخاب تعداد خوشه‌ها (در این مثال 3 خوشه انتخاب می‌کنیم)
n_clusters = 3

# ایجاد مدل KMeans
kmeans = KMeans(n_clusters=n_clusters)

# آموزش مدل با استفاده از ماتریس شباهت
kmeans.fit(similarity_matrix)

# اضافه کردن برچسب خوشه به DataFrame اصلی
data["cluster"] = kmeans.labels_

print(data['cluster'].value_counts())

for cluster_id in range(n_clusters):
    cluster_data = data[data["cluster"] == cluster_id]
    most_common_products = cluster_data["product_codes"].value_counts().head(10)
    print(f"Cluster {cluster_id}: {most_common_products}")