تحلیل جامع داده‌های طبقه‌بندی شده با روش‌های خوشه‌بندی

مقدمه

تحلیل خوشه‌ای (Cluster Analysis) یکی از ابزارهای بنیادی در کاوش داده‌ها است که به منظور دسته‌بندی نقاط داده بر پایه شباهت یا نزدیکی آنها به کار گرفته می‌شود. هدف از این فرآیند، یافتن گروه‌های طبیعی (خوشه‌ها) در داده‌ها بدون نیاز به برچسب یا دسته‌بندی از پیش تعیین شده است.

کاربرد تحلیل خوشه‌ای در زمینه‌های مختلفی از جمله بازاریابی، علوم اجتماعی، زیست‌شناسی و علوم کامپیوتر رواج دارد.

در این مقاله، به ارائه مروری جامع بر تحلیل داده‌های خوشه‌ای با تمرکز بر روش‌های مختلف خوشه‌بندی می‌پردازیم.

مفاهیم کلیدی در خوشه‌بندی

• خوشه: دسته‌ای از نقاط داده که به لحاظ مشخصه‌ها با یکدیگر شباهت دارند.
• مرکز خوشه: نماینده یا نقطه مرکزی یک خوشه خاص.
• فاصله: معیاری برای سنجش میزان شباهت یا نزدیکی بین دو نقطه داده.
• الگوریتم خوشه‌بندی: روشی برای دسته‌بندی نقاط داده به خوشه‌های مجزا.

دسته‌بندی روش‌های خوشه‌بندی

روش‌های مختلفی برای خوشه‌بندی داده‌ها وجود دارد که به طور کلی به دو دسته اصلی تقسیم می‌شوند:

• روش‌های خوشه‌بندی مبتنی بر مرکز: در این روش‌ها، ابتدا تعدادی مرکز خوشه به صورت تصادفی یا بر اساس الگوریتم‌های خاص انتخاب می‌شوند. سپس هر نقطه داده به نزدیک‌ترین مرکز خوشه اختصاص داده می‌شود.
  • K-means: یکی از محبوب‌ترین الگوریتم‌های خوشه‌بندی مبتنی بر مرکز است.
  • خوشه‌بندی میانگین گروهی: در این الگوریتم، از میانگین گروه‌ها برای تعیین مرکز خوشه استفاده می‌شود.
• روش‌های خوشه‌بندی سلسله مراتبی: در این روش‌ها، خوشه‌ها به صورت سلسله مراتبی و از بالا به پایین یا از پایین به بالا ایجاد می‌شوند.
  • خوشه‌بندی سلسله مراتبی پیوندی: این الگوریتم در هر مرحله، دو خوشه را که نزدیک‌ترین فاصله را به یکدیگر دارند، با هم ترکیب می‌کند.
  • خوشه‌بندی سلسله مراتبی انشقاقی: در هر مرحله از این الگوریتم، یک خوشه به دو یا چند خوشه کوچکتر تقسیم می‌شود.

انتخاب الگوریتم مناسب

انتخاب الگوریتم مناسب برای خوشه‌بندی داده‌ها به عوامل متعددی از جمله نوع داده، ابعاد مجموعه داده و هدف نهایی از خوشه‌بندی بستگی دارد.

مراحل کلی خوشه‌بندی

مراحل کلی خوشه‌بندی داده‌ها به شرح زیر است:

1. آماده‌سازی داده‌ها: در این مرحله، داده‌ها پاکسازی شده، مقادیر گمشده حذف و در صورت نیاز استانداردسازی می‌شوند.
2. انتخاب الگوریتم: با توجه به نوع داده و هدف از خوشه‌بندی، الگوریتم مناسب انتخاب می‌شود.
3. اجرای الگوریتم: الگوریتم انتخاب شده بر روی داده‌ها اجرا شده و خوشه‌ها ایجاد می‌شوند.
4. ارزیابی نتایج: کیفیت خوشه‌بندی با استفاده از معیارهای مختلف مانند شاخص سیلوئت یا نسبت قطر خوشه ارزیابی می‌شود.
5. تفسیر نتایج: خوشه‌ها تفسیر شده و یافته‌های حاصل از خوشه‌بندی برای حل مسئله یا تصمیم‌گیری مورد استفاده قرار می‌گیرند.

import pandas as pd
from sklearn.cluster import KMeans

data = pd.read_csv("customer_data.csv")

# حذف سطرهای دارای مقادیر گمشده
data.dropna(inplace=True)

# تبدیل متغیر دسته‌بندی به عددی
data["category_code"] = data["category"].map({"clothes": ۰, "electronics": ۱, "books": ۲})

# انتخاب تعداد خوشه‌ها (در این مثال ۳ خوشه انتخاب می‌کنیم)
n_clusters = ۳

# ایجاد مدل KMeans
kmeans = KMeans(n_clusters=n_clusters)

# آموزش مدل با استفاده از داده‌های آماده شده
kmeans.fit(data[["amount_spent", "items_count", "category_code"]])

# اضافه کردن برچسب خوشه به DataFrame اصلی
data["cluster"] = kmeans.labels_

print(data['cluster'].value_counts())

print(data.groupby('cluster').mean())

import matplotlib.pyplot as plt

plt.scatter(data["amount_spent"], data["items_count"], c=data["cluster"])
plt.show()