1. پیش نیازها: سخت افزار: کامپیوتر با حداقل 4 گیگابایت رم و 40 گیگابایت فضای ذخیره سازی سیستم عامل لینوکس (مانند Ubuntu، CentOS) نصب Java: Java SE 8 یا بالاتر نصب Hadoop: دانلود و استخراج Hadoop در دیتا نود جدید تنظیم متغیرهای محیطی JAVA_HOME و HADOOP_HOME 2. پیکربندی دیتا نود: فایل hdfs-site.xml: تنظیم dfs.datanode.data.dir برای مشخص کردن محل ذخیره […]
آرشیو برچسب های: big data
در اینجا تعدادی از دستورات پرکاربرد برای مدیریت HDFS آورده شده است: 1. دستورات مربوط به NameNode: hdfs namenode -format: قالب بندی HDFS (فقط باید در اولین بار استفاده شود) hdfs namenode -start: راه اندازی NameNode hdfs namenode -stop: توقف NameNode hdfs dfsadmin -report: مشاهده گزارش وضعیت HDFS 2. دستورات مربوط به DataNode: hdfs datanode […]
پیش نیازها: سیستم عامل: لینوکس (مانند Ubuntu، CentOS) سخت افزار: حداقل 2 کامپیوتر با 4 گیگابایت رم و 40 گیگابایت فضای ذخیره سازی نصب Java: Java SE 8 یا بالاتر مراحل: 1. دانلود و نصب Hadoop: به وب سایت Apache Hadoop بروید و آخرین نسخه Hadoop را دانلود کنید. Hadoop را در هر دو کامپیوتر (گره های Master […]
MapReduce یک چارچوب پردازش موازی توزیع شده است که برای پردازش مجموعه داده های بزرگ در خوشه های رایانه ای استفاده می شود. این چارچوب به طور گسترده ای در هدوپ برای تجزیه و تحلیل داده های بزرگ استفاده می شود. مراحل MapReduce: مرحله Map: داده های ورودی به قطعات کوچک تقسیم می شوند. هر […]
در هدوپ، DataNode یک جزء کلیدی سیستم فایل توزیع شده HDFS (Hadoop Distributed File System) است. وظیفه اصلی DataNode ذخیره سازی واقعی داده ها در گره های مختلف یک خوشه هدوپ است. در مقابل، NameNode مسئول مدیریت متادیتا و هماهنگی بین DataNode ها می باشد. موارد زیر در تصویر نشان داده شدهاند: DataNode: گرهای در خوشه […]
1. آپلود فایل به HDFS: from hdfs import Client client = Client(“hdfs://namenode.example.com:9000”) with open(“/local/file.txt”, “rb”) as f: client.write(“/hdfs/file.txt”, f) 2. دانلود فایل از HDFS: from hdfs import Client client = Client(“hdfs://namenode.example.com:9000”) with open(“/local/file.txt”, “wb”) as f: client.read(“/hdfs/file.txt”, f) 3. ایجاد دایرکتوری در HDFS: from hdfs import Client client = Client(“hdfs://namenode.example.com:9000”) client.makedirs(“/hdfs/dir”) 4. لیست کردن محتویات […]
مراحل پیاده سازی آپاچی هدوپ با داکر: مرحله 1: پیش نیازها: نصب Docker: Docker Desktop را در سیستم خود نصب کنید. دانش Docker: آشنایی با مفاهیم و دستورات پایه ای Docker. فایل Docker Compose: فایلی که شامل پیکربندی تصاویر Docker برای Hadoop است. مرحله 2: دانلود تصاویر Docker: تصاویر Docker مورد نیاز برای Hadoop را از Docker Hub […]
پیش نیازها: سیستم عامل: لینوکس (مانند Ubuntu، CentOS) سخت افزار: حداقل 2 کامپیوتر با 4 گیگابایت رم و 40 گیگابایت فضای ذخیره سازی نصب Java: Java SE 8 یا بالاتر مراحل: 1. دانلود و نصب Hadoop: به وب سایت Apache Hadoop بروید و آخرین نسخه Hadoop را دانلود کنید. Hadoop را در هر دو کامپیوتر (گره های Master […]
HDFS مخفف Hadoop Distributed File System است، که یک سیستم فایل توزیع شده است و یکی از اجزای اصلی چارچوب نرم افزار Big Data به نام Apache Hadoop (توضیح بیشتر) است. هدف اصلی HDFS ذخیره سازی قابل اعتماد، مقیاس پذیر و مقرون به صرفه مجموعه داده های بسیار بزرگ روی خوشه ای از رایانه ها […]
هدوپ، که با نام کامل آپاچی هدوپ (Apache Hadoop) شناخته می شود، یک چارچوب نرم افزاری متن باز است که به پردازش توزیع شده مجموعه داده های بسیار بزرگ (Big Data) بر روی کلاسترهای رایانه ای مقرون به صرفه کمک می کند. به عبارت دیگر، هدوپ به شما امکان می دهد تا یک کار محاسباتی […]