در اینجا تعدادی از دستورات پرکاربرد برای مدیریت HDFS آورده شده است: 1. دستورات مربوط به NameNode: hdfs namenode -format: قالب بندی HDFS (فقط باید در اولین بار استفاده شود) hdfs namenode -start: راه اندازی NameNode hdfs namenode -stop: توقف NameNode hdfs dfsadmin -report: مشاهده گزارش وضعیت HDFS 2. دستورات مربوط به DataNode: hdfs datanode […]
آرشیو نویسنده: هادی محمدیان
پیش نیازها: سیستم عامل: لینوکس (مانند Ubuntu، CentOS) سخت افزار: حداقل 2 کامپیوتر با 4 گیگابایت رم و 40 گیگابایت فضای ذخیره سازی نصب Java: Java SE 8 یا بالاتر مراحل: 1. دانلود و نصب Hadoop: به وب سایت Apache Hadoop بروید و آخرین نسخه Hadoop را دانلود کنید. Hadoop را در هر دو کامپیوتر (گره های Master […]
MapReduce یک چارچوب پردازش موازی توزیع شده است که برای پردازش مجموعه داده های بزرگ در خوشه های رایانه ای استفاده می شود. این چارچوب به طور گسترده ای در هدوپ برای تجزیه و تحلیل داده های بزرگ استفاده می شود. مراحل MapReduce: مرحله Map: داده های ورودی به قطعات کوچک تقسیم می شوند. هر […]
در هدوپ، DataNode یک جزء کلیدی سیستم فایل توزیع شده HDFS (Hadoop Distributed File System) است. وظیفه اصلی DataNode ذخیره سازی واقعی داده ها در گره های مختلف یک خوشه هدوپ است. در مقابل، NameNode مسئول مدیریت متادیتا و هماهنگی بین DataNode ها می باشد. موارد زیر در تصویر نشان داده شدهاند: DataNode: گرهای در خوشه […]
1. آپلود فایل به HDFS: from hdfs import Client client = Client(“hdfs://namenode.example.com:9000”) with open(“/local/file.txt”, “rb”) as f: client.write(“/hdfs/file.txt”, f) 2. دانلود فایل از HDFS: from hdfs import Client client = Client(“hdfs://namenode.example.com:9000”) with open(“/local/file.txt”, “wb”) as f: client.read(“/hdfs/file.txt”, f) 3. ایجاد دایرکتوری در HDFS: from hdfs import Client client = Client(“hdfs://namenode.example.com:9000”) client.makedirs(“/hdfs/dir”) 4. لیست کردن محتویات […]
مراحل پیاده سازی آپاچی هدوپ با داکر: مرحله 1: پیش نیازها: نصب Docker: Docker Desktop را در سیستم خود نصب کنید. دانش Docker: آشنایی با مفاهیم و دستورات پایه ای Docker. فایل Docker Compose: فایلی که شامل پیکربندی تصاویر Docker برای Hadoop است. مرحله 2: دانلود تصاویر Docker: تصاویر Docker مورد نیاز برای Hadoop را از Docker Hub […]
پیش نیازها: سیستم عامل: لینوکس (مانند Ubuntu، CentOS) سخت افزار: حداقل 2 کامپیوتر با 4 گیگابایت رم و 40 گیگابایت فضای ذخیره سازی نصب Java: Java SE 8 یا بالاتر مراحل: 1. دانلود و نصب Hadoop: به وب سایت Apache Hadoop بروید و آخرین نسخه Hadoop را دانلود کنید. Hadoop را در هر دو کامپیوتر (گره های Master […]
HDFS مخفف Hadoop Distributed File System است، که یک سیستم فایل توزیع شده است و یکی از اجزای اصلی چارچوب نرم افزار Big Data به نام Apache Hadoop (توضیح بیشتر) است. هدف اصلی HDFS ذخیره سازی قابل اعتماد، مقیاس پذیر و مقرون به صرفه مجموعه داده های بسیار بزرگ روی خوشه ای از رایانه ها […]
هدوپ، که با نام کامل آپاچی هدوپ (Apache Hadoop) شناخته می شود، یک چارچوب نرم افزاری متن باز است که به پردازش توزیع شده مجموعه داده های بسیار بزرگ (Big Data) بر روی کلاسترهای رایانه ای مقرون به صرفه کمک می کند. به عبارت دیگر، هدوپ به شما امکان می دهد تا یک کار محاسباتی […]
ETL و ELT هر دو روش هایی برای انتقال داده از منابع مختلف به یک سیستم مقصد مانند انبار داده یا پایگاه داده تحلیلی هستند. هر دو روش هدف یکسانی دارند که در نهایت امکان تجزیه و تحلیل داده ها را فراهم می کنند، اما از نظر ترتیب مراحل با هم تفاوت دارند: ETL (Extract, […]