CentOS 7 এ হ্যাডোপ সিঙ্গল নোড ক্লাস্টার (সিউডনোড) কীভাবে ইনস্টল করবেন

হাদুপ একটি ওপেন-সোর্স কাঠামো যা বিগডাটা মোকাবেলা করার জন্য ব্যাপকভাবে ব্যবহৃত হয়। হ্যাডোপ ইকো-সিস্টেমের শীর্ষে বেশিরভাগ বিগডাটা/ডেটা অ্যানালিটিক্স প্রকল্প নির্মিত হচ্ছে। এটি দ্বি-স্তর নিয়ে গঠিত, একটি হ'ল ডেটা সংরক্ষণের জন্য এবং অন্যটি প্রসেসিং ডেটার জন্য।

স্টোরেজটির যত্ন তার নিজস্ব এইচডিএফএস ফাইল ফাইল সিস্টেম দ্বারা করা হবে (হ্যাডোপ বিতরণকারী ফাইল সিস্টেম) এবং প্রসেসিংয়ের যত্ন নেওয়া হবে ইএআরএন (তবুও অন্য এক রিসোর্স আলোচক)। হ্যাডোপ ইকো-সিস্টেমের ডিফল্ট প্রসেসিং ইঞ্জিন হ'ল ম্যাপ্রেডুস।

এই নিবন্ধটি হাদুপের সিউডনোড ইনস্টলেশনটি ইনস্টল করার প্রক্রিয়া বর্ণনা করে, যেখানে সমস্ত ডেমনস (জেভিএম) CentOS 7 এ একক নোড ক্লাস্টার চালাবেন।

এটি প্রাথমিকভাবে হ্যাডোপ শিখার জন্য। রিয়েল-টাইমে, হ্যাডোপ একটি মাল্টিনোড ক্লাস্টার হিসাবে ইনস্টল করা হবে যেখানে সার্ভারগুলির মধ্যে ব্লক হিসাবে ডেটা বিতরণ করা হবে এবং কাজটি সমান্তরাল পদ্ধতিতে কার্যকর করা হবে।

• CentOS 7 সার্ভারের একটি সর্বনিম্ন ইনস্টলেশন
• জাভা ভি 1.8 রিলিজ
• হ্যাডোপ 2.x স্থিতিশীল রিলিজ

এই পৃষ্ঠায়

• কীভাবে CentOS 7 এ জাভা ইনস্টল করবেন
• সেন্টোস 7
এ পাসওয়ার্ডহীন লগইন সেট করুন
• CentOS 7 এ হ্যাডোপ সিঙ্গল নোড কীভাবে ইনস্টল করবেন
• সেন্টোস 7 এ হ্যাডোপ কনফিগার করার পদ্ধতি
• নাম নোডের মাধ্যমে এইচডিএফএস ফাইল সিস্টেম ফর্ম্যাট করা

1. হাদুপ একটি ইকো-সিস্টেম যা জাভা দিয়ে তৈরি। হ্যাডোপ ইনস্টল করার জন্য আমাদের জাভেদকে বাধ্যতামূলকভাবে ইনস্টল করা দরকার।

# yum install java-1.8.0-openjdk

২. এর পরে, সিস্টেমে জাভা ইনস্টল করা সংস্করণটি যাচাই করুন।

# java -version

আমাদের মেশিনে এসএসএস কনফিগার করা দরকার, হ্যাডোপ এসএসএইচ ব্যবহারের সাথে নোডগুলি পরিচালনা করবে। মাস্টার নোড তার স্লেভ নোডগুলি সংযুক্ত করতে এবং স্টার্ট এবং স্টপের মতো ক্রিয়াকলাপ সম্পাদন করতে এসএসএইচ সংযোগ ব্যবহার করে।

আমাদের পাসওয়ার্ড-কম এসএসএস স্থাপন করতে হবে যাতে মাস্টার একটি পাসওয়ার্ড ছাড়াই এসএসএস ব্যবহার করে দাসদের সাথে যোগাযোগ করতে পারে। অন্যথায় প্রতিটি সংযোগ স্থাপনের জন্য, পাসওয়ার্ড প্রবেশ করা প্রয়োজন।

এই একক নোডে, মাস্টার পরিষেবাদি (নেমনেড, সেকেন্ডারি নামনোড এবং রিসোর্স ম্যানেজার) এবং স্লেভ সার্ভিসেস (ডেটানোড এবং নোডম্যানজার) পৃথক জেভিএম হিসাবে চলবে। এটি সিজ নোড হওয়া সত্ত্বেও, প্রমাণীকরণ ছাড়াই স্ল্যাভকে যোগাযোগ করতে মাস্টারকে তৈরি করতে আমাদের পাসওয়ার্ড-কম এসএসএস থাকা দরকার।

৩. সার্ভারে নিম্নলিখিত কমান্ড ব্যবহার করে একটি পাসওয়ার্ড-ছাড়াই এসএসএইচ লগইন সেট আপ করুন।

# ssh-keygen
# ssh-copy-id -i localhost

৪. আপনি পাসওয়ার্ডহীন এসএসএইচ লগইনটি কনফিগার করার পরে আবার লগইন করার চেষ্টা করুন, আপনি একটি পাসওয়ার্ড ছাড়াই সংযুক্ত হয়ে যাবেন।

# ssh localhost

৫. অ্যাপাচি হ্যাডোপ ওয়েবসাইটে যান এবং নিম্নলিখিত উইজেট কমান্ডটি ব্যবহার করে হ্যাডোপের স্থিতিশীল প্রকাশটি ডাউনলোড করুন।

# wget https://archive.apache.org/dist/hadoop/core/hadoop-2.10.1/hadoop-2.10.1.tar.gz
# tar xvpzf hadoop-2.10.1.tar.gz

Next. এরপরে, দেখানো হিসাবে ।/.Bashrc ফাইলে হ্যাডোপ পরিবেশের ভেরিয়েবল যুক্ত করুন।

HADOOP_PREFIX=/root/hadoop-2.10.1
PATH=$PATH:$HADOOP_PREFIX/bin
export PATH JAVA_HOME HADOOP_PREFIX

<. environment/.bashrc ফাইলটিতে এনভায়রনমেন্ট ভেরিয়েবল যুক্ত করার পরে ফাইলটি উত্স করুন এবং নিম্নলিখিত কমান্ডগুলি চালিয়ে হ্যাডোপ যাচাই করুন।

# source ~/.bashrc
# cd $HADOOP_PREFIX
# bin/hadoop version

আপনার মেশিনে ফিট করার জন্য আমাদের হ্যাডোপ কনফিগারেশন ফাইলগুলির নীচে কনফিগার করতে হবে। হাদুপে, প্রতিটি পরিষেবার ডেটা সঞ্চয় করার জন্য নিজস্ব নিজস্ব পোর্ট নম্বর এবং নিজস্ব ডিরেক্টরি রয়েছে।

• হ্যাডোপ কনফিগারেশন ফাইলগুলি - কোর-সাইট.xml, এইচডিএফএস-সাইট.xml, ম্যাপ্রেড-সাইট.xML এবং সুতা-সাইট.xml

৮. প্রথমত, হ্যাডোপ -এনভি.এসএস ফাইলে যেমন দেখানো হয়েছে তেমনভাবে আমাদের জাভাআহোম এবং হ্যাডোপ পাথ আপডেট করতে হবে।

# cd $HADOOP_PREFIX/etc/hadoop
# vi hadoop-env.sh

ফাইলের শুরুতে নিম্নলিখিত লাইনটি প্রবেশ করান।

export JAVA_HOME=/usr/lib/jvm/java-1.8.0/jre
export HADOOP_PREFIX=/root/hadoop-2.10.1

9. এরপরে, কোর-সাইট.xml ফাইলটি সংশোধন করুন।

# cd $HADOOP_PREFIX/etc/hadoop
# vi core-site.xml

<< কনফিগারেশন> ট্যাগের মধ্যে প্রদর্শিত হিসাবে পেস্ট করুন।

<configuration>
            <property>
                   <name>fs.defaultFS</name>
                   <value>hdfs://localhost:9000</value>
           </property>
</configuration>

10. নীচের ডিরেক্টরিগুলি টেকমিন্ট ব্যবহারকারী হোম ডিরেক্টরিতে তৈরি করুন যা এনএন এবং ডিএন স্টোরেজের জন্য ব্যবহৃত হবে।

# mkdir -p /home/tecmint/hdata/
# mkdir -p /home/tecmint/hdata/data
# mkdir -p /home/tecmint/hdata/name

১০. এরপরে hdfs-site.xML ফাইলটি পরিবর্তন করুন।

# cd $HADOOP_PREFIX/etc/hadoop
# vi hdfs-site.xml

<< কনফিগারেশন> ট্যাগের মধ্যে প্রদর্শিত হিসাবে পেস্ট করুন।

<configuration>
<property>
        <name>dfs.replication</name>
        <value>1</value>
 </property>
  <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/tecmint/hdata/name</value>
  </property>
  <property>
          <name>dfs .datanode.data.dir</name>
          <value>home/tecmint/hdata/data</value>
  </property>
</configuration>

১১. আবার, ম্যাপ্রেড-সাইট.xML ফাইলটি সংশোধন করুন।

# cd $HADOOP_PREFIX/etc/hadoop
# cp mapred-site.xml.template mapred-site.xml
# vi mapred-site.xml

<< কনফিগারেশন> ট্যাগের মধ্যে প্রদর্শিত হিসাবে পেস্ট করুন।

<configuration>
                <property>
                        <name>mapreduce.framework.name</name>
                        <value>yarn</value>
                </property>
</configuration>

12. শেষ অবধি, সুতা-সাইট.xML ফাইলটি পরিবর্তন করুন।

# cd $HADOOP_PREFIX/etc/hadoop
# vi yarn-site.xml

<< কনফিগারেশন> ট্যাগের মধ্যে প্রদর্শিত হিসাবে পেস্ট করুন।

<configuration>
                <property>
                       <name>yarn.nodemanager.aux-services</name>
                       <value>mapreduce_shuffle</value>
                </property>
</configuration>

13. ক্লাস্টারটি শুরুর আগে, আমাদের স্থানীয় সিস্টেমে হ্যাডোপ এনএন ফর্ম্যাট করতে হবে যেখানে এটি ইনস্টল করা হয়েছে। সাধারণত, প্রথমবার ক্লাস্টার শুরু করার আগে এটি প্রাথমিক পর্যায়ে করা হবে।

এনএন ফর্ম্যাট করা এনএন মেটাস্টোরে ডেটা হ্রাস ঘটায়, তাই আমাদের আরও সতর্ক হতে হবে, ক্লাস্টারটি ইচ্ছাকৃতভাবে প্রয়োজন না হলে চলমান অবস্থায় আমাদের এনএন ফর্ম্যাট করা উচিত নয়।

# cd $HADOOP_PREFIX
# bin/hadoop namenode -format

14. নেমনোড ডেমন এবং ডেটা নোড ডেমন শুরু করুন: (পোর্ট 50070)।

# cd $HADOOP_PREFIX
# sbin/start-dfs.sh

15. রিসোর্স ম্যানেজার ডেমন এবং নোডম্যানেজার ডেমন শুরু করুন: (পোর্ট 8088)।

# sbin/start-yarn.sh

16. সমস্ত পরিষেবা বন্ধ করতে।

# sbin/stop-dfs.sh
# sbin/stop-dfs.sh

সংক্ষিপ্তসার
এই নিবন্ধে, আমরা হ্যাডোপ সিউডনোড (একক নোড) ক্লাস্টার স্থাপনের জন্য ধাপে ধাপে এগিয়ে গিয়েছি। আপনার যদি লিনাক্স সম্পর্কে প্রাথমিক জ্ঞান থাকে এবং এই পদক্ষেপগুলি অনুসরণ করেন তবে ক্লাস্টারটি 40 মিনিটের মধ্যে ইউপি হবে।

শিক্ষানবিশ এবং হডুপের অনুশীলন শুরু করার জন্য এটি প্রাথমিকভাবে খুব কার্যকর হতে পারে বা হাদুপের এই ভ্যানিলা সংস্করণটি বিকাশের উদ্দেশ্যে ব্যবহার করা যেতে পারে। আমরা যদি রিয়েল-টাইম ক্লাস্টার রাখতে চাই, আমাদের হাতে কমপক্ষে 3 টি শারীরিক সার্ভার দরকার বা একাধিক সার্ভার থাকার জন্য ক্লাউডের ব্যবস্থা করতে হবে।