CentOS 7 এ একা নোডে অ্যাপাচি হ্যাডুপ কীভাবে ইনস্টল এবং কনফিগার করবেন

অ্যাপাচি হ্যাডোপ কম্পিউটার ক্লাস্টারগুলিতে বিতরণ করা বিগ ডেটা স্টোরেজ এবং প্রসেসিং ডেটার জন্য একটি ওপেন সোর্স ফ্রেমওয়ার্ক বিল্ড। প্রকল্পটি নিম্নলিখিত উপাদানগুলির উপর ভিত্তি করে:

হ্যাডোপ কমন - এতে জাভা লাইব্রেরি এবং অন্যান্য হ্যাডোপ মডিউলগুলির প্রয়োজনীয় ইউটিলিটি রয়েছে
এইচডিএফএস - হ্যাডোপ বিতরণকারী ফাইল সিস্টেম - একাধিক নোড জুড়ে বিতরণ করা একটি জাভা ভিত্তিক স্কেলযোগ্য ফাইল সিস্টেম
মানচিত্রে - সমান্তরাল বড় ডেটা প্রক্রিয়াকরণের জন্য YARN কাঠামো
হাদুপ ইয়ার্ন: ক্লাস্টার রিসোর্স ম্যানেজমেন্টের জন্য একটি কাঠামো

এই নিবন্ধটি আপনাকে সেন্টোস 7-তে (আরএইচইএল 7 এবং ফেডোরা 23+ সংস্করণেও কাজ করে) একক নোড ক্লাস্টারে অ্যাপাচি হ্যাডোপ ইনস্টল করতে পারে সে সম্পর্কে আপনাকে গাইড করবে। এই ধরণের কনফিগারেশন হ্যাডোপ সিউডো-বিতরণ মোড হিসাবেও উল্লেখ করা হয়।

পদক্ষেপ 1: CentOS 7 এ জাভা ইনস্টল করুন

১. জাভা ইনস্টলেশন নিয়ে যাওয়ার আগে প্রথমে রুট ব্যবহারকারীর সাথে লগইন করুন বা রুট সুবিধাগুলি সহ একটি ব্যবহারকারী নীচের কমান্ডের সাহায্যে আপনার মেশিনের হোস্টনাম সেটআপ করুন।

# hostnamectl set-hostname master

এছাড়াও, আপনার সিস্টেমের আইপি ঠিকানায় ইঙ্গিত করতে আপনার নিজের মেশিন এফকিউডিএন দিয়ে হোস্ট ফাইলগুলিতে একটি নতুন রেকর্ড যুক্ত করুন।

# vi /etc/hosts

নীচের লাইনটি যুক্ত করুন:

192.168.1.41 master.hadoop.lan

উপরের হোস্টনাম এবং এফকিউডিএন রেকর্ডগুলি আপনার নিজের সেটিংসের সাথে প্রতিস্থাপন করুন।

২. এরপরে, ওরাকল জাভা ডাউনলোড পৃষ্ঠায় যান এবং কার্ল কমান্ডের সাহায্যে আপনার সিস্টেমে জাভা এসই বিকাশ কিট 8 এর সর্বশেষতম সংস্করণটি ধরুন:

# curl -LO -H "Cookie: oraclelicense=accept-securebackup-cookie" “http://download.oracle.com/otn-pub/java/jdk/8u92-b14/jdk-8u92-linux-x64.rpm”

৩. জাভা বাইনারি ডাউনলোড শেষ হওয়ার পরে, নীচের কমান্ডটি জারি করে প্যাকেজটি ইনস্টল করুন:

# rpm -Uvh jdk-8u92-linux-x64.rpm

পদক্ষেপ 2: সেন্টোস 7 এ হ্যাডোপ ফ্রেমওয়ার্ক ইনস্টল করুন

৪. এরপরে, রুট শক্তি ছাড়াই আপনার সিস্টেমে একটি নতুন ব্যবহারকারী অ্যাকাউন্ট তৈরি করুন যা আমরা এটি হ্যাডোপ ইনস্টলেশন পন্থা এবং কার্যকারী পরিবেশের জন্য ব্যবহার করব। নতুন অ্যাকাউন্ট হোম ডিরেক্টরিটি /opt/hadoop ডিরেক্টরিতে থাকবে।

# useradd -d /opt/hadoop hadoop
# passwd hadoop

৫. পরবর্তী পদক্ষেপে সর্বশেষতম স্থিতিশীল সংস্করণের লিঙ্কটি পেতে এবং আপনার সিস্টেমে সংরক্ষণাগারটি ডাউনলোড করতে অ্যাপাচি হাদুপ পৃষ্ঠাটি দেখুন।

# curl -O http://apache.javapipe.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

Account. অ্যাকাউন্টের হোম পাথের ডিরেক্টরিতে অনুলিপিটি অনুলিপি করে ডিরেক্টরি কন্টেন্ট করুন। এছাড়াও, নিশ্চিত হয়ে নিন যে আপনি সেই সাথে অনুলিপি করা ফাইলের অনুমতিগুলি পরিবর্তন করেছেন।

#  tar xfz hadoop-2.7.2.tar.gz
# cp -rf hadoop-2.7.2/* /opt/hadoop/
# chown -R hadoop:hadoop /opt/hadoop/

Next. এরপরে, হ্যাডোপ ব্যবহারকারীর সাথে লগইন করুন এবং .Bash_profile ফাইলটি সম্পাদনা করে আপনার সিস্টেমে হ্যাডোপ এবং জাভা এনভায়রনমেন্ট ভেরিয়েবলগুলি কনফিগার করুন।

# su - hadoop
$ vi .bash_profile

ফাইলের শেষে নিম্নলিখিত লাইনগুলি যুক্ত করুন:

## JAVA env variables
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

## HADOOP env variables
export HADOOP_HOME=/opt/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

৮. এখন, পরিবেশ পরিবর্তনশীল সূচনা করুন এবং নীচের আদেশগুলি জারি করে তাদের স্থিতি পরীক্ষা করুন:

$ source .bash_profile
$ echo $HADOOP_HOME
$ echo $JAVA_HOME

9. অবশেষে, নীচের কমান্ডগুলি চালনা করে হ্যাডোপ অ্যাকাউন্টের জন্য ssh কী ভিত্তিক প্রমাণীকরণ কনফিগার করুন (ততক্ষণে ssh-copy-id কমান্ডের সাথে হোস্টনাম বা FQDN প্রতিস্থাপন করুন)।

এছাড়াও, ssh এর মাধ্যমে স্বয়ংক্রিয়ভাবে লগইন করার জন্য পাসফ্রেজটি দায়ের করা ফাঁকা রেখে দিন।

$ ssh-keygen -t rsa
$ ssh-copy-id master.hadoop.lan