CentOS/RHEL 7 - পার্ট 3 এ ক্লোডেরা ম্যানেজারটি কীভাবে ইনস্টল ও কনফিগার করবেন

এই নিবন্ধে, আমরা শিল্প অনুশীলন অনুযায়ী ক্লৌডের ম্যানেজার ইনস্টল করতে ধাপে ধাপে প্রক্রিয়াটি বর্ণনা করেছি। পার্ট 2-এ, আমরা ইতিমধ্যে ক্লৌডের প্রি-আবশ্যকতাগুলি পেরিয়েছি, নিশ্চিত হয়ে নিন যে সমস্ত সার্ভারগুলি নিখুঁতভাবে প্রস্তুত।

• সেন্টোস/আরএইচএল 7 - পর্ব 1 এ হ্যাডোপ সার্ভার স্থাপনের জন্য সেরা অভ্যাসগুলি
• হ্যাডোপ প্রাক-প্রয়োজনীয়তা এবং সুরক্ষা কঠোরতা সেট করা - পার্ট 2

এখানে আমরা 5 টি নোড ক্লাস্টার করতে যাচ্ছি যেখানে 2 মাস্টার এবং 3 জন কর্মী। ইনস্টলেশন প্রক্রিয়াটি প্রদর্শনের জন্য আমি 5 টি ডাব্লুএসএস ইসি 2 উদাহরণ ব্যবহার করেছি। আমি এই 5 টি সার্ভারের নাম নীচে রেখেছি।

master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net

ক্লৌডেরা ম্যানেজার পুরো সিডিএইচের প্রশাসনিক এবং পর্যবেক্ষণের সরঞ্জাম। আমরা এডমিনকে সাধারণত এটিকে ক্লৌডের হাদুপের একটি পরিচালনা সরঞ্জাম বলে অভিহিত করি। আমরা এই সরঞ্জামটি ব্যবহার করে মোতায়েন, নিরীক্ষণ, নিয়ন্ত্রণ এবং কনফিগারেশন পরিবর্তন করতে পারি। পুরো ক্লাস্টারটি পরিচালনা করার জন্য এটি অত্যন্ত প্রয়োজনীয়।

নীচে ক্লৌডের ম্যানেজারের গুরুত্বপূর্ণ ব্যবহারগুলি দেওয়া হল।

• স্বয়ংক্রিয় পদ্ধতিতে হডোপ ক্লাস্টার স্থাপন এবং কনফিগার করুন li
• ক্লাস্টারের স্বাস্থ্য পর্যবেক্ষণ করুন
• সতর্কতা কনফিগার করুন
• সমস্যার সমাধান
• প্রতিবেদন করা
• ক্লাস্টার ব্যবহারের রিপোর্ট তৈরি করা
• সম্পদকে গতিযুক্ত করে কনফিগার করা

পদক্ষেপ 1: CentOS এ অ্যাপাচি ওয়েব সার্ভার ইনস্টল করা

আমরা ক্লোডেরা সংগ্রহস্থলের ওয়েবসভার হিসাবে মাস্টার 1 ব্যবহার করতে যাচ্ছি। এছাড়াও, ক্লৌডের ম্যানেজারটি ওয়েবইউআই, সুতরাং আমাদের অ্যাপাচি ইনস্টল করা দরকার। অ্যাপাচি ওয়েব সার্ভারটি ইনস্টল করতে নীচের পদক্ষেপগুলি অনুসরণ করুন।

# yum -y install httpd

একবার httpd ইনস্টল হয়ে গেলে এটি শুরু করুন এবং সক্ষম করুন যাতে এটি বুটে শুরু হবে।

# systemctl start httpd
# systemctl enable httpd

Httpd শুরু করার পরে, স্থিতিটি নিশ্চিত করুন।

# systemctl status httpd

Httpd শুরু করার পরে, আপনার স্থানীয় সিস্টেমে একটি ব্রাউজার খুলুন এবং <বার> মাস্টার 1 এর আইপি ঠিকানাটি অনুসন্ধান বারে আটকান, আপনার এই পরীক্ষার পৃষ্ঠাটি নিশ্চিত করা উচিত যে httpd ঠিকঠাক চলছে কিনা তা নিশ্চিত করার জন্য।

পদক্ষেপ 2: আইপি এবং হোস্টনেম সমাধান করার জন্য স্থানীয় ডিএনএস কনফিগার করুন

আইপি এবং হোস্টনেম সমাধান করার জন্য আমাদের একটি ডিএনএস সার্ভার থাকা বা/ইত্যাদি/হোস্ট কনফিগার করতে হবে। এখানে আমরা/ইত্যাদি/হোস্ট কনফিগার করছি, তবে রিয়েল-টাইমে, উত্পাদনের পরিবেশের জন্য একটি উত্সর্গীকৃত ডিএনএস সার্ভার থাকবে।

/ ইত্যাদি/হোস্টগুলিতে আপনার সমস্ত সার্ভারের জন্য প্রবেশের জন্য নীচের পদক্ষেপগুলি অনুসরণ করুন।

# vi /etc/hosts

এটি সমস্ত সার্ভারে কনফিগার করা উচিত।

13.235.27.144   master1.linux-console.net     master1
13.235.135.170  master2.linux-console.net     master2
15.206.167.94   worker1.linux-console.net     worker1
13.232.173.158  worker2.linux-console.net     worker2
65.0.182.222    worker3.linux-console.net     worker3

পদক্ষেপ 3: এসএসএইচ পাসওয়ার্ডহীন লগইনটি কনফিগার করুন

এই বিক্ষোভে ক্লোডেরা ম্যানেজার মাস্টার 1 এ ইনস্টল করা হচ্ছে। আমাদের মাস্টার 1 থেকে অন্য সমস্ত নোডে পাসওয়ার্ড-কম এসএসএস কনফিগার করতে হবে। কারণ ক্লৌডেরা ম্যানেজার প্যাকেজ ইনস্টল করতে অন্যান্য নোডের যোগাযোগের জন্য ssh ব্যবহার করবে।

সমস্ত কোডগুলিতে মাস্টার 1 থেকে পাসওয়ার্ড-কম এসএসএস কনফিগার করতে নীচের পদক্ষেপগুলি অনুসরণ করুন। আরও এগিয়ে যাওয়ার জন্য আমাদের একটি ব্যবহারকারীর ‘টেকমিন্ট’ থাকবে।

ইউর্যাডড কমান্ডটি দেখানো হিসাবে ব্যবহার করে একটি ব্যবহারকারী ‘টেকমিন্ট’ সমস্ত 4 সার্ভার তৈরি করুন।

# useradd -m tecmint

ব্যবহারকারীর ‘টেকমিন্ট’ কে মূল অধিকার দেওয়ার জন্য নীচের লাইনটি/etc/sudoers ফাইলে যুক্ত করুন। স্ক্রিনশট হিসাবে দেওয়া হিসাবে আপনি এই লাইনটি রুটের নিচে যুক্ত করতে পারেন।

tecmint   ALL=(ALL)    ALL

ব্যবহারকারী ‘টেকমিন্ট’ এ স্যুইচ করুন এবং নীচের কমান্ডটি ব্যবহার করে মাস্টার 1 এ ssh কী তৈরি করুন।

# sudo su tecmint
$ ssh-keygen

এখন প্রদর্শিত হিসাবে ssh-copy-id কমান্ড ব্যবহার করে 4 টি সার্ভারে তৈরি কীটি অনুলিপি করুন।

$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email  
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 

এখন আপনি মাস্টার 1 থেকে সমস্ত সার্ভারকে পাসওয়ার্ড ছাড়াই যেমন দেখানো হয়েছে তেমন স্থির রাখতে সক্ষম হবেন।

$ ssh master2
$ ssh worker1
$ ssh worker2
$ ssh worker3

পদক্ষেপ 4: ক্লৌডের ম্যানেজারটি ইনস্টল এবং কনফিগার করা

RHEL/CentOS- এ প্যাকেজ পরিচালনার সরঞ্জামগুলি ব্যবহার করে সমস্ত প্যাকেজ ইনস্টল করতে আমরা বিক্রেতা (ক্লৌডেরা) সংগ্রহস্থলটি ব্যবহার করতে পারি। রিয়েল-টাইমে, আমাদের নিজস্ব সংগ্রহশালা তৈরি করা সবচেয়ে ভাল অনুশীলন কারণ আমরা উত্পাদন সার্ভারগুলিতে ইন্টারনেট অ্যাক্সেস নাও পেতে পারি।

এখানে আমরা ক্লৌডের ম্যানেজার 6.3.1 রিলিজ ইনস্টল করতে যাচ্ছি। যেহেতু আমরা মাস্টার 1 রেপো সার্ভার হিসাবে ব্যবহার করতে যাচ্ছি, তাই আমরা নীচে উল্লিখিত পথে প্যাকেজগুলি ডাউনলোড করছি।

মাস্টার 1 সার্ভারে নীচে উল্লিখিত ডিরেক্টরিগুলি তৈরি করুন।

$ sudo mkdir -p /var/www/html/cloudera-repos/cm6

আমরা HTTP- র মাধ্যমে প্যাকেজগুলি ডাউনলোড করতে উইজেট সরঞ্জামটি ব্যবহার করতে পারি। সুতরাং, নীচের কমান্ডটি ব্যবহার করে উইজেটটি ইনস্টল করুন।

$ sudo yum -y install wget

এরপরে, নিম্নলিখিত উইজেট কমান্ডটি ব্যবহার করে ক্লৌডের ম্যানেজার টার ফাইলটি ডাউনলোড করুন।

$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz

/ Var/www/html/cloudera-repos/cm6 এ টর ফাইলটি এক্সট্রাক্ট করুন, ইতিমধ্যে আমরা মাস্টার 1 কে HTTP ইনস্টল করে ওয়েবসভার হিসাবে তৈরি করেছি এবং আমরা ব্রাউজারে পরীক্ষা করেছি।

$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1

এখন, যাচাই করুন যে সমস্ত ক্লৌডেরা আরপিএম ফাইলগুলি সেখানে রয়েছে/var/www/html/cloudera-repos/cm6/RPMS/x86_64 ডিরেক্টরিতে।

$ cd /var/www/html/cloudera-repos/cm6
$ ll

নিম্নলিখিত সামগ্রীর সাথে ক্লাস্টার হোস্টের সমস্ত সার্ভারে /etc/yum.repos.d/cloudera-manager.repo ফাইল তৈরি করুন, এখানে মাস্টার 1 (65.0.101.148) ওয়েব সার্ভার।

[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0

এখন সংগ্রহস্থলটি যুক্ত করা হয়েছে, সক্ষম করা সংগ্রহস্থলগুলি দেখার জন্য নীচের কমান্ডটি চালান।

$ yum repolist

সংগ্রহস্থলের সমস্ত উপলব্ধ ক্লৌডের সম্পর্কিত প্যাকেজ দেখতে নীচের কমান্ডটি চালান।

$ yum list available | grep cloudera*

ক্লাউডেরা-ম্যানেজার-সার্ভার, ক্লাউডেরা-ম্যানেজার-এজেন্ট, ক্লাউডেরা-ম্যানেজার-ডেমন ক্লৌডেরা-ম্যানেজার-সার্ভার-ডিবি -২ ইনস্টল করুন।

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2

সমস্ত ইনস্টলড ক্লৌডেরার প্যাকেজ দেখতে নীচের কমান্ডটি চালান।

$ yum list installed | grep cloudera*

ক্লৌডেরা-স্কেম-সার্ভার-ডিবি শুরু করার জন্য নীচের কমান্ডটি চালান যা ক্লাউডেরার ম্যানেজার এবং অন্যান্য পরিষেবাগুলির মেটাডেটা সঞ্চয় করার জন্য অন্তর্নিহিত ডাটাবেস।

ডিফল্টরূপে, ক্লৌদেরা পোস্টগ্রি-স্কিল নিয়ে আসছেন যা ক্লাউডেরা ম্যানেজারে এম্বেড করা আছে। আমরা ব্যবহার করা যেতে পারে এমন একটি বাস্তব-সময় বহিরাগত ডাটাবেসে এম্বেড থাকা ইনস্টল করছি are এটি ওরাকল, মাইএসকিউএল বা পোস্টগ্রিএসকিউএল হতে পারে।

$ sudo systemctl start cloudera-scm-server-db

ডাটাবেসের স্থিতি পরীক্ষা করতে নীচের কমান্ডটি চালান।

$ sudo systemctl status cloudera-scm-server-db

ক্লৌডেরা ম্যানেজার সার্ভারের জন্য db.properties কনফিগার করুন।

$ vi /etc/cloudera-scm-server/db.properties

ক্লাউডার ম্যানেজারকে এম্বেডড ডেটাবেস ব্যবহার করতে নীচের মানটি কনফিগার করুন।

com.cloudera.cmf.db.setupType=EMBEDDED

ক্লৌডেরা ম্যানেজার সার্ভার শুরু করতে নীচের কমান্ডটি চালান।

$ sudo systemctl start cloudera-scm-server

ক্লৌডেরা ম্যানেজার সার্ভারের স্থিতি পরীক্ষা করতে নীচের কমান্ডটি চালান।

$ sudo systemctl status cloudera-scm-server

ক্লৌডেরা ম্যানেজার এজেন্টের অবস্থা শুরু এবং পরীক্ষা করতে নীচের কমান্ডটি চালান।

$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

একবার ক্লৌডেরার ম্যানেজার সার্ভারটি সফলভাবে আপ এবং জরিমানা হয়ে গেলে, আপনি ব্রাউজারে আইপি ঠিকানা এবং পোর্ট নম্বর 80১ Cl০ ব্যবহার করে ব্রাউজারে ওয়েবউইআই (লগইন পৃষ্ঠা) দেখতে পারবেন যা ক্লাউডেরার ম্যানেজারের পোর্ট নম্বর।

https://65.0.101.148:7180

এই নিবন্ধে, আমরা সেন্টোস Cl এ ক্লৌডেরা ম্যানেজার ইনস্টল করার জন্য ধাপে ধাপে প্রক্রিয়াটি দেখেছি আমরা পরবর্তী নিবন্ধে সিডিএইচ এবং অন্যান্য পরিষেবা ইনস্টলেশন দেখতে পাব।