কিভাবে সেন্টোস/আরএইচএল 7 - পার্ট 4 এ সিডিএইচ ইনস্টল করবেন এবং পরিষেবা স্থাপনাগুলি কনফিগার করবেন

পূর্ববর্তী একটি নিবন্ধে, আমরা ক্লাউডেরার ম্যানেজারের ইনস্টলেশন সম্পর্কে ব্যাখ্যা করেছি, এই নিবন্ধে, আপনি কীভাবে সিএইচএইচ (ক্লৌডেরার ডিস্ট্রিবিউশন হাদুপ) আরএইচইএল/সেন্টোস 7 এ কনফিগার করবেন তা শিখবেন।

সিডিএইচ পার্সেল ইনস্টল করার সময়, আমাদের ক্লাউডেরা ম্যানেজার এবং সিডিএইচ সামঞ্জস্যতা নিশ্চিত করতে হবে। ক্লোদেরার সংস্করণটির 3 অংশ রয়েছে - <মজোর> <মিনোর> << রক্ষণাবেক্ষণ>। ক্লৌডের ম্যানেজারের বড় এবং ছোটখাটো সংস্করণ অবশ্যই সিডিএইচ মেজর এবং গৌণ সংস্করণ হিসাবে একই হতে হবে।

উদাহরণস্বরূপ, আমরা ক্লৌডেরার ম্যানেজার 6.3.1 এবং সিডিএইচ 6.3.2 ব্যবহার করছি। এখানে 6 প্রধান এবং 3 গৌণ সংস্করণ। সামঞ্জস্যের সমস্যাগুলি এড়াতে মেজর এবং মাইনরকে অবশ্যই এক হতে হবে।

সেন্টোস/আরএইচএল 7 - পর্ব 1 এ হ্যাডোপ সার্ভার স্থাপনের জন্য সেরা অভ্যাসগুলি
হ্যাডোপ প্রাক-প্রয়োজনীয়তা এবং সুরক্ষা কঠোরতা সেট করা - পার্ট 2
সেন্টোস/আরএইচএল 7 - পার্ট 3 - এ ক্লৌডেরা ম্যানেজারটি কীভাবে ইনস্টল ও কনফিগার করবেন

সিডিএইচ ইনস্টল করার জন্য আমরা নীচের 2 টি নোড নেব। ইতিমধ্যে আমরা মাস্টার 1 এ ক্লৌডের ম্যানেজার ইনস্টল করেছি, এছাড়াও আমরা মাস্টার 1 কে রেপো সার্ভার হিসাবে ব্যবহার করছি।

master1.linux-console.net
worker1.linux-console.net

পদক্ষেপ 1: মাস্টার সার্ভারে সিডিএইচ পার্সেলগুলি ডাউনলোড করুন

1. প্রথমে মাস্টার 1 সার্ভারের সাথে সংযুক্ত হয়ে/var/www/html/cloudera- রেপোস/সিডিএ ডিরেক্টরিতে সিডিএইচ পার্সেল ফাইলগুলি ডাউনলোড করুন। আমাদের নীচে উল্লিখিত 3 টি ফাইল ডাউনলোড করতে হবে যা RHEL/CentOS 7 এর সাথে সামঞ্জস্যপূর্ণ হওয়া উচিত।

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json

২. এই ফাইলগুলি ডাউনলোড করার আগে/var/www/html/cloudera- রেপোস/অবস্থানের অধীনে সিডিএইচ ডিরেক্টরি তৈরি করার বিষয়টি নিশ্চিত করুন।

$ cd /var/www/html/cloudera-repos/
$ sudo mkdir cdh
$ cd cdh

৩. এরপরে, নিম্নলিখিত উইজেট কমান্ডটি ব্যবহার করে উল্লিখিত 3 টি ফাইল ডাউনলোড করুন।

$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel 
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json

পদক্ষেপ 2: কর্মী ক্লায়েন্টদের ক্লাউডের ম্যানেজার রেপো সেটআপ করুন

৪. এখন, ওয়ার্কার সার্ভারের সাথে সংযোগ স্থাপন করুন এবং রেপো সার্ভারের (মাস্টার 1) থেকে বাকী সমস্ত কর্মী সার্ভারে রেপো ফাইলটি (ক্লৌডেরা-ম্যানেজার.রেপো) অনুলিপি করুন। এই রেপো ফাইলটি সার্ভারগুলি নিশ্চিত করে যে ইনস্টল করার সময় প্রয়োজনীয় সমস্ত পার্সেল এবং আরপিএম ডাউনলোড করা হবে রেপো সার্ভার থেকে।

cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL

৫. একবার রেপো যুক্ত হয়ে গেলে, ক্লোডেরা-ম্যানেজারের রেপো সক্ষম রয়েছে তা নিশ্চিত করার জন্য সক্ষম সঞ্চিত সংগ্রহস্থলগুলির তালিকা করুন।

$ yum repolist

পদক্ষেপ 3: ক্লৌডের ম্যানেজার ডেমোনস এবং কর্মী সার্ভারগুলিতে এজেন্ট ইনস্টল করুন

Now. এখন, আমাদের বাকী সমস্ত সার্ভারগুলিতে ক্লৌডেরা-ম্যানেজার-ডেমন এবং ক্লাউডেরা-ম্যানেজার-এজেন্ট ইনস্টল করতে হবে।

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent

Next. এরপরে, আপনাকে ক্লৌডেরার ম্যানেজার সার্ভারের প্রতিবেদন করার জন্য ক্লাউডেরা ম্যানেজার এজেন্টটি কনফিগার করতে হবে।

$ sudo vi /etc/cloudera-scm-agent/config.ini

ক্লোডেরা ম্যানেজার সার্ভারের আইপি ঠিকানার সাথে লোকালহোস্টটি প্রতিস্থাপন করুন।

৮. ক্লৌডের ম্যানেজার এজেন্ট শুরু করুন এবং স্থিতি যাচাই করুন।

$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

পদক্ষেপ 4: সিডিএইচ ইনস্টল করুন এবং সেটআপ করুন

আমাদের মাস্টার 1 - রেপো সার্ভারে সিডিএইচ পার্সেল রয়েছে। আপনি যদি ক্লৌডেরা ম্যানেজার ব্যবহার করে স্বয়ংক্রিয় ইনস্টলেশনটি অনুসরণ করেন তবে সমস্ত সার্ভারের /etc/yum.repos.d/ এ ক্লৌদেরা ম্যানেজার রেপো ফাইল রয়েছে তা নিশ্চিত করুন।

9. ক্লোরডেএর ম্যানেজারে লগ ইন করুন নীচের ইউআরএলটি 7180 পোর্টে ব্যবহার করে এবং ক্লৌদেরা ম্যানেজারের ডিফল্ট ব্যবহারকারীর নাম এবং পাসওয়ার্ড ব্যবহার করুন।

http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin

10. আপনি একবার লগ ইন করলে আপনাকে স্বাগতম পৃষ্ঠায় স্বাগতম জানানো হবে। এখানে আপনি রিলিজ নোটস, ক্লৌডের ম্যানেজারের নতুন বৈশিষ্ট্যগুলি খুঁজে পেতে পারেন।

১১. লাইসেন্সটি গ্রহণ করুন এবং চালিয়ে যান।

12. সংস্করণ নির্বাচন করুন। ট্রায়াল সংস্করণটি ডিফল্ট হিসাবে নির্বাচিত হয়েছে, আমরা এটির সাথে এগিয়ে যেতে পারি।

13. এখন, ক্লাস্টার ইনস্টলেশন পদক্ষেপগুলি অনুসরণ করুন। স্বাগতম পৃষ্ঠাটি চালিয়ে যান।

14. ক্লাস্টারের নাম দিন এবং চালিয়ে যান, আমরা "টেকমিন্ট" হিসাবে নামকরণ করেছি। 2 টি ধরণের ক্লাস্টার আপনি সংজ্ঞায়িত করতে পারেন। আমরা নিয়মিত ক্লাস্টার নিয়ে এগিয়ে যাচ্ছি।

নিয়মিত ক্লাস্টার: এতে স্টোরেজ নোড, গণনা নোড এবং অন্যান্য প্রয়োজনীয় পরিষেবা থাকবে
গণনা ক্লাস্টার: কেবল গণনা নোড নিয়ে গঠিত। বাহ্যিক স্টোরেজ ডেটা সংরক্ষণের জন্য ব্যবহার করা যেতে পারে

15. আমরা ইতিমধ্যে সমস্ত সার্ভারগুলিতে ক্লৌডের ম্যানেজার এজেন্ট ইনস্টল করেছি। আপনি "বর্তমানে পরিচালিত হোস্টগুলি" এ সার্ভারগুলি পেতে পারেন। স্বয়ংক্রিয় ইনস্টলেশন জন্য, আপনাকে সার্ভারগুলির FQDN বা আইপি প্রবেশ করতে হবে "নতুন হোস্টগুলি" বিকল্পে এবং অনুসন্ধান করতে। ক্লৌডের ম্যানেজার স্বয়ংক্রিয়ভাবে হোস্টগুলি সনাক্ত করবে যার উপর আমাদের সিডিএইচ ইনস্টল করা দরকার।

এখানে, "বর্তমানে পরিচালিত হোস্টগুলি" ক্লিক করুন, ‘হোস্টনেম’ নির্বাচন করে সমস্ত হোস্ট নির্বাচন করুন এবং চালিয়ে যান।

16. সংগ্রহস্থল নির্বাচন করুন - পার্সেল ব্যবহার করা প্রস্তাবিত উপায়। সংগ্রহস্থল কনফিগার করতে ‘আরও বিকল্প’ ক্লিক করুন।

17. নীচে উল্লিখিত হিসাবে স্থানীয় সংগ্রহস্থল URL লিখুন। ওয়েব (ক্লাউডেরার সংগ্রহশালা) নির্দেশকারী বাকী সমস্ত পাবলিক স্টোরগুলি সরান।

এটি আমাদের সিডিএইচ স্থানীয় সংগ্রহস্থল URL যা মাস্টার 1 এ রয়েছে।

http://104.211.95.96/cloudera-repos/cdh/

18. একবার সংগ্রহস্থল URL টি প্রবেশ করার পরে, এই পৃষ্ঠাটি কেবল উপলভ্য পার্সেলগুলি প্রদর্শন করবে। এই পদক্ষেপটি চালিয়ে যান।

19. এখন উপলভ্য সমস্ত সার্ভারে পার্সেলগুলি ডাউনলোড, বিতরণ, প্যাকবিহীন এবং সক্রিয় করা হচ্ছে।

20. একবার সিডিএইচ পার্সেলগুলি সক্রিয় হয়ে গেলে, ক্লাস্টারটি পরীক্ষা করুন। এই পদক্ষেপটি ক্লাস্টারের স্বাস্থ্য পরীক্ষা করবে। এখানে আমরা এড়িয়ে যাচ্ছি এবং চালিয়ে যাচ্ছি।

পদক্ষেপ 5: ক্লাস্টার কনফিগারেশন

21. এখানে আমাদের ক্লাস্টারে ইনস্টল করার জন্য পরিষেবাদিগুলি নির্বাচন করতে হবে। কিছু প্যাক করা সংমিশ্রণ ডিফল্টরূপে উপলভ্য হবে, আমরা কাস্টম পরিষেবাদির সাথে যাচ্ছি।

22. কাস্টম পরিষেবাদিতে আমরা এই ডেমো কাজের জন্য কেবলমাত্র মূল উপাদান (এইচডিএফএস এবং ইয়ারএন) ইনস্টল করছি।

23. সার্ভারে ভূমিকা বরাদ্দ করুন। আমরা আমাদের প্রয়োজনীয়তা অনুসারে কাস্টমাইজ করতে পারি। নীচের চার্টটি সন্ধান করুন যা উচ্চ উপলব্ধতার সাথে 5 থেকে 20 নোডের সাথে একটি বেসিক ছোট ক্লাস্টারের জন্য প্রস্তাবিত ভূমিকা বিতরণের বর্ণনা দেয়।

24. ডাটাবেস টাইপ, হোস্টনাম, ডিবি নাম, ব্যবহারকারীর নাম এবং পাসওয়ার্ড নির্বাচন করুন। যেহেতু আমরা এম্বেডড পোস্টগ্রিএসকিউএল ব্যবহার করছি, এটি ডিফল্টরূপে নির্বাচন করা হবে। সংযোগটি পরীক্ষা করুন, এটি সফল হওয়া উচিত।

25. এই পৃষ্ঠাটি ডেটা ডিরেক্টরিগুলি সহ এইচডিএফএস এবং সুতার ডিফল্ট কনফিগারেশন প্যারামিটারগুলি প্রদর্শন করবে। সমস্ত কনফিগারেশন বিশদ পর্যালোচনা করুন এবং প্রয়োজনে আপনি পরিবর্তন করতে পারেন। তারপরে এটি চালিয়ে যান।

26. এই পৃষ্ঠাটি "প্রথম রান" কমান্ডের বিশদ প্রদর্শন করবে। চলমান কমান্ডগুলির বিশদটি দেখতে আপনি এটি প্রসারিত করতে পারেন। ক্লাস্টারে যদি কোনও নেটওয়ার্ক বা অনুমতি সংক্রান্ত সমস্যা থাকে তবে এই পদক্ষেপটি ব্যর্থ হবে। সাধারণত, এই পদক্ষেপটি ক্লাস্টার বিল্ডিংয়ের মসৃণ ইনস্টলেশন সিদ্ধান্ত নেয়।

27. উপরের পদক্ষেপটি শেষ হয়ে গেলে, ইনস্টলেশনটি সম্পূর্ণ করতে 'সমাপ্তি' ক্লিক করুন। এটি সিডিএইচ ইনস্টল করার পরে ক্লৌডের ম্যানেজারের ড্যাশবোর্ড।

http://104.211.95.96:7180/cmf/home

আমরা ক্লৌডের ম্যানেজার এবং সিডিএইচ ইনস্টলেশন সফলভাবে সম্পন্ন করেছি। ক্লৌডেরার ম্যানেজার ড্যাশবোর্ডে আপনি চার্টের একটি পূর্বনির্ধারিত সেট খুঁজে পেতে পারেন যেখানে আপনি ক্লাস্টার সিপিইউ, ডিস্ক আইও ইত্যাদি পর্যবেক্ষণ করতে পারেন আমরা এই ক্লৌডের ম্যানেজারটি ব্যবহার করে পুরো ক্লাস্টারটি পরিচালনা করতে পারি। আমরা আসন্ন নিবন্ধগুলিতে সমস্ত প্রশাসনিক কার্যক্রম দেখতে পাবেন।