হাই উপলভ্যতা সহ হিভকে কীভাবে ইনস্টল এবং কনফিগার করবেন - পার্ট 7
হিভ হাদুপ ইকো-সিস্টেমের একটি ডেটা গুদামের মডেল। এটি হ্যাডোপের শীর্ষে ইটিএল সরঞ্জাম হিসাবে সম্পাদন করতে পারে। রিসোর্স ম্যানেজারের মতো মাস্টার সার্ভিসে আমরা যেমন করি তেমন হাইভের উপর উচ্চ উপলভ্যতা (এইচএ) সক্ষম করা সেরকম নয়।
স্বয়ংক্রিয় ব্যর্থতা হুব (হাইভেরভার 2) এ ঘটবে না। যদি কোনও হিভিসরভার 2 (এইচএস 2) ব্যর্থ হয় তবে সেই ব্যর্থ এইচএস 2 এ কাজ চালানো ব্যর্থ হবে। আমাদের কাজটি আবার জমা দিতে হবে যাতে চাকরিটি অন্যান্য হাইভ সার্ভার 2 এ চালানো যায়। সুতরাং, এইচএস 2 এ এইচএ সক্ষম করা ক্লাস্টারে এইচএস 2 উপাদানগুলির সংখ্যা বৃদ্ধি ছাড়া কিছুই নয়।
এই নিবন্ধে, আমরা হাইভের উচ্চ প্রাপ্যতা ইনস্টল ও সক্ষম করার পদক্ষেপগুলি দেখতে পাব।
- সেন্টোস/আরএইচএল 7 - পর্ব 1 এ হ্যাডোপ সার্ভার স্থাপনের জন্য সেরা অভ্যাসগুলি
- হ্যাডোপ প্রাক-প্রয়োজনীয়তা এবং সুরক্ষা কঠোরতা সেট করা - পার্ট 2
- সেন্টোস/আরএইচএল 7 - পার্ট 3 - এ ক্লৌডেরা ম্যানেজারটি কীভাবে ইনস্টল ও কনফিগার করবেন
- কীভাবে সিডিওএস ইনস্টল করবেন এবং সেন্টোস/আরএইচএল 7 - পার্ট 4 এ সার্ভিস প্লেসমেন্টগুলি কনফিগার করুন
- নামনোডের জন্য কীভাবে উচ্চ উপলভ্যতা সেট করবেন - পার্ট 5
- কীভাবে রিসোর্স ম্যানেজারের জন্য উচ্চ প্রাপ্যতা সেট আপ করবেন - পার্ট 6
চল শুরু করি…
হাইভ ইনস্টলেশন ও কনফিগারেশন
1. নীচের ইউআরএলে ক্লৌদেরা ম্যানেজারে লগইন করুন এবং ক্লৌদেরা ম্যানেজারে নেভিগেট করুন -> পরিষেবা যুক্ত করুন।
http://13.233.129.39:7180/cmf/home
2. পরিষেবা 'মধুচক্র' নির্বাচন করুন।
3. নোডগুলিতে পরিষেবাগুলি বরাদ্দ করুন।
- গেটওয়ে - এটি ক্লায়েন্ট পরিষেবাদি যেখানে ব্যবহারকারী এইচআইয়ে অ্যাক্সেস করতে পারে। সাধারণত, এই পরিষেবাটি ব্যবহারকারীদের জন্য উত্সর্গীকৃত এজ নোডগুলিতে স্থাপন করা হবে।
- হাইভ মেটাস্টোর - এটি হাইভ মেটাডেটা সংরক্ষণ করার জন্য একটি কেন্দ্রীয় ভাণ্ডার
- ওয়েবএইচটিসি সার্ভার - এটি এইচটিগ্ল্যাগল এবং অন্যান্য হ্যাডোপ পরিষেবাদির জন্য একটি ওয়েব এপিআই
- Hiveserver2 - এটি হাইভের উপর ক্যোয়ারি এক্সিকিউশনের জন্য ক্লায়েন্টদের একটি ইন্টারফেস।
সার্ভারগুলি একবার নির্বাচিত হয়ে গেলে, এগিয়ে যেতে ক্লিক করুন Continue
৪. মধু মেটাস্টোর মেটাডেটা সংরক্ষণের জন্য একটি অন্তর্নিহিত ডেটাবেস প্রয়োজন। এখানে আমরা ডিফল্ট PostgreSQL ডাটাবেসটি ব্যবহার করছি যা সিডিএইচ সহ অন্তর্নির্মিত।
উল্লিখিত ডাটাবেসের বিবরণগুলির নীচে স্বয়ংক্রিয়ভাবে প্রবেশ করা হবে, উল্লিখিত ডাটাবেসটি ফ্লাইতে তৈরি হওয়ায় ‘টেস্ট সংযোগ’ এড়ানো হবে। রিয়েল-টাইমে, আমাদের বাহ্যিক ডাটাবেসে ডেটাবেস তৈরি করতে হবে এবং আরও এগিয়ে যাওয়ার জন্য সংযোগটি পরীক্ষা করতে হবে। একবার হয়ে গেলে, দয়া করে 'চালিয়ে যান' ক্লিক করুন।
৫.এচআইভি গুদাম ডিরেক্টরিটি কনফিগার করুন,/ব্যবহারকারীর/মাতাল/গুদাম হাইভ টেবিলগুলি সংরক্ষণ করার জন্য এটি ডিফল্ট ডিরেক্টরি পথ। ‘চালিয়ে যান’ এ ক্লিক করুন।
H. হাইভের ইনস্টলেশন শুরু হয়েছে Installation
Installation. ইনস্টলেশন শেষ হয়ে গেলে আপনি 'সমাপ্ত' স্ট্যাটাসটি পেতে পারেন। আরও এগিয়ে যেতে ‘চালিয়ে যান’ এ ক্লিক করুন।
৮. হাইভ ইনস্টলেশন এবং কনফিগারেশন সফলভাবে সম্পন্ন হয়েছে। ইনস্টলেশন প্রক্রিয়াটি সম্পূর্ণ করতে ‘সমাপ্ত’ ক্লিক করুন।
9. আপনি ক্লৌডের ম্যানেজার ড্যাশবোর্ডের মাধ্যমে ক্লাস্টারে যুক্ত এইচআইভি পরিষেবাটি দেখতে পাচ্ছেন।
10. আপনি Hive এর উদাহরণগুলিতে Hiveserver2 দেখতে পারেন। আমরা মাস্টার 1 এ হিভসভার 2 যুক্ত করেছি।
ক্লৌডের পরিচালক -> মাতাল -> উদাহরণ -> হাইভসভার 2।
হাইভের উপর উচ্চ প্রাপ্যতা সক্ষম করা
১১. পরবর্তী ক্লৌডের ম্যানেজার -> মাতাল -> ক্রিয়াকলাপগুলি -> ভূমিকা উদাহরণগুলি যোগ করে মাতালীর ভূমিকা যুক্ত করুন।
12. আপনি অতিরিক্ত Hiveserver2 রাখতে চান যেখানে সার্ভার নির্বাচন করুন। আপনি দু'জনের বেশি যোগ করতে পারেন, সীমা নেই। এখানে আমরা মাস্টার 2-তে একটি অতিরিক্ত একটি Hiveserver2 যুক্ত করছি।
13. একবার সার্ভারটি নির্বাচন করা হলে, 'চালিয়ে যান' ক্লিক করুন।
14. এইচআইভি দৃষ্টান্তগুলিতে একটি হিভার্সভার 2 যুক্ত করা হবে, আপনার এটি ক্লৌডের ম্যানেজার -> মাতাল -> দৃষ্টান্তগুলি -> (হাইভেরভার 2 টি নতুনভাবে যুক্ত করা হয়েছে) -> নির্বাচিত জন্য পদক্ষেপ -> শুরুতে গিয়ে শুরু করা দরকার।
15. একবার Hiveserver2 মাস্টার 2 এ শুরু হওয়ার পরে আপনি ‘সমাপ্ত’ স্ট্যাটাসটি পাবেন। বন্ধ ক্লিক করুন।
16. আপনি দেখতে পাচ্ছেন, উভয়ই হুভেসারভার 2 চলছে।
মধুচবি উপলভ্যতা যাচাই করা হচ্ছে
পাতলা ক্লায়েন্ট এবং কমান্ড-লাইনের মাধ্যমে আমরা হাইনসারভার 2 সংযোগ করতে পারি। এটি সংযোগ স্থাপনের জন্য জেডিবিসি ড্রাইভার ব্যবহার করে।
17. সার্ভে লগইন করুন যেখানে হাইভ গেটওয়ে চলছে।
[[email ~]$ beeline
18. Hiveserver2 সংযোগ করতে JDBC সংযোগ স্ট্রিং প্রবেশ করান। এই সংযোগে, আমরা স্ট্রিংটি হিভার্সভার 2 (মাস্টার 2) এর ডিফল্ট পোর্ট নম্বর 10000 দিয়ে উল্লেখ করছি This
beeline> !connect "jdbc:hive2://master1.linux-console.net:10000"
19. একটি নমুনা কোয়েরি চালান।
0: jdbc:hive2://master1.linux-console.net:10000> show databases;
এটি হ'ল ডিফল্ট ডাটাবেস যা অন্তর্নির্মিত হয়।
20. হাইভ সেশনটি শেষ করতে নীচের কমান্ডটি ব্যবহার করুন।
0: jdbc:hive2://master1.linux-console.net:10000> !quit
21. আপনি মাস্টার 2 এ চলমান Hiveserver2 সংযোগ করতে একইভাবে ব্যবহার করতে পারেন।
beeline> !connect "jdbc:hive2://master2.linux-console.net:10000"
23. আমরা চিড়িয়াখানা আবিষ্কারক মোডে Hiveserver2 সংযোগ করতে পারেন। এই পদ্ধতিতে, আমাদের সংযোগের স্ট্রিংয়ে Hiveserver2 উল্লেখ করার দরকার নেই পরিবর্তে আমরা চিড়িয়াখানা ব্যবহারকারীর কাছে উপলভ্য Hiveserver2 আবিষ্কার করতে ব্যবহার করছি।
উপলভ্য হিভারসিভার 2 এর মধ্যে ভার ভারসাম্য রাখতে আমরা একটি তৃতীয় পক্ষের লোড ব্যালেন্সার ব্যবহার করতে পারি। নীচের কনফিগারেশনটি ক্লৌডের পরিচালক -> মাতাল -> কনফিগারেশনে গিয়ে চিড়িয়াখানা আবিষ্কারক মোড সক্ষম করতে হবে।
24. এরপরে, "HiveServer2 অ্যাডভান্সড কনফিগারেশন স্নিপেট" বৈশিষ্ট্যটি অনুসন্ধান করুন এবং নীচের বৈশিষ্ট্য যুক্ত করতে + প্রতীকটি ক্লিক করুন।
Name : hive.server2.support.dynamic.service.discovery Value : true Description : <any description>
25. একবার সম্পত্তিটিতে প্রবেশ করার পরে, "পরিবর্তনগুলি সংরক্ষণ করুন" এ ক্লিক করুন।
26. যেহেতু আমরা কনফিগারেশনে পরিবর্তন করেছি, সেবার পুনরায় আরম্ভ করার জন্য কমলা রঙের প্রতীকটিতে ক্লিক করে প্রভাবিত পরিষেবাদি পুনরায় চালু করা দরকার।
27. 'স্টার্ট পুনরায় চালু করুন' পরিষেবাগুলিতে ক্লিক করুন।
28. দুটি বিকল্প উপলব্ধ। যদি ক্লাস্টারটি লাইভ উত্পাদনে থাকে তবে আউটেজ কমিয়ে আনতে আমাদের রোলিং পুনঃসূচনাটি পছন্দ করতে হবে। যেহেতু আমরা নতুনভাবে ইনস্টল করছি, আমরা দ্বিতীয় বিকল্পটি ‘ক্লায়েন্ট কনফিগারেশনটিকে পুনরায় মোতায়েন করুন’ চয়ন করতে পারি এবং ‘এখনই পুনরায় চালু করুন’ এ ক্লিক করতে পারি।
29. একবার সফলভাবে পুনঃসূচনাটি শেষ হলে আপনি 'সমাপ্ত' স্ট্যাটাসটি পাবেন। প্রক্রিয়াটি সম্পূর্ণ করতে ‘সমাপ্ত’ ক্লিক করুন।
30. এখন আমরা চিড়িয়াখানার আবিষ্কারক মোড ব্যবহার করে Hiveserver2 সংযোগ করব। জেডিবিসি সংযোগে, আমাদের স্ট্রিংটি চিড়িয়াখানার সার্ভারগুলি তার পোর্ট নম্বর 2081 সহ ব্যবহার করা দরকার Cl ক্লৌডেরার ম্যানেজার -> চিড়িয়াখানা -> দৃষ্টান্তগুলি -> গিয়ে সার্ভারের সংগ্রহগুলি সংগ্রহ করুন (সার্ভারের নামগুলি নোট করুন)।
এই তিনটি সার্ভারের চিড়িয়াখানা রয়েছে, 2181 হ'ল বন্দর নম্বর।
master1.linux-console.net:2181 master2.linux-console.net:2181 worker1.linux-console.net:2181
31. এখন বাইনলাইন পেতে।
[[email ~]$ beeline
32. নীচে উল্লিখিত হিসাবে JDBC সংযোগ স্ট্রিং লিখুন। আমাদের পরিষেবা আবিষ্কারের মোড এবং চিড়িয়াখানার নেমস্পেসের উল্লেখ করতে হবে। ‘হাইভসভার 2’ হিজসারভার 2 এর ডিফল্ট নেমস্পেস।
beeline>!connect "jdbc:hive2://master1.linux-console.net:2181,master2.linux-console.net:2181,worker1.linux-console.net:2181/;serviceDiscoveryMode=zookeeper;zookeeperNamespace=hiveserver2"
33. এখন অধিবেশনটি মাস্টার 1 এ চলমান Hiveserver2 এর সাথে সংযুক্ত। যাচাই করতে একটি নমুনা ক্যোয়ারী চালান। একটি ডাটাবেস তৈরি করতে নীচের কমান্ডটি ব্যবহার করুন।
0: jdbc:hive2://master1.linux-console.net:2181,mast> create database tecmint;
34. ডাটাবেস তালিকা করতে নীচের কমান্ডটি ব্যবহার করুন।
0: jdbc:hive2://master1.linux-console.net:2181,mast> show databases;
35. এখন আমরা চিড়িয়াখানার আবিষ্কারের মোডে উচ্চ উপলব্ধতা যাচাই করব। ক্লৌডেরা ম্যানেজারে যান এবং মাস্টার 1-এ হিভেরবার 2 বন্ধ করুন যা আমরা উপরে পরীক্ষা করেছি।
ক্লৌডের ম্যানেজার -> মাতাল -> দৃষ্টান্ত -> (মাস্টার 1 তে হিভসভার 2 নির্বাচন করুন) -> নির্বাচিতদের জন্য পদক্ষেপ -> বন্ধ করুন।
36. 'থামুন' ক্লিক করুন। একবার বন্ধ হয়ে গেলে আপনি ‘সমাপ্ত’ স্ট্যাটাস পাবেন। মাইভ -> দৃষ্টান্তগুলিতে নেভিগেট করে মাস্টার 1 এ হিভসভার 2টিকে যাচাই করুন।
37. বাইনলাইনটিতে যান এবং হুইসারভার 2 কে জূকিপার ডিসকভারি মোডের সাথে একই জেডিবিসি সংযোগ স্ট্রিংটি ব্যবহার করে আমরা উপরের পদক্ষেপগুলির মতো সংযুক্ত করুন।
[[email ~]$ beeline beeline>!connect "jdbc:hive2://master1.linux-console.net:2181,master2.linux-console.net:2181,worker1.linux-console.net:2181/;serviceDiscoveryMode=zookeeper;zookeeperNamespace=hiveserver2"
এখন আপনি মাস্টার 2 এ চলমান Hiveserver2 এর সাথে সংযুক্ত থাকবেন।
38. একটি নমুনা প্রশ্নের সাথে বৈধতা দিন।
0: jdbc:hive2://master1.linux-console.net:2181,mast> show databases;
এই নিবন্ধে, আমরা উচ্চ ক্লাবের সাথে আমাদের ক্লাস্টারে হাইভ ডেটা ওয়্যারহাউস মডেলটি বিশদ পদক্ষেপগুলি অতিক্রম করেছি। রিয়েল-টাইম উত্পাদনের পরিবেশে, চিড়িয়াখানার আবিষ্কারক মোড সক্ষম করে তিনটিরও বেশি হিজসারভার 2 স্থাপন করা হবে।
এখানে, সমস্ত হিজসারবার 2 গুলি একটি সাধারণ নেমস্পেসের অধীনে চিড়িয়াখানার সাথে নিবন্ধন করছে। চিড়িয়াখানা কীভাবে ডায়নামিকভাবে উপলভ্য হিভেরভার 2 টি আবিষ্কার করে এবং মাতাল সেশনটি প্রতিষ্ঠিত করে।