CentOS/RHEL 7 - পার্ট 1 এ হ্যাডোপ সার্ভার স্থাপনের জন্য সেরা অনুশীলন P


এই সিরিজের নিবন্ধগুলিতে, আমরা পুরো ক্লৌডের হাদুপ ক্লাস্টার বিল্ডিং বিল্ডিংটি ভেন্ডর এবং শিল্প প্রস্তাবিত সেরা অনুশীলনগুলির সাথে কভার করতে চলেছি।

ওএস ইনস্টলেশন এবং ওএস স্তরের প্রাক-প্রয়োজনীয়তা হাদুপ ক্লাস্টার তৈরির প্রথম পদক্ষেপ। হাডোপ লিনাক্স প্ল্যাটফর্মের বিভিন্ন স্বাদে চলতে পারে: সেন্টোস, রেডহ্যাট, উবুন্টু, দেবিয়ান, সুস ইত্যাদি, রিয়েল-টাইম উত্পাদনে, বেশিরভাগ হ্যাডোপ ক্লাস্টারগুলি আরএইচইএল/সেন্টোসের শীর্ষে নির্মিত হয়, আমরা প্রদর্শনের জন্য সেন্টস 7 ব্যবহার করব will টিউটোরিয়াল এই সিরিজে।

কোনও সংস্থায়, কিকস্টার্ট ব্যবহার করে ওএস ইনস্টলেশন করা যেতে পারে। যদি এটি 3 থেকে 4 নোড ক্লাস্টার হয় তবে ম্যানুয়াল ইনস্টলেশন সম্ভব তবে আমরা যদি 10 টিরও বেশি নোড সহ একটি বৃহত ক্লাস্টার তৈরি করি তবে একের পর এক ওএস ইনস্টল করা ক্লান্তিকর। এই দৃশ্যে, কিকস্টার্ট পদ্ধতিটি ছবিতে আসে, আমরা কিকস্টার্ট ব্যবহার করে ভর ইনস্টলেশন নিয়ে এগিয়ে যেতে পারি।

একটি হডুপ পরিবেশ থেকে ভাল পারফরম্যান্স অর্জন সঠিক হার্ডওয়্যার এবং সফ্টওয়্যার সরবরাহ করার উপর নির্ভর করে। সুতরাং, একটি উত্পাদন হাডোপ ক্লাস্টার নির্মাণে হার্ডওয়্যার এবং সফ্টওয়্যার সম্পর্কিত অনেক বিবেচনা জড়িত।

এই নিবন্ধে, আমরা ওএস ইনস্টলেশন সম্পর্কে বিভিন্ন বেঞ্চমার্ক এবং সেন্টোস/আরএইচএল 7 এ ক্লৌডেরা হাদুপ ক্লাস্টার সার্ভার স্থাপনের জন্য কয়েকটি সেরা অনুশীলনের মধ্য দিয়ে যাব।

হাদোপ সার্ভার স্থাপনের জন্য গুরুত্বপূর্ণ বিবেচনা এবং সেরা অভ্যাস

সেন্টোস/আরএইচইএল 7 এ ক্লৌডেরা হাদুপ ক্লাস্টার সার্ভার স্থাপনের জন্য নিচের সেরা অনুশীলনগুলি রয়েছে।

  • হুডোপ সার্ভারগুলির একটি ক্লাস্টার তৈরির জন্য এন্টারপ্রাইজ স্ট্যান্ডার্ড সার্ভারের প্রয়োজন হয় না, এর জন্য পণ্য হার্ডওয়্যার প্রয়োজন
  • প্রোডাকশন ক্লাস্টারে 8 থেকে 12 ডেটা ডিস্ক থাকার পরামর্শ দেওয়া হয়। কাজের চাপের প্রকৃতি অনুসারে আমাদের এ বিষয়ে সিদ্ধান্ত নেওয়া উচিত। যদি ক্লাস্টারটি গণনা-নিবিড় অ্যাপ্লিকেশনগুলির জন্য হয় তবে I/O সমস্যাগুলি এড়াতে 4 থেকে 6 ড্রাইভ করা ভাল অনুশীলন।
  • ডেটা ড্রাইভগুলি পৃথক পৃথকভাবে বিভাজন করা উচিত, উদাহরণস্বরূপ -/ডাটা01 থেকে/ডেটা 10 থেকে শুরু করে রেড কনফিগারেশনটি কর্মী নোডগুলির জন্য প্রস্তাবিত নয়, কারণ হ্যাডোপ নিজেই ব্লকগুলিকে ডিফল্টরূপে 3 এ প্রতিলিপি করে ডেটাতে ফল্ট-সহনশীলতা সরবরাহ করে। সুতরাং JBOD কর্মী নোডের জন্য সেরা best
  • মাস্টার সার্ভারের জন্য, RAID 1 হ'ল সর্বোত্তম অনুশীলন
  • CentOS/RHEL 7.x এ ডিফল্ট ফাইল সিস্টেমটি হ'ল এক্সএফএস। হাদুপ এক্সএফএস, এক্সট3 এবং এক্সট 4 সমর্থন করে। প্রস্তাবিত ফাইল-সিস্টেমটি ext3 হয় কারণ এটি ভাল পারফরম্যান্সের জন্য পরীক্ষা করা হয়
  • সমস্ত সার্ভারের একই ওএস সংস্করণ হওয়া উচিত, কমপক্ষে একই মাইনর রিলিজ
  • সমজাতীয় হার্ডওয়ার থাকা ভাল অভ্যাস (সমস্ত কর্মী নোডের একই হার্ডওয়্যার বৈশিষ্ট্য থাকতে হবে (রu্যাম, ডিস্কের স্থান এবং কোর ইত্যাদি)
  • ক্লাস্টার ওয়ার্কলোডের ভারসাম্য অনুযায়ী (ভারসাম্য ওয়ার্কলোড, কমপিউট ইনটেনসিভ, আই/ও ইনটেনসিভ) এবং আকার, সংস্থান (রu্যাম, সিপিইউ) সার্ভারের জন্য পরিকল্পনা পৃথক হবে

24 টিবি স্টোরেজের সার্ভারগুলির ডিস্ক বিভাজনের জন্য নীচের উদাহরণটি সন্ধান করুন।

হ্যাডোপ সার্ভার স্থাপনার জন্য CentOS 7 ইনস্টল করা

হ্যাডোপ সার্ভারের জন্য সেন্টোস 7 সার্ভার ইনস্টল করার আগে যে বিষয়গুলি আপনার জানা দরকার।

  • হ্যাডোপ সার্ভার (কর্মী নোড) এর জন্য ন্যূনতম ইনস্টলেশন যথেষ্ট, কিছু ক্ষেত্রে জিইউআই কেবলমাত্র মাস্টার সার্ভার বা পরিচালনা সার্ভারের জন্য ইনস্টল করা যেতে পারে যেখানে আমরা ওয়েব ইউআই ম্যানেজমেন্ট সরঞ্জামগুলির জন্য ব্রাউজারগুলি ব্যবহার করতে পারি
  • নেটওয়ার্ক, হোস্ট-নেম এবং অন্যান্য ওএস-সম্পর্কিত সেটিংস ওএসের ইনস্টলেশন পরে কনফিগার করা যায়।
  • রিয়েল-টাইমে সার্ভার বিক্রেতাদের সার্ভারগুলির সাথে ইন্টারঅ্যাক্ট এবং পরিচালনা করার জন্য তাদের নিজস্ব কনসোল থাকবে, উদাহরণস্বরূপ - ডেল সার্ভারগুলিতে আইডিআরএসি রয়েছে যা সার্ভারের সাথে এম্বেড করা একটি ডিভাইস। সেই আইডিআরএসি ইন্টারফেস ব্যবহার করে আমরা আমাদের স্থানীয় সিস্টেমে একটি ওএস চিত্র থাকার সাথে ওএস ইনস্টল করতে পারি

এই নিবন্ধে, আমরা ভিএমওয়্যার ভার্চুয়াল মেশিনে ওএস (সেন্টস 7) ইনস্টল করেছি। এখানে, আমরা পার্টিশন সম্পাদন করার জন্য একাধিক ডিস্ক রাখব না। CentOS RHEL (একই কার্যকারিতা) এর মতো, সুতরাং আমরা CentOS ইনস্টল করার পদক্ষেপগুলি দেখতে পাব।

1. আপনার স্থানীয় উইন্ডোজ সিস্টেমে CentOS 7.x আইএসও ডাউনলোডটি শুরু করে ভার্চুয়াল মেশিনটি বুট করার সময় এটি নির্বাচন করুন select প্রদর্শিত হিসাবে 'ইনস্টল সেন্টস 7' নির্বাচন করুন।

২. ভাষা নির্বাচন করুন, ডিফল্ট হবে ইংরেজী, এবং চালিয়ে যান ক্লিক করুন।

৩. সফ্টওয়্যার নির্বাচন - ‘সর্বনিম্ন ইনস্টলেশন’ নির্বাচন করুন এবং ‘সম্পন্ন’ ক্লিক করুন।

৪. রুট পাসওয়ার্ড সেট করুন যেমন এটি সেট করতে আমাদের অনুরোধ জানাবে।

5. ইনস্টলেশন গন্তব্য - সতর্কতা অবলম্বন করা এটি গুরুত্বপূর্ণ পদক্ষেপ। আমাদের যেখানে ডিস্ক ইনস্টল করতে হবে সেখানে ডিস্ক নির্বাচন করতে হবে, ওএসের জন্য ডেডিকেটেড ডিস্ক নির্বাচন করা উচিত। ‘ইনস্টলেশন লক্ষ্য’ ক্লিক করুন এবং ডিস্কটি নির্বাচন করুন, রিয়েল-টাইমে একাধিক ডিস্ক থাকবে, আমাদের পছন্দসই, পছন্দসই ‘এসডিএ’ প্রয়োজন need

Other. অন্যান্য স্টোরেজ বিকল্প - ওএস সম্পর্কিত পার্টিশন যেমন/var,/var/log,/home,/tmp,/opt,/swap কনফিগার করতে দ্বিতীয় বিকল্প (আমি পার্টিশন কনফিগার করব) বেছে নিন।

7. একবার হয়ে গেলে, ইনস্টলেশন শুরু করুন।

৮. ইনস্টলেশনটি শেষ হয়ে গেলে সার্ভারটি পুনরায় বুট করুন।

9. সার্ভারে লগইন করুন এবং হোস্ট-নেম সেট করুন।

# hostnamectl status
# hostnamectl set-hostname tecmint
# hostnamectl status

এই নিবন্ধে, আমরা ওএস ইনস্টলেশন ধাপগুলি এবং ফাইল সিস্টেম বিভাজনের জন্য সেরা অনুশীলনগুলি পেরিয়েছি। এগুলি সমস্ত সাধারণ গাইডলাইন, কাজের চাপের প্রকৃতি অনুসারে, গুচ্ছের সর্বোত্তম পারফরম্যান্স অর্জনের জন্য আমাদের আরও সংক্ষেপে মনোনিবেশ করার প্রয়োজন হতে পারে। ক্লাস্টার পরিকল্পনা হ্যাডোপ প্রশাসকের পক্ষে শিল্প art আমাদের পরবর্তী নিবন্ধে ওএস স্তরের প্রাক-প্রয়োজনীয়তা এবং সুরক্ষা হার্ডডিংয়ে গভীর ডুব লাগবে।