উবুন্টু/ডেবিয়ানে অ্যাপাচি স্পার্ক ইনস্টল ও সেটআপ করবেন কীভাবে

অ্যাপাচি স্পার্ক একটি ওপেন-সোর্স বিতরণযোগ্য গণনা কাঠামো যা দ্রুত গণনার ফলাফল সরবরাহ করার জন্য তৈরি করা হয়। এটি একটি ইন-মেমোরি কম্পিউটেশনাল ইঞ্জিন, অর্থাত মেমরিতে ডেটা প্রক্রিয়া করা হবে।

স্পার্ক স্ট্রিমিং, গ্রাফ প্রসেসিং, এসকিউএল, এমএললিবের জন্য বিভিন্ন এপিআই সমর্থন করে। এটি জাভা, পাইথন, স্কেলা এবং আরকে পছন্দসই ভাষা হিসাবে সমর্থন করে। স্পার্ক বেশিরভাগ হ্যাডোপ ক্লাস্টারে ইনস্টল থাকে তবে আপনি স্টারডোনাল মোডে স্পার্ক ইনস্টল ও কনফিগার করতে পারেন।

এই নিবন্ধে, আমরা দেখব কীভাবে ডেবিয়ান এবং উবুন্টু ভিত্তিক বিতরণগুলিতে অ্যাপাচি স্পার্ক ইনস্টল করা যায়।

উবুন্টুতে জাভা এবং স্কেলা ইনস্টল করুন

উবুন্টুতে অ্যাপাচি স্পার্ক ইনস্টল করতে আপনার মেশিনে জাভা এবং স্কেলা ইনস্টল করা দরকার। আধুনিক ডিস্ট্রিবিউশনের বেশিরভাগটি জাভা ডিফল্টরূপে ইনস্টল করে আসে এবং আপনি নিম্নলিখিত কমান্ডটি ব্যবহার করে এটি যাচাই করতে পারেন।

$ java -version

যদি কোনও আউটপুট না থাকে তবে আপনি কীভাবে উবুন্টুতে জাভা ইনস্টল করবেন সে সম্পর্কে আমাদের নিবন্ধটি ব্যবহার করে জাভা ইনস্টল করতে পারেন বা উবুন্টু এবং ডেবিয়ান-ভিত্তিক বিতরণগুলিতে জাভা ইনস্টল করার জন্য নিম্নলিখিত কমান্ডগুলি চালনা করতে পারেন।

$ sudo apt update
$ sudo apt install default-jre
$ java -version

এরপরে, আপনি স্কেল অনুসন্ধান করতে এবং এটি ইনস্টল করতে নিম্নলিখিত কমান্ডগুলি চালিয়ে অ্যাপ্লিকেশন সংগ্রহস্থল থেকে স্কালা ইনস্টল করতে পারেন।

$ sudo apt search scala  ⇒ Search for the package
$ sudo apt install scala ⇒ Install the package

স্কেলার ইনস্টলেশন যাচাই করতে নীচের কমান্ডটি চালান।

$ scala -version 

Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL

উবুন্টুতে অ্যাপাচি স্পার্ক ইনস্টল করুন

টার্মিনালে সরাসরি ফাইলটি ডাউনলোড করতে অফিসিয়াল উইজেট কমান্ডে যান।

$ wget https://apachemirror.wuchna.com/spark/spark-3.1.1/spark-3.1.1-bin-hadoop2.7.tgz

এখন আপনার টার্মিনালটি খুলুন এবং আপনার ডাউনলোড করা ফাইলটি যেখানে স্থাপন করা হয়েছে সেখানে স্যুইচ করুন এবং অ্যাপাচি স্পার্ক টার ফাইলটি বের করার জন্য নিম্নলিখিত কমান্ডটি চালান।

$ tar -xvzf spark-3.1.1-bin-hadoop2.7.tgz

অবশেষে, উত্তোলিত স্পার্ক ডিরেক্টরিটি/অপ্ট ডিরেক্টরিতে সরান।

$ sudo mv spark-3.1.1-bin-hadoop2.7 /opt/spark

স্পার্কের জন্য পরিবেশগত পরিবর্তনগুলি কনফিগার করুন

এখন আপনাকে স্পার্ক শুরু করার আগে আপনার। প্রোফাইল ফাইলে কয়েকটি পরিবেশগত পরিবর্তনশীল সেট করতে হবে।

$ echo "export SPARK_HOME=/opt/spark" >> ~/.profile
$ echo "export PATH=$PATH:/opt/spark/bin:/opt/spark/sbin" >> ~/.profile
$ echo "export PYSPARK_PYTHON=/usr/bin/python3" >> ~/.profile

এই নতুন পরিবেশের ভেরিয়েবলগুলি শেলের মধ্যে পৌঁছনীয় এবং অ্যাপাচি স্পার্কের কাছে উপলব্ধ রয়েছে তা নিশ্চিত করার জন্য সাম্প্রতিক পরিবর্তনগুলি কার্যকর করার জন্য নিম্নলিখিত কমান্ডটি চালানোও বাধ্যতামূলক।

$ source ~/.profile

পরিষেবাগুলি শুরু এবং বন্ধ করার জন্য সমস্ত স্পার্ক-সম্পর্কিত বাইনারিগুলি এসবিন ফোল্ডারের অধীনে।

$ ls -l /opt/spark

উবুন্টুতে অ্যাপাচি স্পার্ক শুরু করুন

স্পার্ক মাস্টার পরিষেবা এবং দাস পরিষেবা শুরু করতে নিম্নলিখিত কমান্ডটি চালান Run

$ start-master.sh
$ start-workers.sh spark://localhost:7077

একবার পরিষেবা শুরু হয়ে গেলে ব্রাউজারে যান এবং নীচের URL টি অ্যাক্সেস স্পার্ক পৃষ্ঠাটি টাইপ করুন। পৃষ্ঠা থেকে আপনি দেখতে পাচ্ছেন যে আমার মাস্টার এবং দাস পরিষেবাটি শুরু হয়েছে।

http://localhost:8080/
OR
http://127.0.0.1:8080

স্পার্ক শেল কমান্ড চালু করে স্পার্ক-শেলটি ঠিকঠাক কাজ করে কিনা তাও আপনি পরীক্ষা করতে পারেন।

$ spark-shell

এই নিবন্ধটির জন্য এটি। আমরা আপনাকে খুব শীঘ্রই আরও একটি আকর্ষণীয় নিবন্ধের সাথে ধরব।