RHEL/CentOS 6/5 এ সিডিএইচ 4 এক্স এর জন্য অ্যাপাচি ওজি ওয়ার্কফ্লো শিডিয়ুলার ইনস্টল এবং কনফিগার করুন

ওজি হ্যাডোপের একটি ওপেন সোর্স শিডিয়ুলার, এটি কাজের ফাঁকে এবং কাজের মধ্যে সমন্বয় সাধন করে। আমরা একটি ইনপুট ডেটার জন্য কাজের মধ্যে নির্ভরতা সংজ্ঞায়িত করতে পারি এবং তাই লুজ শিডিয়ুলার ব্যবহার করে কাজের নির্ভরতা স্বয়ংক্রিয় করতে পারি।

এই টিউটোরিয়ালে, আমি আমার মাস্টার নোডে (যেমন মাস্টার হোস্টনাম হিসাবে এবং যেখানে নামনোড/জেটি ইনস্টল করা হয়েছে) তে ওজি ইনস্টল করেছি তবে প্রোডাকশন সিস্টেমে লজি আলাদা হ্যাডোপ ইনস্টল করা উচিত নোড

ইনস্টলেশন নির্দেশাবলী দুটি ভাগে বিভক্ত, আমরা একে এ এবং বি বলি call

  1. এ। ওজি ইনস্টলেশন
  2. বি। ওজি কনফিগারেশন

প্রথমে নিম্নলিখিত "হোস্টনাম" কমান্ডটি ব্যবহার করে সিস্টেমের হোস্টনামটি যাচাই করা যাক।

 hostname

master

পদ্ধতি একটি: আরএইচইএল/সেন্টোস 6/5 এ ওজি ইনস্টলেশন

আমরা সিডিএইচ 4 ইনস্টল করতে ক্লৌডেরার সাইট থেকে অফিসিয়াল সিডিএইচ সংগ্রহস্থল ব্যবহার করি। অফিসিয়াল সিডিএইচ ডাউনলোড বিভাগে যান এবং সিডিএইচ 4 (অর্থাত্ 4.6) সংস্করণ ডাউনলোড করুন বা আপনি সংগ্রহস্থলটি ডাউনলোড করতে এবং ইনস্টল করতে নিম্নলিখিত উইজেট কমান্ডটি ব্যবহার করতে পারেন।

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/i386/cloudera-cdh-4-0.i386.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm
# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/i386/cloudera-cdh-4-0.i386.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/x86_64/cloudera-cdh-4-0.x86_64.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm

একবার, আপনি আপনার সিস্টেমের অধীনে সিডিএইচ সংগ্রহস্থল যুক্ত করেছেন, আপনি সিস্টেমে ওওজি ইনস্টল করতে নিম্নলিখিত কমান্ডটি ব্যবহার করতে পারেন।

 yum install oozie

এখন, ওজি ক্লায়েন্ট ইনস্টল করুন (উপরের কমান্ডটি ক্লায়েন্ট ইনস্টলেশন অংশটি আবশ্যক তবে কমান্ডের নীচে চেষ্টা না করে)।

 yum install oozie-client

দ্রষ্টব্য: উপরের ইনস্টলেশনটি সিস্টেম প্রারম্ভকালে চালানোর জন্য ওজি পরিষেবা কনফিগার করে। ভাল করেছ! আমরা ইন্সটলেশনের প্রথম অংশটি দিয়েছি এখন ওজিকে কনফিগার করতে দ্বিতীয় অংশে চলে আসি।

পদ্ধতি বি: আরএইচইএল/সেন্টোস 6/5 এ ওজি কনফিগারেশন

যেহেতু ওজি হ্যাডোপের সাথে সরাসরি যোগাযোগ করে না, আমাদের এখানে কোনও ম্যাপযুক্ত কনফিগারেশন দরকার নেই।

সতর্কতা: অজি চলমান অবস্থায় দয়া করে সমস্ত সেটিংস কনফিগার করুন, এর অর্থ জি পরিষেবা চলমান না থাকলে আপনাকে নীচের পদক্ষেপগুলি অনুসরণ করতে হবে।

ওজির ডিবিতে নির্ধারিত হিসাবে ‘ডার্বি’ রয়েছে তবে আমি আপনাকে সুপারিশ করব যে আপনি মাইএসকিএল ডিবি ব্যবহার করুন। সুতরাং, নিম্নলিখিত নিবন্ধটি ব্যবহার করে মাইএসকিউএল ডাটাবেস ইনস্টল করা যাক।

  1. RHEL/CentOS 6/5
    2. এ মাইএসকিউএল ডেটাবেস ইনস্টল করুন

একবার আপনি ইনস্টলেশন অংশটি সম্পন্ন করার পরে, পরবর্তী oozie DB তৈরি করার জন্য আরও সরান এবং নীচের চিত্রের মতো সুবিধাদি প্রদান করুন।

 mysql -uroot -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.5.38 MySQL Community Server (GPL) by Remi

Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> create database oozie;
Query OK, 1 row affected (0.00 sec)

mysql> grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)

mysql> grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)

mysql> exit
Bye

এরপরে, মাইএসকিউএলের জন্য ওজি বৈশিষ্ট্যগুলি কনফিগার করুন। ‘Oozie-site.xML’ ফাইলটি খুলুন এবং নীচের বৈশিষ্ট্যগুলি দেখানো হিসাবে সম্পাদনা করুন।

 cd /etc/oozie/conf
 vi oozie-site.xml

নিম্নলিখিত বৈশিষ্ট্যগুলি প্রবেশ করান (কেবলমাত্র আপনার হোস্টনামের সাথে মাস্টার [আমার হোস্টনাম] প্রতিস্থাপন করুন)।

<property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.url</name>
        <value>jdbc:mysql://master:3306/oozie</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.username</name>
        <value>oozie</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.password</name>
        <value>oozie</value>
    </property>

ওওজি লাইব ডিরেক্টরিতে মাইএসকিউএল জেডিবিসি কানেক্টিভিটি ড্রাইভার জেআর ডাউনলোড এবং যুক্ত করুন। এটি করতে, টার্মিনালটিতে নিম্নলিখিত গুরুতর কমান্ডটি চালান।

 cd /tmp/
 wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.31.tar.gz
 tar -zxf mysql-connector-java-5.1.31.tar.gz	
 cd mysql-connector-java-5.1.31
 cp mysql-connector-java-5.1.31-bin.jar /var/lib/oozie/

নীচের কমান্ডগুলি সম্পাদন করে oozie ডাটাবেস স্কিমা তৈরি করুন এবং দয়া করে নোট করুন যে এটি ওজি ব্যবহারকারী হিসাবে চালানো উচিত।

 sudo -u oozie /usr/lib/oozie/bin/ooziedb.sh create -run
setting OOZIE_CONFIG=/etc/oozie/conf
setting OOZIE_DATA=/var/lib/oozie
setting OOZIE_LOG=/var/log/oozie
setting OOZIE_CATALINA_HOME=/usr/lib/bigtop-tomcat
setting CATALINA_TMPDIR=/var/lib/oozie
setting CATALINA_PID=/var/run/oozie/oozie.pid
setting CATALINA_BASE=/usr/lib/oozie/oozie-server-0.20
setting CATALINA_OPTS=-Xmx1024m
setting OOZIE_HTTPS_PORT=11443
...
DONE
Oozie DB has been created for Oozie version '3.3.2-cdh4.7.0'
The SQL commands have been written to: /tmp/ooziedb-8250405588513665350.sql

Oozie ওয়েব কনসোল সক্ষম করার জন্য আপনার ইন্টারনেট থেকে এক্সট্রিজএস লাইব ডাউনলোড করতে হবে। অফিসিয়াল সিডিএইচ এক্সটجےএস পৃষ্ঠাতে যান, এবং এক্সটجےএস সংস্করণ ২.২ লাইব্রেরি ডাউনলোড করুন বা আপনি নিম্নলিখিত কমান্ডটি ব্যবহার করে প্যাকেজটি ডাউনলোড করতে পারেন।

 cd /tmp/
 wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip
 unzip ext-2.2.zip
 mv ext-2.2 /var/lib/oozie/

অবশেষে, নিম্নলিখিত কমান্ডগুলি চালিয়ে ওজি সার্ভারটি শুরু করুন।

 service oozie status
not running.

 service oozie start

 service oozie status
running

 oozie admin -oozie http://localhost:11000/oozie -status
System mode: NORMAL

আপনার প্রিয় ব্রাউজারটি ব্যবহার করে ওজি ইউআই খুলুন এবং আপনার আইপি ঠিকানার দিকে নির্দেশ করুন। এই ক্ষেত্রে, আমার আইপি 192.168.1.129।

http://192.168.1.129:11000

এখন আপনি যদি এই UI দেখতে পান। অভিনন্দন !! আপনি সফলভাবে ওজি কনফিগার করেছেন।

এই পদ্ধতিটি RHEL/CentOS 6/5 তে সফলভাবে পরীক্ষা করা হয়েছে। আমার আসন্ন নিবন্ধগুলিতে, আমি কীভাবে ওজির মাধ্যমে হ্যাডোপ জব কনফিগার করতে এবং শিডিয়ুল করতে পারি তা ভাগ করতে চলেছি। আরও বেশি সংযুক্ত থাকুন এবং আপনার প্রতিক্রিয়া মন্তব্য করতে ভুলবেন না।