HDP Cluster Install - Steps


++++++++++++++++++++++++++++++++++++++++++++++++++++
Steps to install ambari-server and setup
++++++++++++++++++++++++++++++++++++++++++++++++++++

cd /etc/yum.repos.d/
wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.6.2.0/ambari.repo


[root@rraman-node-3 yum.repos.d]# yum info ambari-server
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
ambari-2.6.2.0                                                                                                                                                                       | 2.9 kB     00:00
ambari-2.6.2.0/primary_db                                                                                                                                                            | 8.8 kB     00:00
Available Packages
Name        : ambari-server
Arch        : x86_64
Version     : 2.6.2.0
Release     : 155
Size        : 718 M
Repo        : ambari-2.6.2.0
Summary     : Ambari Server
URL         : http://www.apache.org
License     : (c) Apache Software Foundation
Description : Maven Recipe: RPM Package.





[root@rraman-node-3 yum.repos.d]# yum -y install ambari-server
Loaded plugins: fastestmirror
Setting up Install Process
Loading mirror speeds from cached hostfile
Resolving Dependencies
--> Running transaction check
---> Package ambari-server.x86_64 0:2.6.2.0-155 will be installed
--> Processing Dependency: postgresql-server >= 8.1 for package: ambari-server-2.6.2.0-155.x86_64
--> Running transaction check
---> Package postgresql-server.x86_64 0:8.4.20-8.el6_9 will be installed
--> Processing Dependency: postgresql-libs(x86-64) = 8.4.20-8.el6_9 for package: postgresql-server-8.4.20-8.el6_9.x86_64
--> Processing Dependency: postgresql(x86-64) = 8.4.20-8.el6_9 for package: postgresql-server-8.4.20-8.el6_9.x86_64
--> Processing Dependency: libpq.so.5()(64bit) for package: postgresql-server-8.4.20-8.el6_9.x86_64
--> Running transaction check
---> Package postgresql.x86_64 0:8.4.20-8.el6_9 will be installed
---> Package postgresql-libs.x86_64 0:8.4.20-8.el6_9 will be installed
--> Finished Dependency Resolution

Dependencies Resolved

============================================================================================================================================================================================================
 Package                                              Arch                                      Version                                             Repository                                         Size
============================================================================================================================================================================================================
Installing:
 ambari-server                                        x86_64                                    2.6.2.0-155                                         ambari-2.6.2.0                                    718 M
Installing for dependencies:
 postgresql                                           x86_64                                    8.4.20-8.el6_9                                      updates                                           2.6 M
 postgresql-libs                                      x86_64                                    8.4.20-8.el6_9                                      updates                                           202 k
 postgresql-server                                    x86_64                                    8.4.20-8.el6_9                                      updates                                           3.4 M

Transaction Summary
============================================================================================================================================================================================================
Install       4 Package(s)

Total download size: 724 M
Installed size: 811 M
Downloading Packages:
(1/4): ambari-server-2.6.2.0-155.x86_64.rpm                                                                                                                                          | 718 MB     00:53
(2/4): postgresql-8.4.20-8.el6_9.x86_64.rpm                                                                                                                                          | 2.6 MB     00:00
(3/4): postgresql-libs-8.4.20-8.el6_9.x86_64.rpm                                                                                                                                     | 202 kB     00:00
(4/4): postgresql-server-8.4.20-8.el6_9.x86_64.rpm                                                                                                                                   | 3.4 MB     00:00
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Total                                                                                                                                                                        14 MB/s | 724 MB     00:53
warning: rpmts_HdrFromFdno: Header V4 RSA/SHA1 Signature, key ID 07513cad: NOKEY
Retrieving key from http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.6.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
Importing GPG key 0x07513CAD:
 Userid: "Jenkins (HDP Builds) <jenkin@hortonworks.com>"
 From  : http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.6.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
Running rpm_check_debug
Running Transaction Test
Transaction Test Succeeded
Running Transaction
  Installing : postgresql-libs-8.4.20-8.el6_9.x86_64                                                                                                                                                    1/4
  Installing : postgresql-8.4.20-8.el6_9.x86_64                                                                                                                                                         2/4
  Installing : postgresql-server-8.4.20-8.el6_9.x86_64                                                                                                                                                  3/4
  Installing : ambari-server-2.6.2.0-155.x86_64                                                                                                                                                         4/4
  Verifying  : postgresql-server-8.4.20-8.el6_9.x86_64                                                                                                                                                  1/4
  Verifying  : ambari-server-2.6.2.0-155.x86_64                                                                                                                                                         2/4
  Verifying  : postgresql-libs-8.4.20-8.el6_9.x86_64                                                                                                                                                    3/4
  Verifying  : postgresql-8.4.20-8.el6_9.x86_64                                                                                                                                                         4/4



Installed:
  ambari-server.x86_64 0:2.6.2.0-155

Dependency Installed:
  postgresql.x86_64 0:8.4.20-8.el6_9                             postgresql-libs.x86_64 0:8.4.20-8.el6_9                             postgresql-server.x86_64 0:8.4.20-8.el6_9

Complete!
[root@rraman-node-3 yum.repos.d]#



[root@rraman-node-3 yum.repos.d]# service iptables stop
iptables: Setting chains to policy ACCEPT: filter          [  OK  ]
iptables: Flushing firewall rules:                         [  OK  ]
iptables: Unloading modules:                               [  OK  ]
[root@rraman-node-3 yum.repos.d]#




[root@rraman-node-3 yum.repos.d]# yum -y install ntp
Loaded plugins: fastestmirror
Setting up Install Process
Loading mirror speeds from cached hostfile
Resolving Dependencies
--> Running transaction check
---> Package ntp.x86_64 0:4.2.6p5-12.el6.centos.2 will be installed
--> Processing Dependency: ntpdate = 4.2.6p5-12.el6.centos.2 for package: ntp-4.2.6p5-12.el6.centos.2.x86_64
--> Running transaction check
---> Package ntpdate.x86_64 0:4.2.6p5-12.el6.centos.2 will be installed
--> Finished Dependency Resolution

Dependencies Resolved

============================================================================================================================================================================================================
 Package                                      Arch                                        Version                                                        Repository                                    Size
============================================================================================================================================================================================================
Installing:
 ntp                                          x86_64                                      4.2.6p5-12.el6.centos.2                                        updates                                      600 k
Installing for dependencies:
 ntpdate                                      x86_64                                      4.2.6p5-12.el6.centos.2                                        updates                                       79 k

Transaction Summary
============================================================================================================================================================================================================
Install       2 Package(s)

Total download size: 679 k
Installed size: 1.8 M
Downloading Packages:
(1/2): ntp-4.2.6p5-12.el6.centos.2.x86_64.rpm                                                                                                                                        | 600 kB     00:00
(2/2): ntpdate-4.2.6p5-12.el6.centos.2.x86_64.rpm                                                                                                                                    |  79 kB     00:00
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Total                                                                                                                                                                        16 MB/s | 679 kB     00:00
Running rpm_check_debug
Running Transaction Test
Transaction Test Succeeded
Running Transaction
  Installing : ntpdate-4.2.6p5-12.el6.centos.2.x86_64                                                                                                                                                   1/2
  Installing : ntp-4.2.6p5-12.el6.centos.2.x86_64                                                                                                                                                       2/2
  Verifying  : ntpdate-4.2.6p5-12.el6.centos.2.x86_64                                                                                                                                                   1/2
  Verifying  : ntp-4.2.6p5-12.el6.centos.2.x86_64                                                                                                                                                       2/2

Installed:
  ntp.x86_64 0:4.2.6p5-12.el6.centos.2

Dependency Installed:
  ntpdate.x86_64 0:4.2.6p5-12.el6.centos.2

Complete!
[root@rraman-node-3 yum.repos.d]#


++++++++++++++++++++++++++++++++++++++++++++++
To Setup Ambari-server after install and before starting it
++++++++++++++++++++++++++++++++++++++++++++++

root@rraman-node-3 yum.repos.d]# ambari-server setup
Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'enabled'
SELinux mode is 'enforcing'
Temporarily disabling SELinux
WARNING: SELinux is set to 'permissive' mode and temporarily disabled.
OK to continue [y/n] (y)?
Customize user account for ambari-server daemon [y/n] (n)?
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[3] Custom JDK
==============================================================================
Enter choice (1):
To download the Oracle JDK and the Java Cryptography Extension (JCE) Policy Files you must accept the license terms found at http://www.oracle.com/technetwork/java/javase/terms/license/index.html and not accepting will cancel the Ambari Server setup and you must install the JDK and JCE files manually.
Do you accept the Oracle Binary Code License Agreement [y/n] (y)?
Downloading JDK from http://public-repo-1.hortonworks.com/ARTIFACTS/jdk-8u112-linux-x64.tar.gz to /var/lib/ambari-server/resources/jdk-8u112-linux-x64.tar.gz
jdk-8u112-linux-x64.tar.gz... 100% (174.7 MB of 174.7 MB)
Successfully downloaded JDK distribution to /var/lib/ambari-server/resources/jdk-8u112-linux-x64.tar.gz
Installing JDK to /usr/jdk64/
Successfully installed JDK to /usr/jdk64/
Downloading JCE Policy archive from http://public-repo-1.hortonworks.com/ARTIFACTS/jce_policy-8.zip to /var/lib/ambari-server/resources/jce_policy-8.zip

Successfully downloaded JCE Policy archive to /var/lib/ambari-server/resources/jce_policy-8.zip
Installing JCE policy...
Checking GPL software agreement...
GPL License for LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html
Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)?
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)?
Configuring database...
Default properties detected. Using built-in database.
Configuring ambari database...
Checking PostgreSQL...
Running initdb: This may take up to a minute.
Initializing database: [  OK  ]

About to start PostgreSQL
Configuring local database...
Configuring PostgreSQL...
Restarting PostgreSQL
Creating schema and user...
done.
Creating tables...
done.
Extracting system views...
......ambari-admin-2.6.2.0.155.jar
.....
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.

++++++++++++++++++++++++++++++++++++++++++++++
To start ambari-server
++++++++++++++++++++++++++++++++++++++++++++++
[root@rraman-node-3 yum.repos.d]#  amabri-server start


+++++++++++++++++++++++++++
To set mysql-connector for Hive:
+++++++++++++++++++++++++++

[root@rraman-node-3 yum.repos.d]# ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar
Using python  /usr/bin/python
Setup ambari-server
Copying /usr/share/java/mysql-connector-java.jar to /var/lib/ambari-server/resources
If you are updating existing jdbc driver jar for mysql with mysql-connector-java.jar. Please remove the old driver jar, from all hosts. Restarting services that need the driver, will automatically copy the new jar to the hosts.
JDBC driver was successfully initialized.
Ambari Server 'setup' completed successfully.

++++++++++++++++++++++++++++++++++++++++++++++
Installing HDP cluster through ambari:
++++++++++++++++++++++++++++++++++++++++++++++
















1 comment:

  1. No doubt about the authenticity or validity of Pass4sure CompTIA dumps came into my mind when I was using this to prepare for my IT exam. The series of questions and answers defined everything well and I could pick the gist of each course content. I say thanks to them for fulfilling their guarantee for success with CompTIA questions and answers.

    ReplyDelete

Boost Your Download Speed with lftp Segmentation

Looking for a faster way to download files via sftp to a Linux machine? Try using "lftp" instead. This tool offers segmented downl...

Other relevant topics