Linux サーバーに Apache Pinot を設定する方法

このガイドでは、インストールに必要な手順を説明します。 アパッチ ピノ Linux システム上で、前提条件、ソフトウェアのダウンロードと解凍、構成のセットアップ、サービスの開始について説明します。

前提条件

インストールする前に アパッチ ピノシステムが次の前提条件を満たしていることを確認してください。

• Apache Pinotには Java 開発キット (JDK) 8 またはそれ以上を実行します。
• アパッチピノは Apache 動物園管理人 クラスター管理用。
• ファイアウォールの設定で必要なポートが許可されていることを確認してください ピノ そして 飼育係 コミュニケーションをとること。

ステップ1: LinuxにJavaをインストールする

もし持っていないなら ジャワ システムにインストールされていない場合は、 オラクルの公式ウェブサイト。

のために ほとんどのLinuxディストリビューションパッケージマネージャーを使用してインストールすることができます ジャワたとえば、 Debianベースのシステム、次のコマンドを使用できます。

sudo apt-get install default-jdk

の上 Red Hatベースのシステム、次のコマンドを使用できます。

sudo dnf install java-21-openjdk -y

インストールが完了したら、 ジャワ 次のコマンドを実行してバージョンを確認します。

java -version

ステップ2: LinuxにZookeeperをインストールする

飼育係 によって要求される アパッチ ピノ クラスタ管理用なので、次のコマンドを使用してインストールします。

sudo apt install zookeeperd         [On Debian-based Systems]
sudo dnf install zookeeperd         [On RHEL-based Systems]

インストールが完了したら、起動して有効化し、ステータスを確認します。 飼育係 サービス。

sudo systemctl start zookeeper
sudo systemctl enable zookeeper
sudo systemctl status zookeeper

ステップ3: LinuxにApache Pinotをインストールする

Apache Pinotの最新バージョンを以下からダウンロードしてください。 アパッチ・ピノの公式ウェブサイト または以下を使用してください wget コマンド 直接ダウンロードします。

wget https://downloads.apache.org/pinot/apache-pinot-1.1.0/apache-pinot-1.1.0-bin.tar.gz

注記： 交換する apache-pinot-1.1.0-bin.tar.gz 必要に応じて最新バージョンをご利用ください。

次に、ダウンロードしたtarballを任意の場所に解凍し、環境変数を設定して、Pinotバイナリに簡単にアクセスできるようにします。 .bashrc または .profile ファイル。

sudo tar -xvzf apache-pinot-1.1.0-bin.tar.gz -C /opt
echo 'export PINOT_HOME=/opt/apache-pinot-1.1.0-bin' >> ~/.bashrc
echo 'export PATH=$PINOT_HOME/bin:$PATH' >> ~/.bashrc
source ~/.bashrc

ステップ4: Apache Pinotサービスを開始する

アパッチ ピノ 複数のコンポーネントで構成され、それぞれが個別のサービスとして実行されます。

• コントローラ: Pinot クラスターを管理し、スキーマとテーブルの作成を処理します。
• ブローカ: クエリ ルーティングを処理します。
• サーバ: データを保存し、提供します。
• ミニオン: データの圧縮やロールアップなどのバックグラウンド タスクを実行します。

各サービスを個別のターミナル ウィンドウで開始するか、バックグラウンド プロセスとして開始します。

コントローラーを起動します。

cd $PINOT_HOME
bin/pinot-admin.sh StartController -configFileName conf/pinot-controller.conf

ブローカーを起動する:

cd $PINOT_HOME
bin/pinot-admin.sh StartBroker -configFilePath conf/pinot-broker.conf

サーバーを起動する:

cd $PINOT_HOME
bin/pinot-admin.sh StartServer -configFilePath conf/pinot-server.conf

ミニオンを起動する:

cd $PINOT_HOME
bin/pinot-admin.sh StartMinion -configFilePath conf/pinot-minion.conf

すべてのサービスが実行されていることを確認するには、logsディレクトリ内のそれぞれのログを確認します。 ピンノットホーム。

ステップ5: Apache Pinotの設定

アパッチ ピノ データの取り込みとクエリを開始するには、スキーマとテーブルの構成が必要です。

設定ファイルを保存するディレクトリを作成します。

sudo mkdir $PINOT_HOME/configs

たとえば、スキーマファイルを作成します。 my_schema.json、 の中に 構成 ディレクトリ。

sudo nano $PINOT_HOME/configs/my_schema.json

次のスキーマ構成を追加します。

{
  "schemaName": "mySchema",
  "dimensionFieldSpecs": [
    {
      "name": "myDimension",
      "dataType": "STRING"
    }
  ],
  "metricFieldSpecs": [
    {
      "name": "myMetric",
      "dataType": "LONG"
    }
  ],
  "dateTimeFieldSpecs": [
    {
      "name": "myDateTime",
      "dataType": "LONG",
      "format": "1:MILLISECONDS:EPOCH",
      "granularity": "1:MILLISECONDS"
    }
  ]
}

次に、テーブル設定ファイルを作成します。たとえば、 my_table.json、 の中に 構成 ディレクトリ。

sudo nano $PINOT_HOME/configs/my_table.json

次のテーブル構成を追加します。

{
  "tableName": "myTable",
  "tableType": "REALTIME",
  "segmentsConfig": {
    "timeColumnName": "myDateTime",
    "schemaName": "mySchema",
    "replication": "1"
  },
  "tableIndexConfig": {
    "loadMode": "MMAP"
  },
  "tenants": {},
  "tableRetentionConfig": {},
  "ingestionConfig": {
    "streamIngestionConfig": {
      "type": "kafka",
      "streamConfigMaps": {
        "streamType": "kafka",
        "stream.kafka.topic.name": "myKafkaTopic",
        "stream.kafka.broker.list": "localhost:9092",
        "stream.kafka.consumer.type": "simple",
        "stream.kafka.consumer.prop.auto.offset.reset": "smallest",
        "realtime.segment.flush.threshold.size": "50000"
      }
    }
  },
  "metadata": {}
}

次に、 ピノ スキーマとテーブル構成を追加するための管理ツール:

bin/pinot-admin.sh AddSchema -schemaFile $PINOT_HOME/configs/my_schema.json -exec
bin/pinot-admin.sh AddTable -tableConfigFile $PINOT_HOME/configs/my_table.json -exec

ステップ6: Apache Pinotのセットアップを確認する

ウェブブラウザを開いて ピノ コントローラー UI スキーマとテーブルが正常に追加されたことを確認します。

http://localhost:9000

データのクエリは、 ピノクエリコンソール 利用可能 コントローラーUI または、 ピノ クエリコマンドラインツール:

bin/pinot-admin.sh Query -brokerHost localhost -brokerPort 8099 -query "SELECT * FROM myTable LIMIT 10"

結論

インストール アパッチ ピノ Linuxシステムでは、インストールを含むいくつかの手順が必要です。 ジャワ そして 飼育係をダウンロードして解凍し、 ピノ バイナリ、Pinot サービスの開始、スキーマとテーブルの構成を行います。

このガイドに従うことで、 アパッチ ピノ リアルタイムに対応 OLAP クエリ。さらにカスタマイズや最適化を行うには、 Apache Pinot 公式ドキュメント。