はじめに
サポートされているデータソース
| Name | Logo | Type | Status | Description |
|---|---|---|---|---|
| Apache Kafka |  | Streaming | Stable | ClickPipes を設定し、Apache Kafka から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。 |
| Confluent Cloud |  | Streaming | Stable | 直接インテグレーションにより、Confluent と ClickHouse Cloud をシームレスに連携させることができます。 |
| Redpanda |  | Streaming | Stable | ClickPipes を設定し、Redpanda から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。 |
| AWS MSK |  | Streaming | Stable | ClickPipes を設定し、AWS MSK から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。 |
| Azure Event Hubs |  | Streaming | Stable | ClickPipes を設定し、Azure Event Hubs から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。詳しくは Azure Event Hubs よくある質問 を参照してください。 |
| WarpStream |  | Streaming | Stable | ClickPipes を設定し、WarpStream から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。 |
| Amazon S3 |  | Object Storage | Stable | ClickPipes を設定して、オブジェクトストレージから大量のデータを取り込みます。 |
| Google Cloud Storage |  | Object Storage | Stable | ClickPipes を設定して、オブジェクトストレージから大量のデータを取り込みます。 |
| DigitalOcean Spaces |  | Object Storage | Stable | ClickPipes を設定して、オブジェクトストレージから大量のデータを取り込みます。 |
| Azure Blob Storage |  | Object Storage | Stable | ClickPipes を設定して、オブジェクトストレージから大量のデータを取り込みます。 |
| Amazon Kinesis |  | Streaming | Stable | ClickPipes を設定し、Amazon Kinesis から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。 |
| Postgres |  | DBMS | Stable | ClickPipes を設定し、Postgres から ClickHouse Cloud へのデータ取り込みを開始します。 |
| MySQL |  | DBMS | Public Beta | ClickPipes を設定し、MySQL から ClickHouse Cloud へのデータ取り込みを開始します。 |
| MongoDB |  | DBMS | Private Preview | ClickPipes を設定し、MongoDB から ClickHouse Cloud へのデータ取り込みを開始します。 |
固定 IP の一覧
- eu-central-1: 明示的に記載されていないすべての EU リージョンに加え、Azure の EU リージョン、および 2026 年 5 月 27 日より前に作成された Google Cloud の EU サービス。
- eu-west-1: AWS
eu-west-1のすべてのサービスのうち、2026 年 1 月 20 日以降に作成されたもの (この日付より前に作成されたサービスはeu-central-1の IP を使用) 。 - us-east-1: AWS
us-east-1のすべてのサービス。 - ap-south-1: AWS
ap-south-1のサービスのうち、2025 年 6 月 25 日以降に作成されたもの (この日付より前に作成されたサービスはus-east-2の IP を使用) 。 - ap-northeast-2: AWS
ap-northeast-2のサービスのうち、2025 年 11 月 14 日以降に作成されたもの (この日付より前に作成されたサービスはus-east-2の IP を使用) 。 - af-south-1: AWS
af-south-1のサービスのうち、2026 年 4 月 15 日以降に作成されたもの (この日付より前に作成されたサービスはus-east-2の IP を使用) 。 - ap-east-1: AWS
ap-east-1のサービスのうち、2026 年 4 月 15 日以降に作成されたもの (この日付より前に作成されたサービスはus-east-2の IP を使用) 。 - ap-northeast-1: AWS
ap-northeast-1のサービスのうち、2026 年 4 月 15 日以降に作成されたもの (この日付より前に作成されたサービスはus-east-2の IP を使用) 。 - ap-southeast-1: AWS
ap-southeast-1のサービスのうち、2026 年 3 月 18 日以降に作成されたもの (この日付より前に作成されたサービスはus-east-2の IP を使用) 。 - ap-southeast-2: AWS
ap-southeast-2のサービスのうち、2025 年 6 月 25 日以降に作成されたもの (この日付より前に作成されたサービスはus-east-2の IP を使用) 。 - ap-southeast-3: AWS
ap-southeast-3のサービスのうち、2026 年 3 月 6 日以降に作成されたもの (この日付より前に作成されたサービスはus-east-2の IP を使用) 。 - ca-central-1: AWS
ca-central-1のサービスのうち、2026 年 4 月 15 日以降に作成されたもの (この日付より前に作成されたサービスはus-east-2の IP を使用) 。 - eu-north-1: AWS
eu-north-1のサービスのうち、2026 年 4 月 15 日以降に作成されたもの (この日付より前に作成されたサービスはeu-central-1の IP を使用) 。 - eu-west-2: AWS
eu-west-2のサービスのうち、2026 年 4 月 15 日以降に作成されたもの (この日付より前に作成されたサービスはeu-central-1の IP を使用) 。 - il-central-1: AWS
il-central-1のサービスのうち、2026 年 4 月 15 日以降に作成されたもの (この日付より前に作成されたサービスはus-east-2の IP を使用) 。 - sa-east-1: AWS
sa-east-1のサービスのうち、2026 年 4 月 15 日以降に作成されたもの (この日付より前に作成されたサービスはus-east-2の IP を使用) 。 - us-west-2: AWS
us-west-2のサービスのうち、2025 年 6 月 24 日以降に作成されたもの (この日付より前に作成されたサービスはus-east-2の IP を使用) 。 - us-east-2: 上記のルールのいずれにも一致しないその他すべてのリージョン (Azure リージョンおよび 2026 年 5 月 27 日より前に作成された Google Cloud サービスを含む) 。
AWS の固定 NAT IP
Google Cloud 固定 NAT IP
ClickHouse設定の調整
- カスタムロール
CREATE ROLE my_clickpipes_role SETTINGS ...を作成します。詳細は CREATE ROLE の構文を参照してください。 - ClickPipes の作成時に、
Details and Settingsステップで ClickPipes ユーザーにカスタムロールを追加します。
ClickPipes の高度な設定の調整
オブジェクトストレージ 用 ClickPipes
ストリーミング ClickPipes
エラーの報告
レコードエラー
<destination_table_name>_clickpipes_error となるテーブルを作成します。このテーブルには、データ形式の不正やスキーマの不一致によって発生したエラーが格納され、無効なメッセージ全体も記録されます。このテーブルの 有効期限 (TTL) は 7 日です。
システムエラー
system.clickpipes_log テーブルに保存されます。このテーブルには、ClickPipe の動作に関するその他のエラー (ネットワークや接続など) もすべて保存されます。このテーブルの 有効期限 (TTL) は 7 日間です。
ClickPipes が 15 分以内にデータソースに接続できない場合、または 1 時間以内に宛先に接続できない場合、ClickPipes インスタンスは停止し、適切なメッセージをシステムエラーテーブルに保存します (ClickHouse インスタンスが利用可能な場合) 。
監視
よくある質問
- ClickPipes とは何ですか？ ClickPipes は ClickHouse Cloud の機能で、ClickHouse サービスを外部データソース、特に Kafka に簡単に接続できます。Kafka 向け ClickPipes を使うと、データを ClickHouse に継続的に簡単に取り込み、リアルタイム分析に利用できるようになります。
- ClickPipes はデータ変換をサポートしていますか？ はい。ClickPipes は DDL を作成できるため、基本的なデータ変換をサポートしています。さらに、ClickHouse の materialized view 機能 を活用することで、ClickHouse Cloud サービス内の宛先テーブルにデータが読み込まれる際に、より高度な変換を適用できます。
- ClickPipes を使用すると追加料金が発生しますか？ ClickPipes の課金は、取り込みデータとコンピュートの 2 つの項目に基づいて行われます。料金の詳細は このページ を参照してください。ClickPipes を実行すると、他の取り込みワークロードと同様に、宛先の ClickHouse Cloud サービスで間接的なコンピュートおよびストレージのコストが発生する場合もあります。
- Kafka 向け ClickPipes の使用時にエラーや障害に対処する方法はありますか？ はい。Kafka からデータを取り込む際に、ネットワークや接続の問題などの運用上の理由で障害が発生した場合、Kafka 向け ClickPipes は自動的に再試行します。データの形式不正や無効なスキーマが発生した場合、ClickPipes はそのレコードを record_error テーブルに保存し、処理を継続します。