Cloudflare
Cloudflare、ログ出力前にSQLでフィルタリングや加工ができる「Transformers」を発表
保存・既読はこの端末のブラウザにのみ記録されます。コピーには記事の公開情報のみが含まれます。保存データの管理 →
専門用語をかみ砕いて、仕事で使える言い方にしています。
結論
Cloudflareのログを出力する前に、不要なデータを省いたり形を変えたりできるようになりました。
という集計でよく使われる言語を使って、データの整理を自動で行えます。
を隠すこともできるため、安全かつ必要なデータだけを受け取れるようになります。
詳細内容
Apache DataFusionとApache Arrowという高速なデータ処理技術が内部で使われています。
外部のストレージや分析ツールにログを送る手前の段階で、データが加工されます。
分析に関係のないログをあらかじめ削ることで、データ保存の容量やコストを抑えられます。
使えるシチュエーション
- 1クレジットカード番号などの機密情報がログに含まれないように隠したい時
- 2大量のログの中から特定のエラー情報だけを抽出して保存したい時
- 3ログのデータ量を減らして保管コストやクラウドの通信費を節約したい時