Datadog ログのアーカイブをBigQueryから見れるようにする話

こんにちは, 基盤開発チームで業務委託として働いている奥山です. 弊社で開発しているカラリアというサービスでは, モニタリングに Datadog を利用しており, Rails や Nginx などのログは Datadog に集約しています. 基本的には Datadog の UI でログを閲覧…

スプレッドシートを活用して組織横断的にテーブル・カラムの説明文を入力した話

こんにちは。株式会社High Link で業務委託として働いている、データエンジニアのikki(@ikki_mz)です。 私たちデータチームでは、「データの民主化」を推進しており、全社員がデータ利活用を行えるように、dbtを用いた分析基盤の整備に取り組んでいます。 …

RailsアプリのフロントエンドをじわじわとNext.jsにリプレースした話と、その振り返り

株式会社High LinkのCTOをやっている nogaken (@nogaken1107)です。 最近はChatGPTなどのLLM系のアプリケーションを触って楽しんでいます。 ハイリンクでは「カラリア 香りの定期便」などのサービスを開発しています。 「カラリア 香りの定期便」は2021年ま…

カラリアの物流管理システムを自社開発している理由

はじめに こんにちは、ロジスティクスマネージャーの横山(@katsuya_high)です。 ハイリンクでは「COLORIA (カラリア)」という香り商品のECサービスを運営しています。中でも「カラリア 香りの定期便」は、毎月ユーザが選んだ香り商品をお届けする月額制のE…

SQLFluffではじめるお手軽コーディング規約導入

はじめに こんにちは。株式会社High Link データエンジニアの谷口祐太郎(@ytaniguchi811)です。 私たちのチームは全社的にデータの利活用を推進できるよう、分析基盤の開発に日々取り組んでいます。 Data WarehouseとしてはBigQueryを採用しており、分析用の…

SWRを導入してユーザー体験を向上させた話 (Next.js)

「カラリア 香りの定期便」はNext.jsを利用して構築されており、今回はユーザー体験の向上を目的に、データ取得/キャッシュライブラリの SWRを導入した話です。 SWRはシンプル軽量なライブラリであり、理解も容易で、APIキャッシュによるユーザー体験向上と…

カラリアのデータ基盤と機械学習基盤 - 小さく始めるMLOps

はじめに こんにちは。High Linkのデータエンジニアの芦川 (@hirorororo772) です。 私たちが運営する香水サブスクサービス「カラリア」では、「香水診断」、「レコメンド機能」、「フレグランスプロフィール」など、データを活用したさまざまな機能を提供し…

GitHub Actions OIDCを活用してTerraform CIをセキュアにする話

はじめに こんにちは, 基盤開発チームの奥山(okue)です. 基盤開発チームでは, tech.high-link.co.jp のように, サービス開発の基盤に関する開発を行っています. カラリアでは, AWS 上のインフラ構築に Terraform を利用しており, 2種類の CI を GitHub Actio…

BigQueryへEmbulkで転送するバッチ処理を改善した話

はじめに こんにちは, 基盤開発チームの奥山(okue)です. High Link では, BigQuery を活用してデータの分析や可視化, 機械学習への活用を行っています. アプリケーション DB の BigQuery へ転送には, AWS ECS Fargate + Embulk という構成でバッチ処理を実行…

dbtを導入して小規模チームでも運用可能なデータマネジメント体制を構築した話

はじめに こんにちは。株式会社High Linkのデータユニットマネージャーの芦川 (@assy) です。 私たちのチームでは、データを強みとした事業価値創出を促進するために、データ基盤の整備やデータマネジメント、全社的なデータ利活用レベルの引き上げに取り組…