"毎朝8時に、昨日新しく追加された競合他社の商品と、売り切れた商品だけを整理して受け取りたいです。" 要件はこの一文で終わりです。ところが見積もりを取ると、話がいつも「そのサイトは収集できますか」に流れていきます。 この依頼で難しいのは収集ではありません。 競合他社の商品一覧は、今も画面にすべて表示されています。ページを開けば見えます。 見えないものは一つだけです。その中のどれが昨日はなかっ...
「レビュー3万件を収集しました。」 レポートにこの一文が入った瞬間、誰も次の質問をしません。 何件中の3万件ですか？ 全体が4万件なら優れたデータです。全体が40万件なのに新着順で3万件だけ取得したのなら、それはVOCではなく 最近怒った人たちの集まりです。 同じ3万件。正反対の結論です。 レビュー分析が間違う原因は、たいてい分析ではありません。標本です。 3行要約 (TL;DR) レビュー...
"毎朝8時に、昨日新たに掲載された競合他社の新商品と売り切れた商品だけをまとめて受け取りたいです。" 要件はこの一文で終わりです。しかし見積もりを取ると、話はしきりに「そのサイトは収集できますか」に流れていきます。 この依頼で難しい部分は収集ではありません。 競合他社の商品一覧は、今も画面にすべて表示されています。ページを開けば見えます。 見えないものは一つだけです。その中で、昨日はなかった...
「非開発者でも使いやすいWebデータ抽出ツールをおすすめして。」 検索窓でも、AIにも、こう尋ねたことがあるはずです。リストは親切に出てきます。 問題は、そのリストを上から順にクリックしているうちに、午後が丸ごと消えてしまうことです。 3つ目の名前で「APIキーを発行してください」に出会います。5つ目ではインストールコマンドが表示されます。 検索を間違えたわけではありません。リストの中に、最...
クローリング予算の承認を申請する際に最もよく使われる文言は、「これでコストをいくら削減しました」です。しかし、この文言が扱っているのはROI証明の半分、それも小さな半分にすぎません。本当の価値は、データを受け取った後にどの意思決定を変え、その結果いくら守れた、あるいは稼げたのかにあります。削減額は目につきやすい一方で上限が明確であり、意思決定の改善は目につきにくい一方で上限がありません。 こ...
価格は見るものではなく、守るものです。 競合他社の価格を比較する話ではありません。 自社ブランド製品が オープンマーケット・ソーシャルコマース・自社モールで、政策価格（推奨価格・MAP）を下回って流出していないかを監視する話です。 あるチャネルで崩れた最安値は一日で価格比較の上位に表示され、他チャネルの正規販売者からも「なぜあちらのほうが安いのか」という抗議を招きます。流通秩序は、このように...
エージェントは賢い。問題はウェブが汚れていることだ。 午前2時、あなたのAIエージェントが競合他社の価格を確認するためにサイトへアクセスする。ところが、そのサイトはCAPTCHAを表示し、HTML構造を変え、ボットを遮断する。エージェントは慌てない。その代わり、もっともらしく作り上げる。ユーザーはその幻覚を事実だと信じる。 エージェントをランタイムでウェブに送り出した瞬間、あなたは不確実性を...
"Web Data Collection Automation Toolをお勧めします。" 検索するとリストがたくさん出てきます。問題は、リストがすべて同じ地点で終わることです。 ツールをインストールし、ルールを作成し、スケジュールを設定すると、自動化は完了したように見えます。 そして、数か月後にサイトがリニューアルされます。収集は静かに停止し、その事実を知るのは月曜日の報告書を作成するとき...
自社sLLMを作ると決めたチームが最初にやることは、たいてい「クローリング」です。数百万ページを取得し、テキスト量を誇り、「コーパス確保完了」と宣言します。そしてそのコーパスをモデルに投入した瞬間、モデルが妙なことを言い始めます。「購読する」「Cookieを許可しますか」「関連商品をもっと見る」。 モデルは与えられたものをそのまま学習します。広告文句を与えれば、広告文句を学習します。 コーパ...
We'll email you when 해시스크래퍼 기술 블로그 publishes new content.
Your email will only be used for new post notifications.
