"매일 아침 8시에, 어제 새로 올라온 경쟁사 신상품이랑 품절된 상품만 정리해서 받고 싶습니다." 요건은 이 한 줄로 끝납니다. 그런데 견적을 받아 보면 대화가 자꾸 "그 사이트 수집 되나요"로 흘러갑니다. 이 요청에서 어려운 부분은 수집이 아닙니다. 경쟁사 상품 목록은 지금도 화면에 다 떠 있습니다. 페이지를 열면 보입니다. 보이지 않는 건 하나뿐입...
"리뷰 3만 건을 수집했습니다." 보고서에 이 문장이 들어가는 순간, 아무도 다음 질문을 하지 않습니다. 몇 건 중의 3만 건입니까? 전체가 4만 건이면 훌륭한 데이터입니다. 전체가 40만 건인데 최신순으로 3만 건만 긁은 거라면, 그건 VOC가 아니라 최근에 화가 난 사람들의 모음입니다. 같은 3만 건. 정반대의 결론. 리뷰 분석이 틀리는 지점은 대...
"매일 아침 8시에, 어제 새로 올라온 경쟁사 신상품이랑 품절된 상품만 정리해서 받고 싶습니다." 요건은 이 한 줄로 끝납니다. 그런데 견적을 받아 보면 대화가 자꾸 "그 사이트 수집 되나요"로 흘러갑니다. 이 요청에서 어려운 부분은 수집이 아닙니다. 경쟁사 상품 목록은 지금도 화면에 다 떠 있습니다. 페이지를 열면 보입니다. 보이지 않는 건 하나뿐입...
"비개발자가 사용하기 좋은 웹 데이터 추출 도구 추천해줘." 검색창에도, AI에게도 이렇게 물어보셨을 겁니다. 목록은 친절하게 나옵니다. 문제는 그 목록을 위에서부터 눌러보는 데 오후가 통째로 사라진다는 것. 세 번째 이름에서 "API 키를 발급받으세요"를 만납니다. 다섯 번째에서는 설치 명령어가 나옵니다. 검색을 잘못하신 게 아닙니다. 목록 안에 처...
크롤링 예산을 결재 올릴 때 가장 흔한 문장은 "이걸로 비용을 얼마 줄였습니다"입니다. 그런데 이 문장은 ROI 증명의 절반, 그것도 작은 절반만 다룹니다. 진짜 가치는 데이터를 받은 뒤 어떤 결정을 바꿨고, 그래서 얼마를 지켰거나 벌었는가에 있습니다. 절감액은 눈에 잘 띄지만 상한이 명확하고, 의사결정 개선은 눈에 안 띄지만 상한이 없습니다. 이 글...
가격은 보는 것이 아니라 지키는 것입니다. 경쟁사 가격을 비교하는 이야기가 아닙니다. 내 브랜드 제품이 오픈마켓·소셜커머스·자사몰에서 정책가(권장가·MAP) 아래로 새고 있는지를 감시하는 이야기입니다. 한 채널에서 무너진 최저가는 하루 만에 가격비교 상단에 뜨고, 다른 채널의 정상 판매자까지 "왜 저기가 더 싸냐"는 항의를 부릅니다. 유통 질서는 그렇...
에이전트는 똑똑하다. 문제는 웹이 더럽다는 거다. 새벽 2시, 당신의 AI 에이전트가 경쟁사 가격을 확인하려 사이트에 붙는다. 그런데 그 사이트는 캡차를 띄우고, HTML 구조를 바꾸고, 봇을 차단한다. 에이전트는 당황하지 않는다. 대신 그럴듯하게 지어낸다. 사용자는 그 환각을 사실로 믿는다. 에이전트를 런타임에 웹으로 내보내는 순간, 당신은 불확실성...
"웹 데이터 수집 자동화 툴 추천해줘." 검색하면 목록이 쏟아집니다. 문제는, 목록이 전부 같은 지점에서 끝난다는 것. 툴을 깔고, 규칙을 만들고, 스케줄을 걸면 자동화는 완성된 것처럼 보입니다. 그리고 석 달 뒤 사이트가 개편됩니다. 수집은 조용히 멈추고, 그 사실을 아는 건 월요일 보고서를 만들 때입니다. 툴 이름을 세는 목록으로는 여기까지 답이 ...
자체 sLLM을 만들겠다고 결심한 팀이 가장 먼저 하는 일은 대개 '크롤링'입니다. 수백만 페이지를 긁고, 텍스트 용량을 자랑하고, "코퍼스 확보 완료"라고 선언합니다. 그리고 그 코퍼스를 모델에 태운 순간, 모델이 이상한 걸 말하기 시작합니다. "구독하기", "쿠키를 허용하시겠습니까", "관련 상품 더보기". 모델은 먹인 대로 배웁니다. 광고 문구를...
해시스크래퍼 기술 블로그의 새 글이 발행되면 이메일로 알려드립니다.
이메일은 새 글 알림에만 사용됩니다.
