크롤링제한 2

AI, 크롤링, 딥러닝… 결국 못 넘어서는 인간의 영역

요즘 AI를 보면 “얘 이제 사람 다 이길 거야”라는 착각이 흔하다.근데 내가 여러 번 부딪히고 실험해 보면서 느낀 건 명확하다.AI는 결국 인간의 영역을 절대 넘을 수 없다.그 이유는 크롤링 한계에서 시작해,딥러닝의 본질적 구조까지 닿는다.크롤링의 벽앞에서 정리했듯,네이버, 카카오, 인스타, 트위터(X) 비공개 영역언론사 유료 기사논문 DB, 전자책, 음원, 영상각종 유료 교육 콘텐츠이런 건 AI가 접근조차 못 한다.법적, 기술적, 윤리적 차단선이 있다.AI는 결국 “이미 열려 있는 문”만 통과할 수 있다.딥러닝이 불가능한 이유딥러닝은 말 그대로 ‘깊이 반복 학습’이다.패턴을 찾아내고, 통계적으로 최적화하고, 그걸 계속 개선한다.여기서 핵심 문제는:① 새로운 경험을 못 한다딥러닝은 과거 데이터에 갇힌다..

AI가 못 뚫는 벽, 크롤링 제한 사이트와 그 한계의 민낯

솔직히 말하면, 나도 한때 AI를 맹신했다.“얘는 세상 모든 걸 다 알겠지”, “이제 인간보다 훨씬 나은 답을 주겠지.”그렇게 생각한 적 있다.하지만 AI랑 작업하면서, 그리고 블로그 글을 쌓아가면서 깨달았다.AI는 생각보다 모른다.아니, 정확히 말하면 ‘못 본다’.내가 직접 느낀 한계몇 번이나 AI에게 글을 시켜봤다.처음엔 그럴싸했다.근데 디테일에서 막힌다.예를 들어, 국내 언론사 유료 기사, SNS 비공개 대화, 논문 전문,전자책 속 문장 같은 건 절대 안 나온다.질문하면 겉핥기 요약만 돌려주거나, 그럴듯한데 비어 있는 말을 한다.그때 알았다.아, 얘는 닿을 수 없는 영역이 많구나.내가 찾아본 크롤링이 제한된 대표적 사이트네이버, 카카오 블로그, 카페, 뉴스 유료 콘텐츠페이스북, 인스타그램, 트위터(..