크롤링3 📌 5. Scrapy 프레임워크를 활용한 크롤링 1. 이전 강의 리뷰이전 강의에서는 크롤링한 데이터를 정제하고 저장하는 방법을 배웠습니다. 다음과 같은 개념을 다뤘습니다.pandas를 활용한 데이터 정제 (중복 제거, 공백 정리, 정규 표현식 활용)CSV 및 JSON 파일 저장 방법SQLite 데이터베이스 저장 (심화 강의 예정)이번 강의에서는 Scrapy 프레임워크를 활용한 대량 데이터 크롤링을 배워보겠습니다. Scrapy는 강력한 웹 크롤링 프레임워크로, 빠르고 효율적으로 데이터를 수집할 수 있도록 도와줍니다.2. Scrapy란?Scrapy는 대규모 웹 크롤링을 수행할 수 있는 강력한 프레임워크로, 여러 페이지를 자동으로 탐색하며 데이터를 추출할 수 있습니다.✅ Scrapy의 주요 기능비동기 크롤링: 여러 웹페이지를 동시에 크롤링하여 속도를 최적화.. 2025. 2. 12. 📌 3. selenium을 이용한 동적 웹페이지 크롤링 1. 이전 강의 리뷰이전 강의에서는 정적 웹페이지 크롤링을 진행하며, requests와 BeautifulSoup을 활용하여 HTML 데이터를 가져오고 필요한 정보를 추출하는 방법을 배웠습니다.HTTP 요청 및 응답 이해: requests.get()을 이용하여 웹페이지 데이터를 가져오는 방법HTML 구조 분석: BeautifulSoup을 사용하여 원하는 태그 및 클래스 선택CSS 선택자를 활용한 데이터 추출: soup.select()을 이용하여 다양한 요소 가져오기실전 예제: 뉴스 기사 제목을 가져오고, robots.txt를 확인하는 과정 학습이번 강의에서는 동적 웹페이지를 다룰 예정입니다. selenium을 활용하여 버튼 클릭, 자동 로그인, 스크롤 내리기 등의 동작을 수행하고 데이터를 수집하는 방법을 .. 2025. 2. 10. 📌 1. 웹 크롤링 개요 및 환경 설정 1. 웹 크롤링이란?웹 크롤링(Web Crawling)이란 인터넷 상의 데이터를 자동으로 수집하는 기술을 의미합니다. 웹사이트의 HTML 문서를 분석하여 특정 정보를 추출하고 저장하는 과정입니다. 이를 통해 데이터 분석, 자동화 시스템 구축 등에 활용할 수 있습니다.✅ 웹 크롤링의 활용 사례웹 크롤링은 단순한 데이터 수집을 넘어, 다양한 비즈니스 모델을 창출할 수 있는 강력한 도구입니다.뉴스 데이터 수집 및 트렌드 분석특정 뉴스 사이트에서 최신 기사를 주기적으로 크롤링하여 뉴스 트렌드를 분석할 수 있습니다.분석된 데이터를 바탕으로 주식 시장 동향을 예측하거나 소셜 미디어에 뉴스 요약을 제공하는 서비스 구축 가능.쇼핑몰 가격 비교 사이트 운영여러 온라인 쇼핑몰의 상품 가격을 실시간으로 크롤링하여 가격 비교.. 2025. 2. 8. 이전 1 다음
