sqlite2 📌 6. Scrapy를 활용한 실전 프로젝트 (SQLite 데이터베이스 버전) 1. 이전 강의 리뷰이전 강의에서는 Scrapy 프레임워크를 활용하여 대량 데이터를 크롤링하는 방법을 배웠습니다. 이번 강의에서는 Hacker News에서 최신 기사 제목과 URL을 크롤링하고, Middleware와 SQLite 데이터베이스 저장 기능을 추가하여 완성도 높은 크롤러를 만들어 보겠습니다.2. 실전 프로젝트 개요목표 사이트: Hacker News수집 데이터: 기사 제목, URL추가 기능: User-Agent 변경, SQLite 데이터베이스 저장, 중복 데이터 처리3. Scrapy Middleware 설정 (자세한 설명)middlewares.py에서 User-Agent를 랜덤하게 변경하여 크롤러가 차단되지 않도록 합니다.import randomfrom scrapy import signalscl.. 2025. 2. 13. 📌 4. 크롤링 데이터 정제 및 저장하기 1. 이전 강의 리뷰이전 강의에서는 selenium을 활용한 동적 웹페이지 크롤링을 학습하며, 다음과 같은 개념을 다뤘습니다.selenium을 이용한 웹 브라우저 자동 제어네이버 뉴스에서 기사 제목 가져오기로그인 자동화: 아이디와 비밀번호 입력 후 자동 로그인스크롤 내리면서 추가 데이터 크롤링이번 강의에서는 크롤링한 데이터를 정제하고 저장하는 방법을 배워보겠습니다. pandas를 활용한 데이터 가공, 정규 표현식으로 텍스트 필터링, JSON 및 CSV 저장 방법, 그리고 데이터베이스 연동까지 다뤄보겠습니다.2. 크롤링한 데이터 정제하기웹에서 가져온 데이터는 불필요한 공백, 특수 문자, HTML 태그 등이 포함될 수 있습니다. pandas와 re(정규 표현식)을 이용해 데이터를 정제하는 방법을 배워봅시다... 2025. 2. 11. 이전 1 다음
