전체 글62 📌 7. Scrapy를 활용한 데이터 자동화 및 스케줄링 1. 이전 강의 리뷰이전 강의에서는 Scrapy 프레임워크를 활용하여 뉴스 데이터를 크롤링하고 SQLite 데이터베이스에 저장하는 방법을 배웠습니다. 이번 강의에서는 Scrapy 크롤링을 자동화하고, 크론잡(Cron Job) 및 Airflow를 사용하여 데이터 수집 파이프라인을 구축하는 방법을 배워보겠습니다.2. 크롤링 자동화의 필요성웹 크롤링은 주기적으로 데이터를 수집할 때 진정한 가치를 발휘합니다. 예를 들어, 매일 아침 뉴스 데이터를 수집하거나, 매주 특정 사이트에서 상품 정보를 업데이트하는 등의 작업을 자동화하면 시간과 노력을 절약할 수 있습니다.3. 크론잡(Cron Job)을 활용한 Scrapy 자동화✅ 크론잡이란?크론잡은 리눅스/유닉스 기반 시스템에서 특정 시간마다 명령어를 자동 실행할 수 있.. 2025. 2. 13. 📌 6. Scrapy를 활용한 실전 프로젝트 (SQLite 데이터베이스 버전) 1. 이전 강의 리뷰이전 강의에서는 Scrapy 프레임워크를 활용하여 대량 데이터를 크롤링하는 방법을 배웠습니다. 이번 강의에서는 Hacker News에서 최신 기사 제목과 URL을 크롤링하고, Middleware와 SQLite 데이터베이스 저장 기능을 추가하여 완성도 높은 크롤러를 만들어 보겠습니다.2. 실전 프로젝트 개요목표 사이트: Hacker News수집 데이터: 기사 제목, URL추가 기능: User-Agent 변경, SQLite 데이터베이스 저장, 중복 데이터 처리3. Scrapy Middleware 설정 (자세한 설명)middlewares.py에서 User-Agent를 랜덤하게 변경하여 크롤러가 차단되지 않도록 합니다.import randomfrom scrapy import signalscl.. 2025. 2. 13. 📌 5. Scrapy 프레임워크를 활용한 크롤링 1. 이전 강의 리뷰이전 강의에서는 크롤링한 데이터를 정제하고 저장하는 방법을 배웠습니다. 다음과 같은 개념을 다뤘습니다.pandas를 활용한 데이터 정제 (중복 제거, 공백 정리, 정규 표현식 활용)CSV 및 JSON 파일 저장 방법SQLite 데이터베이스 저장 (심화 강의 예정)이번 강의에서는 Scrapy 프레임워크를 활용한 대량 데이터 크롤링을 배워보겠습니다. Scrapy는 강력한 웹 크롤링 프레임워크로, 빠르고 효율적으로 데이터를 수집할 수 있도록 도와줍니다.2. Scrapy란?Scrapy는 대규모 웹 크롤링을 수행할 수 있는 강력한 프레임워크로, 여러 페이지를 자동으로 탐색하며 데이터를 추출할 수 있습니다.✅ Scrapy의 주요 기능비동기 크롤링: 여러 웹페이지를 동시에 크롤링하여 속도를 최적화.. 2025. 2. 12. 📌 4. 크롤링 데이터 정제 및 저장하기 1. 이전 강의 리뷰이전 강의에서는 selenium을 활용한 동적 웹페이지 크롤링을 학습하며, 다음과 같은 개념을 다뤘습니다.selenium을 이용한 웹 브라우저 자동 제어네이버 뉴스에서 기사 제목 가져오기로그인 자동화: 아이디와 비밀번호 입력 후 자동 로그인스크롤 내리면서 추가 데이터 크롤링이번 강의에서는 크롤링한 데이터를 정제하고 저장하는 방법을 배워보겠습니다. pandas를 활용한 데이터 가공, 정규 표현식으로 텍스트 필터링, JSON 및 CSV 저장 방법, 그리고 데이터베이스 연동까지 다뤄보겠습니다.2. 크롤링한 데이터 정제하기웹에서 가져온 데이터는 불필요한 공백, 특수 문자, HTML 태그 등이 포함될 수 있습니다. pandas와 re(정규 표현식)을 이용해 데이터를 정제하는 방법을 배워봅시다... 2025. 2. 11. 📌 3. selenium을 이용한 동적 웹페이지 크롤링 1. 이전 강의 리뷰이전 강의에서는 정적 웹페이지 크롤링을 진행하며, requests와 BeautifulSoup을 활용하여 HTML 데이터를 가져오고 필요한 정보를 추출하는 방법을 배웠습니다.HTTP 요청 및 응답 이해: requests.get()을 이용하여 웹페이지 데이터를 가져오는 방법HTML 구조 분석: BeautifulSoup을 사용하여 원하는 태그 및 클래스 선택CSS 선택자를 활용한 데이터 추출: soup.select()을 이용하여 다양한 요소 가져오기실전 예제: 뉴스 기사 제목을 가져오고, robots.txt를 확인하는 과정 학습이번 강의에서는 동적 웹페이지를 다룰 예정입니다. selenium을 활용하여 버튼 클릭, 자동 로그인, 스크롤 내리기 등의 동작을 수행하고 데이터를 수집하는 방법을 .. 2025. 2. 10. 📌 2. requests와 BeautifulSoup을 활용한 기초 크롤링 1. 이전 강의 리뷰이전 강의에서는 웹 크롤링의 개념과 활용 사례, 크롤링 환경 설정 및 간단한 웹페이지 크롤링 실습을 다뤘습니다.웹 크롤링 개념: 웹에서 데이터를 자동으로 수집하는 기술크롤링 활용 사례: 뉴스 데이터 분석, 가격 비교, 부동산 정보 수집 등환경 설정: requests, BeautifulSoup, lxml 등의 필수 라이브러리 설치기본 크롤링 실습: requests를 활용하여 웹페이지의 HTML 가져오기 및 BeautifulSoup을 사용한 데이터 추출이번 강의에서는 이를 바탕으로 더 깊이 있는 크롤링 기술을 배우고 실전 예제를 진행하겠습니다.2. requests와 BeautifulSoup란?웹 크롤링에서 가장 많이 사용되는 두 가지 라이브러리는 requests와 BeautifulSoup.. 2025. 2. 9. 📌 1. 웹 크롤링 개요 및 환경 설정 1. 웹 크롤링이란?웹 크롤링(Web Crawling)이란 인터넷 상의 데이터를 자동으로 수집하는 기술을 의미합니다. 웹사이트의 HTML 문서를 분석하여 특정 정보를 추출하고 저장하는 과정입니다. 이를 통해 데이터 분석, 자동화 시스템 구축 등에 활용할 수 있습니다.✅ 웹 크롤링의 활용 사례웹 크롤링은 단순한 데이터 수집을 넘어, 다양한 비즈니스 모델을 창출할 수 있는 강력한 도구입니다.뉴스 데이터 수집 및 트렌드 분석특정 뉴스 사이트에서 최신 기사를 주기적으로 크롤링하여 뉴스 트렌드를 분석할 수 있습니다.분석된 데이터를 바탕으로 주식 시장 동향을 예측하거나 소셜 미디어에 뉴스 요약을 제공하는 서비스 구축 가능.쇼핑몰 가격 비교 사이트 운영여러 온라인 쇼핑몰의 상품 가격을 실시간으로 크롤링하여 가격 비교.. 2025. 2. 8. 📌 5. OOP 실전 프로젝트: 간단한 도서 관리 시스템 개발 *이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.* 혼자 공부하는 파이썬:1:1 과외하듯 배우는 프로그래밍 자습서 - 프로그래밍 언어 | 쿠팡현재 별점 4.8점, 리뷰 198개를 가진 혼자 공부하는 파이썬:1:1 과외하듯 배우는 프로그래밍 자습서! 지금 쿠팡에서 더 저렴하고 다양한 프로그래밍 언어 제품들을 확인해보세요.www.coupang.com 1. 객체지향 프로그래밍(OOP) 개요 (이전 시리즈 요약)이전 글에서는 캡슐화와 추상화 개념을 학습하였으며, 핵심 내용은 다음과 같습니다:캡슐화(Encapsulation): 데이터를 보호하기 위해 private 변수와 getter/setter 활용추상화(Abstraction): 인터페이스를 표준화하고, 세부 구현을 감추는.. 2025. 2. 7. 📌 4. 캡슐화와 추상화: 데이터 보호와 인터페이스 설계 *이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.* 혼자 공부하는 파이썬:1:1 과외하듯 배우는 프로그래밍 자습서 - 프로그래밍 언어 | 쿠팡현재 별점 4.8점, 리뷰 198개를 가진 혼자 공부하는 파이썬:1:1 과외하듯 배우는 프로그래밍 자습서! 지금 쿠팡에서 더 저렴하고 다양한 프로그래밍 언어 제품들을 확인해보세요.www.coupang.com 1. 객체지향 프로그래밍(OOP) 개요 (이전 시리즈 요약)이전 글에서는 상속과 다형성의 개념을 배웠습니다. 핵심 내용은 다음과 같습니다:상속(Inheritance): 기존 클래스의 기능을 물려받아 새로운 클래스를 생성 (코드 재사용성 향상)다형성(Polymorphism): 같은 메서드를 여러 클래스에서 다르게 구현할 수 .. 2025. 2. 6. 📌 3. 상속과 다형성: 코드 재사용성과 확장성 높이기 *이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.* 혼자 공부하는 파이썬:1:1 과외하듯 배우는 프로그래밍 자습서 - 프로그래밍 언어 | 쿠팡현재 별점 4.8점, 리뷰 198개를 가진 혼자 공부하는 파이썬:1:1 과외하듯 배우는 프로그래밍 자습서! 지금 쿠팡에서 더 저렴하고 다양한 프로그래밍 언어 제품들을 확인해보세요.www.coupang.com 1. 객체지향 프로그래밍(OOP) 개요 (이전 시리즈 요약)이전 글에서는 클래스와 객체의 개념을 다루었으며, 다음과 같은 핵심 개념을 배웠습니다:클래스(Class): 객체를 만들기 위한 설계도객체(Object): 클래스를 기반으로 생성된 실체메서드(Method): 클래스 내부에서 정의된 함수인스턴스 변수 vs. 클래스 변수.. 2025. 2. 5. 📌 2. 파이썬 클래스와 객체: 기본 개념과 활용 *이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.* 혼자 공부하는 파이썬:1:1 과외하듯 배우는 프로그래밍 자습서 - 프로그래밍 언어 | 쿠팡현재 별점 4.8점, 리뷰 198개를 가진 혼자 공부하는 파이썬:1:1 과외하듯 배우는 프로그래밍 자습서! 지금 쿠팡에서 더 저렴하고 다양한 프로그래밍 언어 제품들을 확인해보세요.www.coupang.com 1. 객체지향 프로그래밍(OOP) 개요 (첫 번째 시리즈 요약)이전 글에서 객체지향 프로그래밍(OOP)의 핵심 개념을 소개했습니다. 주요 내용은 다음과 같습니다:객체(Object): 속성과 동작을 가지는 독립적인 개체 (예: 자동차, 학생, 은행 계좌 등)클래스(Class): 객체를 만들기 위한 설계도OOP의 4대 원칙:캡.. 2025. 2. 4. 📌 1. 객체지향 프로그래밍이란? (개념과 기본 원칙) *이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.* 혼자 공부하는 파이썬:1:1 과외하듯 배우는 프로그래밍 자습서 - 프로그래밍 언어 | 쿠팡현재 별점 4.8점, 리뷰 198개를 가진 혼자 공부하는 파이썬:1:1 과외하듯 배우는 프로그래밍 자습서! 지금 쿠팡에서 더 저렴하고 다양한 프로그래밍 언어 제품들을 확인해보세요.www.coupang.com 새롭게 시작하는 객체지향 시리즈 입니다. 총 다섯편으로 구성할 계획입니다. 그럼 시작해볼까요?1. 객체지향 프로그래밍(OOP)이란?객체지향 프로그래밍(Object-Oriented Programming, OOP)은 현실 세계의 개념을 프로그래밍에 적용하는 방식입니다. 프로그램을 구성하는 요소를 **객체(Object)**로 .. 2025. 2. 3. 이전 1 2 3 4 ··· 6 다음
