본문 바로가기

전체 글57

PyTorch로 이미지 분류 모델 만들기 - 딥러닝 시작하기 딥러닝은 머신러닝의 하위 분야에 속하며, 인공신경망을 활용하여 사람의 뇌처럼 데이터를 학습하고 예측하는 모델을 만드는 기술입니다. 최근에는 이미지, 음성, 텍스트 등 다양한 분야에서 딥러닝이 활용되고 있으며, 그 중에서도 이미지 분류는 딥러닝 모델이 특히 강점을 보이는 분야 중 하나입니다. 이번 글에서는 PyTorch를 사용하여 간단한 이미지 분류 모델을 만드는 과정을 다루어보겠습니다. 실습 위주로 진행하며, 데이터셋 로딩부터 모델 학습, 평가까지 전체 흐름을 단계별로 살펴가 보겠습니다.1. 데이터셋 준비와 전처리딥러닝 모델을 학습시키기 위해 가장 먼저 해야 할 일은, 적절한 데이터셋을 준비하는 것입니다. PyTorch에서는 torchvision 라이브러리를 통해 다양한 이미지 데이터셋을 쉽게 불러올 수.. 2025. 4. 1.
머신러닝 분류모델 실전 구축 (scikit-learn + pandas) – 예제부터 평가까지 머신러닝에서 분류(Classification)는 가장 기본이면서도 실무에서 자주 활용되는 알고리즘 중 하나입니다. 특히 파이썬에서는 scikit-learn과 pandas 라이브러리를 활용해 손쉽게 분류 모델을 구축할 수 있습니다. 실제 분석가들 사이에서 정말 많이 쓰이는 패키지이기도 합니다. 이번 글에서는 실제 데이터를 활용하여 머신러닝 분류모델을 구성하고 평가하는 전 과정을 다루어 보도록 하겠습니다. 전체 흐름은 데이터 불러오기, 전처리, 모델 훈련, 예측, 평가까지 단계별로 나눠 진행되며, 함께 살펴보겠습니다.1. 데이터 준비 및 전처리머신러닝의 출발점은 양질의 데이터입니다. pandas를 사용하면 다양한 형식의 데이터를 간단하게 불러오고 조작할 수 있습니다. 여기서는 예제로 자주 사용되는 붓꽃(Ir.. 2025. 4. 1.
리눅스에서 Python 웹서버 배포하기 (Gunicorn, Nginx 환경 구성) 리눅스 (Linux) 환경에서 Python 웹 서버 환경을 배포해보는 과정을 다루고, 간단하게 실습을 해 보겠습니다. 해당 글에서는 Gunicorn을 WSGI 서버로 사용하고, Nginx를 프록시 서버로 설정하는 과정을 하나하나 따라할 수 있도록 구성을 하려 합니다. 잘 모르는 초보자도 바로 실습 가능하도록 명령어 및 설정 파일을 함께 제공하여 보겠습니다.1. Python 웹 서버란?우선 시작하기 전에, Python 웹 서버에 대해 알아가 보겠습니다. Python 웹 서버는 사용자의 요청을 처리하고 응답을 반환하는 애플리케이션을 말합니다. 일반적으로 Flask, Django 같은 프레임워크를 통해 웹 서버 애플리케이션을 작성하고, Gunicorn과 같은 WSGI 서버를 통해 실제 운영 환경에 배포하게 됩.. 2025. 3. 27.
pandas 기초정리 (Series vs DataFrame 차이와 예제) – 데이터분석 뿐만 아니라, 모든 데이터 활용에 사용되는 만능 라이브러리 Python에서 데이터를 다룰 때 가장 많이 사용하는 라이브러리 중 하나가 바로 pandas입니다. 필자가 회사에서도 Python 코드를 종종 쓰곤 하는데, 가장 많이 쓰는 라이브러리 중 하나라고 할 수 있겠습니다. 데이터분석 뿐만 아니라, 어떤 분석과 어떤 기능을 사용했더라도 결과 데이터를 저장할 때 보통 pandas dataframe을 사용하여 저장하곤 하빈다. 그만큼 pandas는 표 형태의 데이터를 쉽게 다루기 위한 다양한 기능을 제공하며, 분석, 전처리, 시각화 등 거의 모든 데이터 작업에서 핵심 역할을 합니다. pandas는 크게 1차원 Series와 2차원 이상의 DataFrame이라는 두 가지 주요 데이터 구조를 제공합니다. 이번 글에서는 이 두 구조의 개념과 함께 간단한 예제를 통해 어떻.. 2025. 3. 27.
robots.txt : 크롤링 전 꼭 알아야 할 필수 지침 (개념, 정책 및 확인 방법) 웹 크롤링을 할 때 반드시 고려해야 할 요소 중 하나가 바로 robots.txt입니다. 이 파일은 사이트 소유자가 검색 엔진 크롤러나 자동화 프로그램에게 어떤 페이지는 접근해도 되고, 어떤 페이지는 접근하면 안 되는지를 알려주는 표준 규칙입니다. 이번 글에서는 robots.txt의 기본 개념, 정책의 구성 방식, 그리고 실제 확인 방법에 대해 차근차근 알아보겠습니다.1. robots.txt의 개념이란?robots.txt는 웹사이트의 루트 디렉토리에 위치한 텍스트 파일로, 웹 크롤러에게 접근 권한을 안내하는 역할을 합니다. 예를 들어, 검색 엔진이 사이트를 수집할 때 특정 폴더나 URL을 수집하지 않도록 사전에 설정해 놓은 것이라고 생각하면 되겠습니다. robots.txt라는 이 파일은 'Robots Ex.. 2025. 3. 26.
Playwright : Selenium보다 빠르고 안정화된 웹 크롤링 자동화 도구 Playwright는 Selenium과 같이, 동적으로 웹 데이터를 수집 (크롤링)하기 위한 좋은 자동화 도구로 꼽히고 있습니다. 빠르고 안정적인 실행 부분에서 강점을 보이고 있는 도구인 Playwright에 대해 함꼐 알아가 보겠습니다.1. Playwright 개념Playwright는 Microsoft에서 개발한 최신 웹 자동화 도구입니다. 크로미움, 파이어폭스, 웹킷 등 다양한 브라우저를 지원하며, Node.js, Python, Java, .NET 등 여러 언어에서도 사용할 수 있습니다. Selenium과 비슷한 역할을 하지만, 더 빠르고 안정적인 실행이 가능하며 비동기 방식으로 동작하는 특징이 있습니다. 특히 JavaScript로 동작하는 동적 웹페이지의 데이터를 수집할 때 큰 장점을 발휘합니다. .. 2025. 3. 26.