najiwon

[Python] 네이버 Geocoding API를 사용하여 주소를 좌표로 변환하기

najiwon — Wed, 7 Aug 2024 21:04:20 +0900

사용 라이브러리
- requests
- pandas

지도에 공공데이터 포털에서 API로 받아온 장애인 구인 실시간 현황 데이터의 comAddr(회사주소)를 지도에 마커로 표시하기 위해 위도와 경도로 변환하여 테이블에 저장해 보려고 한다. 네이버 Geocoding API를 사용하여 주소를 좌표로 변환하는 방법이다.

01. 네이버 Geocoding API 키 발급받기

먼저, 네이버 클라우드 플랫폼에서 Geocoding API를 사용하기 위해 API 키를 발급받아야 한다.

1. 네이버 클라우드 플랫폼에 접속하여 로그인한다.

2. 콘솔에서 Application 서비스의 애플리케이션 등록 메뉴로 이동, 새 애플리케이션을 등록한고 Geocoding API 사용을 활성화한다.

3. 발급된 클라이언트 ID와 클라이언트 시크릿을 확인한다.

이제 API 키를 발급받았으니, 파이썬 코드에서 이를 사용하여 Geocoding API를 호출하는 방법을 알아보겠다.

02. 파이썬 코드로 주소를 좌표로 변환하기

필요한 라이브러리 설치

먼저, HTTP 요청을 보내기 위해 requests 라이브러리를 설치한다.

pip install requests

네이버 Geocoding API를 사용하여 하나의 고정된 주소를 좌표로 변환하는 파이썬 코드를 작성해 보자.

import requests

# 네이버 API 키 설정
client_id = 'YOUR_CLIENT_ID'  # 네이버 클라우드 플랫폼에서 발급받은 클라이언트 ID
client_secret = 'YOUR_CLIENT_SECRET'  # 네이버 클라우드 플랫폼에서 발급받은 클라이언트 시크릿

# 고정 문자열 주소
address = '충청북도 청주시 흥덕구 산단로 54 한국폴리텍대학 청주캠퍼스'

# 네이버 Geocoding API 호출 함수 정의
def geocode_address(address):
    url = f"https://naveropenapi.apigw.ntruss.com/map-geocode/v2/geocode?query={address}"
    headers = {
        'X-NCP-APIGW-API-KEY-ID': client_id,
        'X-NCP-APIGW-API-KEY': client_secret
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        data = response.json()
        if data['addresses']:
            location = data['addresses'][0]
            return location['y'], location['x']
        else:
            return None, None
    else:
        print(f"Error {response.status_code}: {response.text}")
        return None, None

# 주소를 좌표로 변환
latitude, longitude = geocode_address(address)

# 결과 출력
if latitude and longitude:
    print(f"주소: {address}")
    print(f"위도: {latitude}")
    print(f"경도: {longitude}")
else:
    print("좌표를 찾을 수 없습니다.")

코드 설명

requests 라이브러리를 사용하여 네이버 Geocoding API를 호출
네이버 클라우드 플랫폼에서 발급받은 클라이언트 ID와 클라이언트 시크릿을 설정
변환할 고정 문자열 주소를 address 변수에 저장
geocode_address 함수를 정의하여 주소를 입력받고, 네이버 Geocoding API를 호출하여 JSON 응답을 처리
응답에서 위도(y)와 경도(x) 값을 추출하여 반환
주소를 좌표로 변환한 후, 결과를 출력

03. 지도에서 결과 확인하기

실행 결과

변환된 위도와 경도를 네이버지도에 검색하여 제대로 변환된 것인지 확인해 보자.

검색 결과 한국폴리텍대학 청주캠퍼스로 잘 나오는 것을 확인할 수 있다.

04. 데이터프레임의 주소를 한 번에 좌표로 변환하기

위도와 경도가 잘 변환되는 것을 확인하였으니 이번에는 데이터프레임을 사용하여 여러 주소를 한 번에 좌표로 변환하여 위도, 경도 칼럼에 데이터를 추가해 보자.

import pandas as pd
import requests

# 네이버 API 키 설정
client_id = 'YOUR_CLIENT_ID'  # 네이버 클라우드 플랫폼에서 발급받은 클라이언트 ID
client_secret = 'YOUR_CLIENT_SECRET'  # 네이버 클라우드 플랫폼에서 발급받은 클라이언트 시크릿

# 네이버 Geocoding API 호출 함수 정의
def geocode_address(address):
    url = f"https://naveropenapi.apigw.ntruss.com/map-geocode/v2/geocode?query={address}"
    headers = {
        'X-NCP-APIGW-API-KEY-ID': client_id,
        'X-NCP-APIGW-API-KEY': client_secret
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        data = response.json()
        if data['addresses']:
            location = data['addresses'][0]
            return location['y'], location['x']
        else:
            return None, None
    else:
        print(f"Error {response.status_code}: {response.text}")
        return None, None

# 데이터프레임에 위도와 경도 컬럼 추가
df['latitude'], df['longitude'] = zip(*df['compAddr'].apply(geocode_address))

코드 설명

pandas와 requests 라이브러리를 import 한다.
네이버 클라우드 플랫폼에서 발급받은 클라이언트 ID와 클라이언트 시크릿을 설정한다.
geocode_address 함수를 정의하여 주소를 입력받고, 네이버 Geocoding API를 호출하여 JSON 응답을 처리한다.
응답에서 위도(y)와 경도(x) 값을 추출하여 반환한다.
데이터프레임의 comAddr 칼럼에 apply 메서드를 사용하여 각 주소에 대해 geocode_address 함수를 적용한다. 결과로 얻은 위도와 경도를 zip 함수로 풀어서 각각 latitude와 longitude 컬럼에 추가한다.

결과

latitude와 longitude 컬럼에 데이터가 잘 들어간 것을 확인할 수 있다.

[Python] Python과 CSV 파일을 활용한 MySQL INSERT 쿼리 생성 방법

najiwon — Tue, 16 Jul 2024 23:40:25 +0900

사용 라이브러리
- csv
- datetime

지난 글에 이어서 번역한 메시지 데이터를 테이블에 삽입해야 하는 일이 생겼다. 하나씩 복사해서 insert문을 작성하기엔 너무 많다는 생각이 들어서 한 번에 쿼리문을 생성할 수 있는 방법에 대해 고민했다.

Python을 사용하여 CSV 파일의 데이터를 MySQL 데이터베이스에 삽입할 수 있도록 csv 모듈을 이용해 CSV 파일을 읽고, 각 행의 데이터를 기반으로 MySQL INSERT 쿼리문을 생성하는 프로그램을 만들어봤다.

en.csv 파일 (CSV 파일은 다음과 같은 구조를 가정한다)

첫 번째 열: 한국어 메시지 (MSG)
두 번째 열: 메시지 코드 (MSG_CD)
세 번째 열: 영어로 번역된 메시지 (MSG_EN)
나머지 열은 무시된다.

01. Python 코드

다음은 en.csv 파일을 읽어서 각 행의 데이터를 사용하여 MySQL INSERT 쿼리문을 생성하는 Python 코드이다.

import csv

# en.csv 파일 경로
csv_file = 'en.csv'

# 생성할 INSERT 쿼리문을 저장할 리스트
query_list = []

# en.csv 파일 읽기
with open(csv_file, 'r', newline='', encoding='utf-8') as f:
    reader = csv.reader(f)
    header = next(reader)  # 첫 번째 줄은 헤더로 처리

    # 각 행마다 INSERT 쿼리문 생성
    for row in reader:
        LANG_CD = 'ko'  # 언어 코드 (예: 한국어)
        MSG_CD = row[1]  # MSG_CD 열의 데이터
        MSG = row[0]     # MSG 열의 데이터
        MSG_EN = row[2]  # MSG_EN 열의 데이터
        CRT_DT = '20240627143000'  # 생성 일시 (YYYYMMDDHHMMSS 형식)
        UPDT_DT = '20240627143000'  # 업데이트 일시 (YYYYMMDDHHMMSS 형식)

        # INSERT 쿼리문 생성하여 리스트에 추가
        query = f"INSERT INTO cm_message (LANG_CD, MSG_CD, MSG, MSG_EN, CRT_DT, UPDT_DT) VALUES ('{LANG_CD}', '{MSG_CD}', '{MSG}', '{MSG_EN}', '{CRT_DT}', '{UPDT_DT}');"
        query_list.append(query)

# 생성된 쿼리문 출력 또는 파일에 저장
for query in query_list:
    print(query)

1. en.csv 파일을 읽는다. 이 파일은 한국어 메시지, 메시지 코드, 영어 메시지를 포함한다.

2. csv.reader를 사용하여 CSV 파일을 읽고, 첫 번째 줄을 헤더로 처리한다.

3. 각 행마다 데이터를 추출하여 INSERT INTO ... VALUES ... 형식의 SQL 쿼리문을 생성한다.

4. 생성된 쿼리문을 query_list에 추가한다.

5. 최종적으로 생성된 쿼리문을 출력하거나 파일에 저장한다.

02. 주요 포인트

CSV 파일을 읽을 때, encoding='utf-8' 옵션을 사용하여 UTF-8 인코딩을 지정한다.
생성 일시 (CRT_DT)와 업데이트 일시 (UPDT_DT)는 우선 고정된 값을 사용하였다. 실제로는 현재 시간을 사용하거나 다른 로직을 적용할 수 있다.
쿼리문을 데이터베이스에 실제로 삽입하기 전에, 생성된 쿼리문이 올바른지 확인하는 것이 중요하다.

03. 코드 개선하기

하드코딩을 줄이고 보다 유연하게 데이터를 추출할 수 있는 방법을 적용해 보자. 각 열 이름에 대응되는 데이터를 추출할 수 있도록 하였다. 고정된 일시를 사용하지 않고 datetime으로 현재 시간을 가져오도록 수정하였다.

import csv
from datetime import datetime

# en.csv 파일 경로
csv_file = 'en.csv'

# 생성할 INSERT 쿼리문을 저장할 리스트
query_list = []

# 현재 시간을 YYYYMMDDHHMMSS 형식으로 가져오기
current_time = datetime.now().strftime('%Y%m%d%H%M%S')

# en.csv 파일 읽기
with open(csv_file, 'r', newline='', encoding='utf-8') as f:
    reader = csv.DictReader(f)

    # 각 행마다 INSERT 쿼리문 생성
    for row in reader:
        # 각 열 이름에 대응되는 데이터 추출
        LANG_CD = row['LANG_CD']
        MSG_CD = row['MSG_CD']
        MSG = row['MSG']
        MSG_EN = row['MSG_EN']
        CRT_DT = current_time  # 생성 일시
        UPDT_DT = current_time  # 업데이트 일시

        # INSERT 쿼리문 생성하여 리스트에 추가
        query = (
				    f"('{LANG_CD}', "
				    f"'{MSG_CD}', "
				    f"'{MSG.replace('\\'', '\\\\\\'')}', "
				    f"'{MSG_EN.replace('\\'', '\\\\\\'')}', "
				    f"'{CRT_DT}', "
				    f"'{UPDT_DT}')"
				)
        query_list.append(query)

# 쿼리문 리스트를 이용해 최종 INSERT 쿼리문 생성
insert_query = f"INSERT INTO cm_message (LANG_CD, MSG_CD, MSG, MSG_EN, CRT_DT, UPDT_DT) VALUES\\\\n"
insert_query += ",\\\\n".join(query_list) + ";"

# 생성된 쿼리문 출력
print(insert_query)

05. 개선된 점

csv.DictReader()로 각 행을 사전(dictionary) 형태로 읽어 열 이름을 직접 지정해 데이터에 접근할 수 있도록 했다.
현재 시간을 변수에 저장하고, 이를 이용하여 생성 일시와 업데이트 일시를 할당했다.
각 데이터 추출 부분에서 열 이름을 직접 사용하지 않고, 사전 형태로 데이터를 읽어 하드코딩을 줄일 수 있도록 변경했다.

[빅데이터분석기사] 8회 실기 합격 후기 (feat. 공부 방법)

najiwon — Tue, 16 Jul 2024 23:09:56 +0900

@gosimperson

작년 2023년 4월 빅데이터분석기사 6회 필기 합격 후

미루고 미루던 실기 시험을 치르고 합격했습니다.

배경

- 컴퓨터공학과 졸업

- 학부시절 인공지능, 머신러닝 과목 수강

- 외부 빅데이터 교육 이수

- 빅데이터 분석 공모전 (pandas 사용 경험)

- 정보처리기사

- SQLD

공부 스케줄

6/3부터 3주 공부하려고 했는데 역시 회사 다니면서 공부하는 건 쉽지가 않았다... ^^

시험 1주일 전부터 빡공 했다. 집에선 집중이 잘 안 돼서 퇴근하고 맨날 카페 가서 새벽까지 공부하고 귀가했다...

시험 2주 전 주말에는 작업형 1 공부

시험 1주 전 주말에 작업형 2 공부

월화는 작업형 3 공부,

수, 목, 금은 2회~6회 기출문제를 풀면서 공부했다.

시험 전 금요일은 기출 5, 6회 풀고 작업형 3 유형 총정리 했다.

공부 방법

회사에서 인프런 강의를 한 달에 1개씩 지원해 줘서 [퇴근 후딴짓] 빅데이터 분석기사 실기 강의를 들으면서 공부했다.

(추천합니다!!! )

https://inf.run/PoyjH

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3) 강의 | 퇴근후딴짓 - 인프런

퇴근후딴짓 | 비전공자, 입문자가 빅데이터 분석기사 실기를 빠르게 취득할 수 있도록 안내해드려요! 꼭 필요한 파이썬, 판다스, 머신러닝을 다루고 있어요!, ❤️공지❤️ 7회 기출 유형 업데이

www.inflearn.com

작업형 2 -> 작업형 1 -> 작업형 3 순으로 공부하려고 했지만

작업형 1 -> 작업형 2 -> 작업형 3 -> 기출풀이(2~6회)로 진행했다.

출퇴근길에는 작업형 1 강의를 듣는 게 적당한 것 같아서 작업형 1부터 공부했다.

pandas를 다뤄본 경험이 있어서 작업형 1은 코랩에서 실습하면서 쉽게 공부할 수 있었다.

작업형 1은 여러 문제를 풀어보는면서 어떤 메서드를 써야 하는지 익히는 게 제일 좋은 방법 같다.

직접 파라미터 튜닝하고 모델을 돌려본 경험은 별로 없어서

작업형 2가 살짝 까다로웠는데 어느 정도 작업하는 템플릿이 있어서 그 순서대로 계속 실습을 반복했다.

1. 데이터 import

2. EDA

3. 전처리 및 Feature Enginnering

4. train, test 나누기

5. 모델 선택, 학습, 예측

6. 평가

7. 결과 파일 제출

# 1. 데이터 불러오기
import pandas as pd
train = pd.read_csv('train.csv')
test = pd.read_csv('test.csv')

print(train.shape, test.shape)

# 2. EDA
# print(train.isnull().sum())
# print(test.isnull().sum())

# print(train.info()) # float64(2), int64(4), object(3)
# print(test.info()) # float64(2), int64(3), object(3)

# print(train.head())
# print(test.head())

# print(train.describe(include='O'))

cols = train.select_dtypes(include='O').columns

# print(cols)

# print(train['model'].value_counts())

# for col in cols:
#     print(set(train[col]))
#     print(set(test[col]))
#     print(set(train[col]) - set(test[col]))
#     print(set(test[col]) - set(train[col]))


# 3. 전처리 FE
target = train.pop('price')

# object 삭제
# train = train.drop(cols, axis=1)
# test = test.drop(cols, axis=1)

# 원핫
# train = pd.get_dummies(train)
# test = pd.get_dummies(test)

# label
from sklearn.preprocessing import LabelEncoder

for col in cols:
    le = LabelEncoder()
    train[col] = le.fit_transform(train[col])
    test[col] = le.transform(test[col])

print(train.shape, test.shape)
print(train.head())

# 4. train, test split
from sklearn.model_selection import train_test_split

X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size=0.2, random_state=123)
print(X_tr.shape, X_val.shape, y_tr.shape, y_val.shape)

# 5. 모델 선택 학습 예측
from sklearn.ensemble import RandomForestRegressor

model = RandomForestRegressor()
model.fit(X_tr, y_tr)
pred = model.predict(X_val)

# 6. 평가
from sklearn.metrics import mean_squared_error
import numpy as np

def rmse(y, pred):
    return np.sqrt(mean_squared_error(y, pred))

print(rmse(y_val, pred))

# base line 1475.1455911498017
# 원핫 1354.8502422515874
# label 1329.841635858263

# 7. test 예측 후 결과 제출
pred = model.predict(test)
submit = pd.DataFrame({
    'pred': pred
})

submit.to_csv('result.csv', index=False)

print(rmse(pd.read_csv('y.csv'), pd.read_csv('result.csv')))

작업형 3이 공부하는데 제일 까다로웠다. 가설검정, 범주형 데이터 분석, 회귀 분석, 분산 분석에 대한 내용이었는데,

우선 개념이 익숙하지 않았고 어떤 상황에서 사용하는지 왜 사용하는지 이해하는데 시간이 좀 걸렸다.

강의를 여러 번 듣고 이해가 가지 않으면 구글링 해서 여러 가지 예시 상황을 보면서 이해할 수 있도록 했다.

시험 전 날에는 빈 종이에 그동안 공부한 걸 다 적으면서 이해하고 암기했다.

그리고 시험 보기 전에 꼭 시험 환경에 공식 예시 문제를 풀어보는 걸 추천합니다.!!!

help(), dir() 함수 꼭 공부하고 실습하면서 사용해 볼 것 추천!!

8회 시험 후기

작업형 1

처음 문제를 풀었을 때 이해를 잘못해서 잘못 풀었는데

시험 시간이 남아서 문제를 다시 읽어보고 제대로 이해하고 다시 풀어서 맞을 수 있었다.

꼭 다시 문제를 읽고 확인해 보는 것을 추천한다.

작업형 2

회귀 문제였는데, 결측치는 없었다. 수치형 데이터는 따로 처리해주지 않고, 범주형 데이터는 원핫인코딩 해줬다.

RandomForestRegressor로 돌렸을 때 성능이 제일 좋아서 모델은 랜덤포레스트로 했다.

평가 지표는 소수점으로 나왔는데 따로 정수처리 하지 않고 답안을 제출했다. -> 40점 받음

모델을 학습할 때, train, validation 데이터로 나누는데 그거로 예측한 결과로 제출하면 절대 안 된다.

제출 전 꼭 문제에서 제공하는 test 데이터로 예측한 결과인지 확인하도록 하자.

작업형 3

큰 문제 2개에 각 소문제가 3개씩 있는 형태로 문제가 구성되어 있었다.

공식 예시 문제에 나와 있는 문제와 비슷한 문제가 나왔다.

회귀, 로지스틱회귀 분석을 하고 model.summary()에서 답을 찾을 수 있는 문제, 오즈비 구하는 문제가 나왔다.

총평

파이썬으로 데이터 분석 경험이 있어서 10일 정도(?)로 충분했던 것 같다. 평일에 퇴근하고 새벽까지 공부하느라 힘들긴 했다. 작업형 3은 어떤 문제가 나올지 잘 모르기 때문에 작업형 1, 2는 확실하게 공부해서 만점 받을 수 있게 준비하는 게 좋을 것 같다. 비전공자들은 무작정 암기하는 게 아니라 어느 정도 개념을 이해하고 실습을 진행한다면 충분히 합격할 수 있을 난이도 같습니다 :-)

빅데이터분석기사 준비하시는 분들 모두 파이팅입니다.

[빅데이터분석기사] 6회 필기 합격 후기

najiwon — Mon, 15 Jul 2024 23:25:01 +0900

대학교 4학년 때 빅데이터 수업을 들으면서 데이터를 다루는 것이 재미있었다. 대외활동으로 분석 공모전을 진행하면서 분석에 활용할 수 있도록 데이터를 수집하고 가공하는 일에 흥미를 가지게 되었다.

현재는 어찌어찌 취업을 해서 웹 개발 업무를 하고 있지만 언젠가는 데이터 엔지니어가 되고 싶다는 목표가 있다. 그래서 빅데이터 분석 기사를 공부해 볼까 하는 생각이 들었다. (빅데이터 공모전 했던 거 + 공빅데 하면서 공부했던 것도 그냥 넘겨버리기 아쉬워서 ㅎㅎ ,,, + 기사 자격증 하나 더 따고 싶은 마음)

내가 과연 지금 자격증 공부를 하는 게 맞나?라는 고민을 계속했지만 지금 와서 보면 그냥 애매하게 시간을 보내는 것보단 훨씬 나은 선택이었다고 생각한다. 고민할 시간에 뭐라도 하자..!

회사를 다니고 있었기 때문에

퇴근 후 공부 + 주말 공부라는 계획을 세웠지만 ,,,

월수금은 수영, 전화영어를 했고

주말에는 병원을 갔었어야 해서 공부하는 것이 쉽지 않았다 ^^

인터넷에 정리된 자료들을 보고 공부하려고 했는데, 뭔가 불안한 마음이 들어서 당근 마켓에서 중고로 책을 샀다.

2023년 책이 있길래 바로 구매했다.

컴퓨터공학을 전공하고 4학년 때 빅데이터, 인공지능, 머신러닝 수업을 듣긴 했지만 몇 년 전이라 생각이 잘 나지 않고 ,,,

통계학 지식이라고는 공빅데 하면서 공부해 본 것이 다였다.

필기는 2과목과 3과목이 어렵다는 후기를 보고

1, 4과목 먼저 후다닥 끝내고 2,3과목 봐야지 했지만 ,,, 1과목 분량이 너무 많아서 보다가 지쳐버렸다.

너무 지루 ,,, 그냥 한번 슥 읽는데 머리에 하나도 안 남아서 결국엔 빈 종이에 적으면서 공부했다.

(모두가 알겠지만 팁이라고 한다면 ,, 집중이 안 될 때는 손으로 쓰면서 공부하면 잘 된다.)

주말에는 병원에서 공부했다.

책 맨 뒤에 모의고사 풀면서 공부하자 해서 1회 모의고사를 풀고 답지에 있는 풀이를 보면서 공부했다. 이해가 안 가는 풀이는 유튜브에 이기적 모의고사 풀이가 있길래 그걸 보면서 모르는 개념이 나오면 추가로 정리했다.

https://youtu.be/NWOy0SNzLaI?si=VrptUo5weIMEF09g

그리고 출퇴근 시간에 버스나 전철에서 보내는 시간이 아까워서 검색해 봤더니 유튜브에 강의가 있길래 이걸 보면서 출퇴근했다. 채널은 epass

솔직히 공부를 너무 안 했다는 생각이 들어서 시험 취소도 생각했는데, 시험이라도 있어야 책을 한 번이라도 더 본다는 아부지의 말을 듣고 ,,, 취소 안 했다.

시험 전 날인 4/8에는 그냥 1회 모의고사 푼 거 다시 풀어보기 + 2회 모의고사 풀고 잘 모르겠는 개념을 정리했다. 그리고 시험날 아침에 가면서 보려고 A4 용지 두 장에 간단하게 정리했다.

시험은 운이 좋았던 것 같다. 생각보다 내가 공부했던 부분에서 문제가 나왔고, 오답인 것 같은 보기 들이 눈에 보였다.

1, 2, 4과목은 어느 정도 술술 풀렸는데 3과목에서 고민을 좀 많이 했다,,, 계산하는 문제들과 수식들이 나와서 ㅎㅎ..

시험이 끝나고 오픈 카톡 방에 들어가 후기를 들어보니 책에 없는 개념들도 많이 나온 모양이었다. 시험이 끝나고 사람들이 카페에 복기를 해놔서 대충 기억나는 대로 채점을 해봤는데 3과목에서 과락을 당할 것만 같았다 ^^,,

그래서 운이 좋으면 과락 안 당하고 간당간당하게 합격하겠다 했는데,, 기출 빈도가 있는 개념들은 확실히 잡고 넘어간 것이 어느 정도 도움이 된 것 같다. (3v, 혼동행렬 같은 것들..) 대학생 때 들은 수업도 도움이 된 듯? 문제를 보니 조금씩 기억이 났다.

얃호

[React] react-datepicker 달력 외부 클릭시 이벤트 전달 막는 방법

najiwon — Sat, 13 Jul 2024 15:10:46 +0900

01. 문제

2일동안 찾아보던 버그…

회사 프로젝트에서 react-datepicker를 사용해서 달력을 만들었다. 그런데 달력을 닫으려고 배경을 클릭했을 때, 달력이 닫히고 이벤트가 종료되어야 하는데. 클릭한 위치에 버튼이나 어떤 이벤트가 달린 컴포넌트가 있으면 그 이벤트가 실행되었다.

리액트 강의를 들으며 실습하고 있던 프로젝트를 연습장 삼아 달력을 다시 만들어봤다. 달력 외부에 주문하기 버튼을 클릭했을 때 버튼 이벤트가 발생하였다.

ProductItem에 있는 버튼 이벤트가 실행되는 것을 로그를 통해 확인할 수 있었다.

02. 해결과정

DatePicker에 있는 onClickOutside에 버블링을 중단하는 코드를 넣어줬다. -> (X) 해결되지 않음

    <CalendarWrapper>
      {/* {isOpen && <Overlay id="wldnjs" onClick={handleOverlayClick} />} */}
      <DatePicker
        selected={startDate}
        onChange={(date) => {
          console.log("111");
          setStartDate(date);
          setIsOpen(false);
        }}
        onCalendarOpen={() => {
          console.log("222");
        }}
        onCalendarClose={() => {
          console.log("333");
          setIsOpen(false);
        }}
        onClickOutside={(e) => {
          console.log("444");
          e.stopPropagation();
        }}
        withPortal
      />
    </CalendarWrapper>

DOM요소에 직접 접근하여 CalendarWrapper 내부에 event.target이 포함되어 있지 않는 경우 event.stopPropagation(); 으로 버블링을 중단하는 코드를 넣어줬다. -> (X) 해결되지 않음

  const calendarRef = useRef(null);
  
  useEffect(() => {
    const handleClickOutside = (event) => {
      console.log("handleClickOutside");
      console.log(calendarRef.current);
      console.log(event.target);

      if (calendarRef.current && !calendarRef.current.contains(event.target)) {
        console.log(calendarRef.current.contains(event.target));
        event.stopPropagation();
        event.preventDefault();
        setIsOpen(false);
      }
    };

    document.addEventListener("mousedown", handleClickOutside);
    return () => {
      document.removeEventListener("mousedown", handleClickOutside);
    };
  }, [calendarRef]);
  
    <CalendarWrapper ref={calendarRef}>
      <DatePicker
        selected={startDate}
        onChange={(date) => {
          console.log("111");
          setStartDate(date);
          setIsOpen(false);
        }}
        onCalendarOpen={() => {
          console.log("222");
        }}
        onCalendarClose={() => {
          console.log("333");
          setIsOpen(false);
        }}
        onClickOutside={(e) => {
          console.log("444");
        }}
        withPortal
      />
    </CalendarWrapper>

03. 해결

react-datepicker 깃 레포지토리에서 한번 코드를 보면서 원인을 찾아보기로 했다.

Issues 탭이 있길래 이런 문제가 나만 발생하는건가 싶어서 검색을 해봤더니 같은 문제에 대한 내용이 올라와 있었다. !!

https://github.com/Hacker0x01/react-datepicker/issues/2524

여기에 해결 방법이 있었다. !!! 엉엉 감사합니다..

document.addEventListener("touchstart", handelTouchStart, true);로 touchstart 이벤트가 발생할 경우e.stopPropagation();으로 이벤트 버블링을 중단할 수 있도록 했다.

달력이 닫히면 이벤트 리스너를 제거한다. 달력을 닫을 때 리스너가 제거되지 않아 원치 않는 문제가 발생할 수 있기 때문이다. 다시 렌더링할 때 함수를 재정의하는 것을 방지하기 위해 removeEventListener로 이벤트리스너를 제거해줬다.

const Calendar = () => {
  const [startDate, setStartDate] = useState(new Date());

  const handelTouchStart = useCallback((e) => e.stopPropagation(), []);

  const hadleCalendarOpen = () => {
    console.log("open");
    document.addEventListener("touchstart", handelTouchStart, true);
  };

  const hadleCalendarClose = () => {
    console.log("close");
    document.removeEventListener("touchstart", handelTouchStart, true);
  };

  return (
    <CalendarWrapper>
      <DatePicker
        selected={startDate}
        onChange={(date) => {
          setStartDate(date);
        }}
        onCalendarOpen={hadleCalendarOpen}
        onCalendarClose={hadleCalendarClose}
        withPortal
      />
    </CalendarWrapper>
  );
};

더이상 버튼 이벤트가 발생하지 않는 것을 확인할 수 있다. !!

[React] Module parse failed: Unexpected character

najiwon — Sat, 13 Jul 2024 14:57:11 +0900

01. 오류

react-datepicker 라이브러리를 설치하고 화면에서 사용하려고 하니 아래와 같은 오류가 발생했다.

ERROR in ../node_modules/react-datepicker/dist/react-datepicker.css 1:0
Module parse failed: Unexpected character '@' (1:0)
You may need an appropriate loader to handle this file type, currently no loaders are configured to process this file. See https://webpack.js.org/concepts#loaders
> @charset "UTF-8";
| .react-datepicker__year-read-view--down-arrow,
| .react-datepicker__month-read-view--down-arrow,
 @ ./src/components/DatePicker1.jsx 3:0-52
 @ ./src/pages/ProductPage/index.jsx 6:0-55 31:28-39
 @ ./src/App.jsx 1:0-46 3:36-47
 @ ./src/main.js 3:0-24 12:31-34

webpack 5.88.1 compiled with 1 error in 183 ms

해당 오류는 Webpack이 CSS 파일을 처리할 적절한 로더를 찾지 못했기 때문에 발생한고한다. React 프로젝트에서 CSS 파일을 로드하고 사용할 수 있도록 CSS 로더를 설정해야 한다.

02. 필요한 패키지 설치

먼저, 필요한 로더 패키지들을 설치해야 한다. style-loader와 css-loader를 설치하자.

npm install style-loader css-loader

package.json에 style-loader와 css-loader 추가된 것을 확인할 수 있다.

  "dependencies": {
    "css-loader": "^7.1.2",
    "moment": "^2.30.1",
    "react-datepicker": "^7.0.0",
    "style-loader": "^4.0.0"
  }

03. Webpack 설정 파일 수정

Webpack 설정 파일(webpack.config.js)을 수정하여 CSS 로더를 추가해야 한다.

이 설정은 .sassm, .css 확장자로 끝나는 파일을 처리하기 위해 style-loader와 css-loader를 사용하도록 Webpack에 지시한다.

webpack.config.js

module: {
    rules: [
      {
        test: /\.(js|jsx)$/,
        exclude: /node_modules/,
        use: {
          loader: "babel-loader",
        },
      },
      {
        test: /\.(sass|css)$/,
        use: ["style-loader", "css-loader"],
      },
    ],
  },

04. CSS 파일 import

Webpack 설정을 마친 후, React 컴포넌트에서 CSS 파일을 import할 수 있다.

import 'react-datepicker/dist/react-datepicker.css';

이제 CSS 로더를 설정하고, CSS 파일을 import하여 스타일을 적용할 수 있다. Webpack 설정 파일에 로더를 추가하고, 필요한 패키지를 설치한 후, React 컴포넌트에서 CSS 파일을 import하면 된다.

[Python] 공공데이터포털 OpenAPI 호출 에러 SSLError: HTTPSConnectionPool(host='apis.data.go.kr', port=443)

najiwon — Sat, 6 Jul 2024 18:00:38 +0900

공공데이터포털에서 한국장애인고용공단 장애인 구인 실시간 현황 api를 호출해 데이터를 가져오는 과정에서 오류가 발생했다.

공공데이터 포털에서 api를 호출했을 때는 성공적으로 호출했다.

import requests
import pprint
import json

PAGE_NO = '1'
NUM_OF_ROWS= '1000'
API_KEY = '' # Decoding 인증키

url = 'https://apis.data.go.kr/B552583/job/job_list_env'

params = {
    'serviceKey': API_KEY,
    'pageNo': PAGE_NO,
    'numOfRows': NUM_OF_ROWS
}
response = requests.get(url, params=params)
contents = response.text

pprint.pprint(contents)

직접 주피터노트북에서 호출하려고 하니 계속 아래와 같은 오류가 났다.

SSLError: HTTPSConnectionPool(host='apis.data.go.kr', port=443)

에러 메세지

---------------------------------------------------------------------------
SSLError                                  Traceback (most recent call last)
/usr/local/lib/python3.10/dist-packages/urllib3/connectionpool.py in _make_request(self, conn, method, url, body, headers, retries, timeout, chunked, response_conn, preload_content, decode_content, enforce_content_length)
    467             try:
--> 468                 self._validate_conn(conn)
    469             except (SocketTimeout, BaseSSLError) as e:

18 frames
SSLError: [SSL: SSLV3_ALERT_ILLEGAL_PARAMETER] sslv3 alert illegal parameter (_ssl.c:1007)

During handling of the above exception, another exception occurred:

SSLError                                  Traceback (most recent call last)
SSLError: [SSL: SSLV3_ALERT_ILLEGAL_PARAMETER] sslv3 alert illegal parameter (_ssl.c:1007)

The above exception was the direct cause of the following exception:

MaxRetryError                             Traceback (most recent call last)
MaxRetryError: HTTPSConnectionPool(host='apis.data.go.kr', port=443): Max retries exceeded with url: /B552583/job/job_list_env?serviceKey= xx &pageNo=1&numOfRows=1000 (Caused by SSLError(SSLError(1, '[SSL: SSLV3_ALERT_ILLEGAL_PARAMETER] sslv3 alert illegal parameter (_ssl.c:1007)')))

During handling of the above exception, another exception occurred:

SSLError                                  Traceback (most recent call last)
/usr/local/lib/python3.10/dist-packages/requests/adapters.py in send(self, request, stream, timeout, verify, cert, proxies)
    515             if isinstance(e.reason, _SSLError):
    516                 # This branch is for urllib3 v1.22 and later.
--> 517                 raise SSLError(e, request=request)
    518 
    519             raise ConnectionError(e, request=request)

SSLError: HTTPSConnectionPool(host='apis.data.go.kr', port=443): Max retries exceeded with url: /B552583/job/job_list_env?serviceKey= xx &pageNo=1&numOfRows=1000 (Caused by SSLError(SSLError(1, '[SSL: SSLV3_ALERT_ILLEGAL_PARAMETER] sslv3 alert illegal parameter (_ssl.c:1007)')))

https에서 s를 빼고 http로 호출하니 성공적으로 실행되었다.

url = 'http://apis.data.go.kr/B552583/job/job_list_env'

[백준/Python] 12865: 평범한 배낭

najiwon — Thu, 4 Jul 2024 00:16:55 +0900

문제

이 문제는 아주 평범한 배낭에 관한 문제이다.

한 달 후면 국가의 부름을 받게 되는 준서는 여행을 가려고 한다. 세상과의 단절을 슬퍼하며 최대한 즐기기 위한 여행이기 때문에, 가지고 다닐 배낭 또한 최대한 가치 있게 싸려고 한다.

준서가 여행에 필요하다고 생각하는 N개의 물건이 있다. 각 물건은 무게 W와 가치 V를 가지는데, 해당 물건을 배낭에 넣어서 가면 준서가 V만큼 즐길 수 있다. 아직 행군을 해본 적이 없는 준서는 최대 K만큼의 무게만을 넣을 수 있는 배낭만 들고 다닐 수 있다. 준서가 최대한 즐거운 여행을 하기 위해 배낭에 넣을 수 있는 물건들의 가치의 최댓값을 알려주자.

입력

첫 줄에 물품의 수 N(1 ≤ N ≤ 100)과 준서가 버틸 수 있는 무게 K(1 ≤ K ≤ 100,000)가 주어진다. 두 번째 줄부터 N개의 줄에 거쳐 각 물건의 무게 W(1 ≤ W ≤ 100,000)와 해당 물건의 가치 V(0 ≤ V ≤ 1,000)가 주어진다.

입력으로 주어지는 모든 수는 정수이다.

출력

한 줄에 배낭에 넣을 수 있는 물건들의 가치합의 최댓값을 출력한다.

예제 입력 1

예제 출력 1

풀이

import sys 

n, k = map(int, sys.stdin.readline().split())

dy = [ 0 for _ in range(k+1)]
weight_sum = 0

for _ in range(n):
  w, v =  map(int, sys.stdin.readline().split())
  
  for i in range(k, w-1, -1):
    dy[i] = max(dy[i], dy[i-w] + v)
    # print(dy)
      
print(dy[k])

# 4 7
# 6 13
# 4 8
# 3 6
# 5 12

Dynamic programming 동적계획법

[Python] googletrans를 사용하여 번역 프로그램 만들기 (1)

najiwon — Wed, 3 Jul 2024 01:24:20 +0900

사용 라이브러리
- pandas
- googletrans

모바일 화면에서 사용하는 한국어 메세지를 영어로 번역하여 등록해야하는 업무를 맡게 되었다.

메세지는 약 300개 정도로 하나씩 번역하기에는 시간도 오래 걸릴것 같고 번거로운 작업이라는 생각이 들었다.

pandas와 googletrans 라이브러리를 사용하여 csv 파일을 읽고

한국어를 영문으로 번역하여 다시 csv로 저장하는 프로그램을 만들어 보았다.

01. googletrans란?

googletrans는 Google 번역 API를 사용하여 여러 언어 간의 번역을 제공하는 파이썬 라이브러리이다. 이를 통해 쉽게 텍스트를 다양한 언어로 번역할 수 있다. googletrans는 간단한 번역 작업에 유용하며, 다양한 프로젝트에서 손쉽게 다국어 지원을 구현할 수 있게 돕는다.

주요기능은 다음과 같다.

언어 감지: 입력된 텍스트의 언어를 자동으로 감지한다.
번역: 텍스트를 원하는 언어로 번역한다.
지원 언어 목록: Google 번역에서 지원하는 언어 목록을 제공한다.

주의 사항

Google 번역 API의 변경 사항에 따라 googletrans의 동작이 영향을 받을 수 있다.
무료로 사용할 수 있지만, API 요청에 대한 제한이 있을 수 있다.

02. 라이브러리 설치

먼저, pandas와 googletrans 라이브러리를 설치해야 한다.

pip install pandas googletrans==4.0.0-rc1

03. CSV 파일 읽기, 번역, 저장하기

DBeaver의 조회한 메세지를 추출한 .csv 파일을 읽고 한국어 메시지를 영어로 번역한 후 .csv 파일로 저장한다.

import pandas as pd
from googletrans import Translator

# CSV 파일 읽기
df = pd.read_csv('ko.csv', encoding='euc-kr')

print(df.head())

# 번역기 초기화
translator = Translator()

# 번역 함수
def translate_text(text):
    try:
        translated = translator.translate(text, src='ko', dest='en')
        return translated.text
    except Exception as e:
        print(f"Error translating {text}: {e}")
        return text

# MSG 컬럼을 번역
df['MSG_EN'] = df['MSG'].apply(translate_text)

print(df.head())

# 결과를 새로운 CSV 파일로 저장
df.to_csv('en.csv', index=False)

print("Translation complete. Saved to en.csv")

CSV 파일 읽기: pandas 라이브러리를 사용하여 ko.csv 파일을 데이터프레임으로 읽는다.
번역기 초기화: googletrans 라이브러리에서 Translator 객체를 생성한다.
번역 함수 정의: 텍스트를 번역하는 함수를 정의한다. 이 함수는 주어진 한국어 텍스트를 영어로 번역한다. 번역 중 오류가 발생할 경우, 원래 텍스트를 반환한다.
MSG 컬럼 번역: apply 메서드를 사용하여 데이터프레임의 MSG 컬럼의 각 텍스트를 번역한다.
결과를 새로운 CSV 파일로 저장: 번역된 데이터프레임을 en.csv 파일로 저장한다.

한국어 메시지를 영어로 번역하고, 번역된 결과를 en.csv 파일로 저장한다.

try-except 구믄으로 번역 과정에서 발생할 수 있는 예외를 처리하여 안정성을 높였다.

04. crt_dt, updt_dt 에 현재 yyyymmddHHmmss 형식으로 현재 일시 넣기

번역된 시점을 기록하기 위해 crt_dt, updt_dt 컬럼을 추가하여 현재 날짜 및 시간을 YYYYMMDDHHMMSS 형식으로 삽입해보자.

datetime 모듈을 사용하여 현재 날짜 및 시간을 얻고, 이를 원하는 형식으로 변환해야 한다.

업데이트된 코드

import pandas as pd
from googletrans import Translator
from datetime import datetime

# CSV 파일 읽기
df = pd.read_csv('ko.csv')

# 번역기 초기화
translator = Translator()

# 현재 날짜와 시간 얻기 (YYYYMMDDHHMMSS 형식)
def get_current_datetime():
    return datetime.now().strftime('%Y%m%d%H%M%S')

# 번역 함수
def translate_text(text):
    try:
        translated = translator.translate(text, src='ko', dest='en')
        return translated.text
    except Exception as e:
        print(f"Error translating {text}: {e}")
        return text

# MSG 컬럼을 번역
df['MSG'] = df['MSG'].apply(translate_text)

# crt_dt와 updt_dt 컬럼에 현재 날짜와 시간 설정
current_datetime = get_current_datetime()
df['crt_dt'] = current_datetime
df['updt_dt'] = current_datetime

# 결과를 새로운 CSV 파일로 저장
df.to_csv('en.csv', index=False)

print("Translation complete. Saved to en.csv")

현재 날짜와 시간 함수 정의: 현재 날짜와 시간을 YYYYMMDDHHMMSS 형식으로 얻기 위해 get_current_datetime 함수를 정의한다.
현재 날짜와 시간 변수 생성: get_current_datetime 함수를 호출하여 현재 날짜와 시간을 가져온다.
crt_dt와 updt_dt 컬럼 설정: 번역된 데이터프레임에 crt_dt와 updt_dt 컬럼을 추가하고, 현재 날짜와 시간으로 설정한다.
CSV 파일로 저장: 변환된 데이터프레임을 en.csv 파일로 저장한다.

각 행에 현재 날짜와 시간을 crt_dt와 updt_dt 컬럼에 추가하여 YYYYMMDDHHMMSS 형식으로 삽입함으로써 데이터의 생성 및 업데이트 시점을 기록할 수 있다.

[Git] git stash 현재 작업 임시 저장하기

najiwon — Wed, 3 Jul 2024 01:05:04 +0900

특정 브랜치에서 작업을 하던 중 다른 요청으로 하던 작업을 멈추고 다른 브랜치로 변경해야 하는 상황이 왔다.

그냥 변경하려고 하니 오류가 발생하였다.

error: Your local changes to the following files would be overwritten by checkout:
				...
Please commit your changes or stash them before you switch branches.
Aborting

아직 마무리하지 않은 작업을 스택에 잠시 저장할 수 있도록 하는 명령어인 git stash를 사용하여 해결할 수 있었다.

git stash를 사용하여 아직 완료하지 않은 일을 commit 하지 않고 나중에 다시 꺼내와 마무리할 수 있다.

01. git stash란?

Git에서 git stash는 현재 작업 중인 변경 사항을 임시로 저장해 두고, 작업 디렉터리를 깨끗하게 비울 수 있게 하는 명령어이다.

이후에 저장해 둔 변경 사항을 다시 적용할 수 있다. 주로 브랜치를 변경하거나 긴급한 버그 수정을 해야 할 때 유용하다.

git stash 명령을 사용하면 워킹 디렉토리에서 수정한 파일들만 저장한다.
stash란 아래에 해당하는 파일들을 보관해두는 장소이다.
- Modified이면서 Tracked 상태인 파일
  - Tracked 상태인 파일을 수정한 경우
  - Tracked: 과거에 이미 commit하여 스냅샷에 넣어진 관리 대상 상태의 파일
- Staging Area에 있는 파일(Staged 상태의 파일)
  - git add 명령을 실행한 경우
  - Staged 상태로 만들려면 git add 명령을 실행해야 한다.
  - git add는 파일을 새로 추적할 때도 사용하고 수정한 파일을 Staged 상태로 만들 때도 사용한다.

02. 주요 명령어

변경 사항 임시 저장

git stash

저장된 변경 사항 목록 확인

git stash list

저장된 변경 사항 적용

git stash apply

저장된 특정 변경 사항 적용

git stash apply stash@{index}

저장된 변경 사항 삭제

git stash drop

저장과 동시에 브랜치 전환

git stash push -m "작업 설명"
git checkout 다른_브랜치

저장된 변경 사항 적용 후 삭제

git stash pop

03. git stash 사용

stash로 특정 파일만 임시저장후에 stash 목록 보기

git stash push -m "description" 경로

ex) git stash push -m "두개 파일 임시 저장" /src/one.tsx  /src/two.tsx
ex) git stash push -m "src 하위 파일 한번에 저장하기" /src/*

git stash list

stash 적용하기(이전에 했던 작업을 다시 가져오기)

// 가장 최근의 stash를 가져와 적용한다.
$ git stash apply

// stash 이름(ex. stash@{2})에 해당하는 stash를 적용한다.
$ git stash apply [stash 이름]

위의 명령어를 통해 했던 이전에 저장했던 작업을 다시 가져온다.

수정했던 파일들을 복원할 때 반드시 stash 했을 때와 같은 브랜치일 필요는 없다.

만약 다른 작업 중이던 브랜치에 이전의 작업들을 추가했을 때 충돌이 있으면 알려준다.

stash 제거하기

apply 옵션은 단순히 stash를 적용하는 것으로, 해당 stash는 스택에 여전히 남아있다.

스택에 남아 있는 stash는 아래 명령어을 사용 하여 제거할 수 있다.

// 가장 최근의 stash를 제거한다.
$ git stash drop

// stash 이름(ex. stash@{2})에 해당하는 stash를 제거한다.
$ git stash drop [stash 이름]

stash 되돌리기

실수로 잘못 stash 적용한 것을 되돌리고 싶으면 위의 명령어를 이용한다.

// 가장 최근의 stash를 사용하여 패치를 만들고 그것을 거꾸로 적용한다.
$ git stash show -p | git apply -R

// stash 이름(ex. stash@{2})에 해당하는 stash를 이용하여 거꾸로 적용한다.
$ git stash show -p [stash 이름] | git apply -R

TIP. alias

alias로 편리하게 사용하자. stash-unapply라는 명령어를 등록하여 간단하게 사용할 수 있다.

$ git config --global alias.stash-unapply '!git stash show -p | git apply -R'
$ git stash apply
$ #... work work work

// alias로 등록한 stash 되돌리기 명령어
$ git stash-unapply

04. vscode ui로 사용하기

우측 source control 탭으로 이동하여 ... 버튼을 눌러준다. stash 메뉴에서 원하는 메뉴를 선택하면 된다.

stage에 올라간 변경사항을 stash 해보자.

view stash 메뉴를 클릭하면 아래와 같이 저장해둔 변경 사항을 확인할 수 있다.

적용과 동시에 스택에서 해당 stash를 제거하기 위해 pop stash 메뉴를 사용해 보자

pop 할 stash 목록을 선택한다.

이전에 저장해 둔 작업 사항을 다시 가지고 나온 것을 확인할 수 있다.