Python 에서 비동기 작업 coroutine 들을 배치하고 수행하기 위한 방법을 알아보자. httpx 와 psycopg 라이브러리를 이용하여 실험했다. 0. 라이브러리 설치 $ pip install "httpx" $ pip install "psycopg[binary]" 1. asycnio 실험 설계 참고: Python asyncio...

Python 에서 Postgresql 를 다루기 위한 psycopg 라이브러리에 대해 공부해보자. Sync, Async 및 fastapi 에서의 사용 방법을 다룬다. 0. psycopg3 설치 $ pip install "psycopg[binary]" $ pip install "psycopg[binary,pool]" # psycopg_po...

Postgresql 에서 한글 검색을 위한 encode, collate, ctype 설정 및 gin 인덱스 설정에 대해 알아보자. 1. PostgreSQL DB 실험 환경 설정 1) 테이블스페이스 생성 (옵션) 외장 SSD 드라이브를 설치하고, 테이블스페이스를 생성하여 사용함 슈퍼유저로 테이블스페이스 생성 # 슈퍼 유저만 생성 ...

OpenAI 의 GPT-3.5 turbo 활용 방법을 공부합니다. 음성 파일에서 스크립트를 추출하는 방법도 살펴봅니다. 1. OpenAI 1) Models GPT-3 모델 Davinci 가장 다재다능한 모델이며 다른 모델이 할 수 있는 모든 작업을 수행할 수 있으며 종종 더 적은 명령으로 훨씬 더 많은 작업을 수행할 수 있습니다...

개체명을 가중치로 이용하여 검색 서비스의 성능을 향상시킬 수 있습니다. 이를 위해 한국어 개체명 인식에 대해 공부합니다. 1. 형태소 분석기 macab 설치 허깅페이스의 수많은 모델들을 살피기에 앞서 베이스 모델로 mecab 를 사용하고자 합니다. mecab 도 패턴 매칭으로 품사를 분류하고, 사용자 사전을 통해 단어와 태그를 추가할 수 있...

형태소 분석기를 이용하여 검색 서비스의 성능을 향상시킬 수 있습니다. 이를 위해 elasticsearch 의 nori 플러그인과 mecab-ko 형태소 분석기에 대해 공부합니다. Elasticsearch 작업하기 - 1일차 : es, kibana 설치 Elasticsearch 작업하기 - 2일차 : nori plugin, mecab-...

스크래핑은 데이터를 가져오는 행위를 말하고, 크롤링은 페이지 내의 링크를 수집하는 것을 말합니다. 본 글에서는 Scrapy 의 크롤링 모드를 사용해봅니다. Scrapy, Playwright 공부하기 - 1일차 : Scrapy, Playwright Scrapy, Playwright 공부하기 - 2일차 : CrawlSpider   ✔ ...

NoSQL DB 이면서 검색엔진인 Elasticsearch 8 설정의 작업 과정을 기록합니다. Elasticsearch 작업하기 - 1일차 : es, kibana 설치   ✔ Elasticsearch 작업하기 - 2일차 : nori plugin, mecab-co 설치 1. Elasticsearch 개요 1) 라이센스 오픈...

AWS Lightsail 에서 Amazon Linux 2 를 선택하고 초기 설정 작업들을 기록합니다. 관련 포스트 AWS Lightsail 에서 Amazon Linux 2 설정하기 1. Python 3.10 설치 참고 : How To Install Python 3.10 on Amazon Linux 2 참고 사항 기존 opens...

Microsoft 에서 만든 Playwright 를 사용하여 웹 스크래핑 방법을 공부합니다. Scrapy 와 연동하거나 단독으로 사용할 수 있습니다. Scrapy, Playwright 공부하기 - 1일차 : Scrapy, Playwright   ✔ Scrapy, Playwright 공부하기 - 2일차 : CrawlSpider 1....