그래프 기반 지식그래프 R&D 과제 수행을 위해 지식그래프에 대한 개념부터 조사를 했습니다. 1부 지식그래프란?   ✔ 2부 AgensKG 지식그래프 소개 3부 AgensKG 지식그래프 생성하기 4부 AgensKG 지식그래프를 이용한 질의응답 지식그래프란? 지식 그래프는 개별 객체의 데이터를 나타내는 정점과 객체 ...

효과적인 그래프 분석을 위해 산만하게 형성된 의존그래프를 가지치기 하는 전처리 작업에 대해 설명합니다. 그래프 분석을 위해 뉴스 기사를 NLP 분석하여 의존그래프를 생성하였다. 전처리가 잘 된 그래프는 그래프 분석시 성능을 높이고 오류를 줄여준다. 그중 필수적인 전처리 작업으로 가지치기(pruning) 작업에 대해 소개한다. 의존그래프는 자...

Python 환경에서 그래프 분석을 하기 위해 그래프의 시각화를 제공하는 graphvis 라이브러리에 대해 공부합니다. graphviz 프로그램 graphviz는 그래프 시각화(graph visualization)를 위한 layout 계산기이다. 그래프 node 의 position 을 layout 알고리즘을 통해 출력한다. matplotli...

데이터 분석을 위한 작업 환경을 개선하려고 주피터 노트북에 PySpark 를 연동한 작업을 기록합니다. 사전 작업 spark 설치 및 pyspark shell 테스트 ipython 설치 및 jupyter notebook 실행 테스트 참고 자료 Jupyter(IPython) 에서 pyspark 사용하기 Pyspark S...

텍스트로만 8GB 이상인 대용량 파일을 전처리 하기 위해서 빠르게 읽고 쓰는 방법에 대해 공부했습니다. 대용량 파일 읽고 처리하기 뉴스 JSON 파일 news.sources 용량 8.1G 를 읽고 JSON 문자열을 Document 개체로 변환하는 작업 Type1: 일반적인 file open 이후, from_json 작업 수행 &amp...

국내 뉴스 데이터 제공을 서비스하는 빅카인즈에 대해 알아보았습니다. 역시나 연구과제용으로 쓰지 못합니다. <그림> news-api NEWS API ►link 국내에도 뉴스 데이터를 API로 제공하는 ‘빅카인즈‘라는 업체가 있긴 한데, 뉴스 저작권...

Python 기초를 다지기 위해 효과적인 파이썬이란 책을 공부 중입니다. 9장 테스트와 디버깅 파이썬은 선택적인 타입 애너테이션을 지원하며 이를 활용해 정적 분석을 수행할 수 있다. 파이썬은 컴파일 시점에 정적 타입 검사를 수행하지 않는다. 또한 컴파일 시점에 프로그램이 제대로 작동할 것이라고 확인할 수 ...

Python 기초를 다지기 위해 효과적인 파이썬이란 책을 공부 중입니다. 8장 강건성과 성능 기능을 개발한 후에는 오류가 발생해도 문제가 없도록 프로덕션화 해 코드를 방탄처리를 해야 한다 강건성(robust)에는 규모 확장성 과 성능 이라는 차원이 포함된다 65) try/except/else/finally의 각 블록을 잘 활...

Python 기초를 다지기 위해 효과적인 파이썬이란 책을 공부 중입니다. 7장 동시성과 병렬성 52) 자식 프로세스를 관리하기 위해 subprocess를 사용하라 subprocess 모듈을 사용해 자식 프로세스를 실행하고 입력과 출력 스트림을 관리할 수 있다. 자식 프로세스는 파이썬 인터프리터와 병렬로 실행되므로 CPU 코어를 ...

Python 기초를 다지기 위해 효과적인 파이썬이란 책을 공부 중입니다. 6장 메타클래스와 애트리뷰트 44) 세터와 게터 메서드 대신 평범한 애트리뷰트를 사용하라 클래스 인터페이스를 정의할 때 setter나 getter 메서드를 가급적 사용하지 말라 간단한 공개 attribute 에서 시작하자 (파이썬 다운 코드...