홈

Scrapy at a glance 보기 힘들어서 만드는 Scrapy 개발 일지 What is Scrapy Scrapy는 웹 사이트를 크롤링하고 구조화 된 데이터를 추출하기 위한 프레임워크이다. 데이터 마이닝, 정보 처리 또는 기록 보관과 같은 광범위한 유용한 애플리케이션에 사용될 수 있다. Walk-through of an example spider Scrapy는 Spider라는 Class를 통해 특정 사이트를 추출하는 방법을 정의한다. 다음은 http://quotes.toscrape.com 에서 인용문을 긁어내는 스파이더에 대한 코드이다. import scrapy ...

KoNLPy DynamicClassLoader classNofFound 해결 오늘(2020.10.21) 기준으로 Jpype가 1.1.0으로 업데이트 되었다. 참조: https://pypi.org/project/JPype1/ 오늘 기준 이후로 KoNLPy를 기본으로 설치하게 되면 다음과 같은 에러가 나타날 것이다 /usr/local/lib/python3.6/dist-packages/jpype/_core.py in startJVM(*args, **kwargs) 214 215 try: --> 216 _jpype.startup(jvmpath, tuple(arg...

VirtualBox 브릿지 어댑터 등록 시작 간혹 VirtualBox에서 Bridge Adapter를 사용하려고 하는 경우 아래와 같이 어댑터를 찾지 못하는 문제에 직면하게 된다. 이와 관련하여VirtualBox 게스트 네트워크 드라이버 문제로서 네트워크 드라이버 설치 과정에 대해 설명한다. VirtualBox 네트워크 드라이버 설치 1. 제어판 이동(win+R -> control 입력) 2. 네트워크 및 공유 센터 클릭 1. 어댑터 설정 변경 클릭 1. VirtualBox Host-Only Ethernet Adapter 마우스 우측 클릭 2. 속성 클릭 1. 설...

pip Install Option pip install –help로 Option 리스트를 볼 수 있음 help 명령어는 Keyword를 한눈에 보기 어려워 Option List를 정리하고자 함 현재문서는 단순 설명을 번역하는 수준밖에 되지 않지만 직접 사용해보면서 설명이나 know-how를 추가하겠음 설치 옵션 -r, –requirement requirements file을 명시하여 설치하고자 여러개의 package를 한번에 설치 requirements file의 형식은 다음과 같음 # Python Excel pyexcel==0.5.8 pyexcel-x...

What is Proxy 프록시 서버(Proxy Server) What is Proxy Server 사전적인 의미로는 ‘대리인’ 클라이언트가 자신을 통해서 다른 네트워크 서비스에 간접적으로 접속할 수 있게 해 주는 컴퓨터나 응용 프로그램 서버와 클라이언트 사이에서 중계기로서 대리로 통신을 수행하는 기능을 가리켜 ‘프록시’, 그 중계 기능을 하는 것을 ‘프록시 서버’ 라고 부름 Advantage of Proxy Server 프록시 서버에 요청된 내용들을 캐시에 저장 후, 캐시 안에 있는 정보를 이용함으로써 불필요하게 외부와의 연결을 하지 않아 전송 시간을 절약 할 수 있음 외부와의 트래픽을...

PostgreSQL 버전별 psql 접근 개요 postgreSQL의 버전별 호환성에 대한 테스트가 필요한 경우가 있다. 물리적으로 하나로 구성된 서버에 여러 버전의 postgreSQL를 설치하는것이 서버 리소스관리나 테스트 환경에서 접근이 편리하다. 각 버전별 포트를 달리하여 Connection 정보를 구분할 수 있음 각 버전별 서비스를 구동할 수 있음 PostgreSQL Home directory 일반적으로 postgreSQL의 Home Directory는 다음과 같음 /etc/postgesql 여러버전이 존재하는 경우 postgresql은 home di...

postgreSQL Index Type Version Info : PostgreSQL(Ver 9.6) B-tree Default Tree 방식   hash 동등 비교 최적화   GiST(Generalized Search Tree) 지역 분석 최적화 참조: https://www.postgresql.org/docs/9.2/static/gist.html   GIN(Generalized Inverted Index) 여러값을 하나의 Row에 맵핑(Arrays and f...

데이터베이스 Transaction ACID 트랜잭션의 속성을 뜻하는 ACID는 그 속성의 영어 첫 철자를 따서 붙인 이름이다. 그 내용은 다음과 같다. Automicity : 원자성 하나의 트랜잭션이 완료가 되었을 때는 트랜잭션의 처리가 완료 된 상태이거나 트랜잭션을 받아 들이기 전의 상태여야 한다. 즉, 트랜잭션이 완벽하게 수행이 되든 트랜잭션에서 오류가 나든 수행 트랜잭션의 부분적인 변동 사항은 인정이 되지 않는다는 뜻이다. Consistency : 일관성 트랜잭션의 성립, 미성립에 불문하고 데이터의 내용은 일관성이 유지 되어야 한다. 즉, 하나의 DB 서버를 사용하고 있는 무수한 클라이언트들이 동...