python(파이썬) 크롤링 crontab 을 통한 주기적 실행법

python(파이썬) 크롤링 crontab 을 통한 주기적 실행법

python(파이썬) 언어는 여러가지 플렛폼에 다양한 용도로 사용할 수 있지만, 

웹에서 특정데이터를 가져와 필요에 의해 가공하여 활용할 용도로 사용하기도 한다.

이러한 용도로 이용할 시 어떤 특정한 기간이나 시간을 설정하여 데이터를 가져오게 되면

편하게 자료를 얻고 가공할 수 있게 된다.

우선 내가 만들어 놓은 사이트 이거나 공적으로 제공되는 자료를 활용할시 꼭 해당사이트의 roboots.txt 

를 확인하고 가져올 데이터를 python(파이썬)으로 작성하여 만들어 보자.

samply.py 로 작성이 완료되었다면 해당 파일은 주기적으로 데이터를 가져와 가공한후 데이터 베이스에

기록하는 작업을 하게 될텐데 이를 crontab 으로 자동화 해보자

1 . samply.py 는 작성이 되었다고 가정하자

vi /home/sample.py

2. vi 에디터를 통하여 crontab 에 해당 파일을 실행하도록 설정한다

crontab -e

crontab 을 통해 스케쥴이 등록이 되었다면. 

해당 파일이 제대로 작동되는지 설정된 시간이 지난후 확인해보고 잘 적용되었는지 확인하고 수정할 내용이 있다면 수정하면 되겠다.