Block Busting

http://newspaper.readthedocs.io/en/latest/ 각 언론사의 url을 GET하여 부동산뉴스를 보아보고 있습니다.url만 바꿔서 아주 간단하게 뉴스기사를 가져오고 >>> from newspaper import Article >>> url = 'http://fox13now.com/2013/12/30/new-year-new-laws-obamacare-pot-guns-and-drones/' >>> article = Article(url) >>> article.download() >>> article.parse() 자연어 처리 실행시키고 >>> article.nlp() 키워드를 뽑아주고 요약도 해줍니다.>>> article.keywords ['New Years', 'resolution..

IT/PYTHON 2018. 5. 12. 14:37

Herokuapp을 이용해서 시험삼아 제가 만든 시험 서비스 사이트가 있었습니다. Django와 웹 스크랩핑을 기법을 이용해서 만들었는데한동안 잊고 있다가 오랜만에 들어가서 로그인을 시도하니 에러가 발생합니다.참고로 제가 만든 사이트의 로그인 방식은 로그인 하려는 사용자의 이메일 주소를 입력 받아서 1회용 로그인 URL 링크를 회신해서 보내줍니다.이 과정에서 일단은 무료로 하려다보니 Gmail을 사용하고 있습니다. SMTP Authentication Error딱 봐도 메일 접근 권한 문제 같아 보입니다. 권한 해결하려고 보니 간단합니다. 아래 링크에가서 엑세스 허용만 해주면 문제 해결됩니다. https://accounts.google.com/DisplayUnlockCaptcha

IT/PYTHON 2018. 2. 27. 17:31

url 정보를 세팅하고 이에 대해서 request 요청하면 응답 정보를 주는데 http://openapi.molit.go.kr:8081/OpenAPI_ToolInstallPackage/service/rest/RTMSOBJSvc/getRTMSDataSvcAptTrade?LAWD_CD=11440&DEAL_YMD=201801&serviceKey=###SERVICE_KEY### 얼마전에 수정이 있었는지 응답되는 정보가 변경되었습니다. req = urllib.request.Request(request_url) try: res = urllib.request.urlopen(req) except UnicodeEncodeError: print('[OpenAPI] UnicodeEncodeError') return data..

IT/PYTHON 2018. 1. 30. 11:25

네이버에서 제공해주는 openapi를 이용해서 카페에 글쓰기를 할 수 있다. 관련예제는 여기링크를 클릭하면 볼 수는 있다. 글쓰는 순서1. login api를 이용해서 접근 토큰 정보를 가져온다. 2. 포스팅한다. 아래의 내용을 따라하기전에 우선 Naver openapi를 사용하기 위한 사전 준비사항을 완료해야한다. --> 링크 특히 사용 API에 카페를 반드시 추가해야한다. 순서는 간단하지만 막상 따라해보려는데 첫줄에서 막힌다. token = "YOUR_ACCESS_TOKEN" 어떻게 받아와야되나 ?? 이를 확인하기 위해서 로그인 API 명세를 찾아본다. 아... 나는 파이썬으로 다 하려고 했는데 없다. 하지만 뒤져보면 다 나온다. Selenium을 이용하면 받아올 수 있다. 이와 관련된 기본적인 세팅..

IT/PYTHON 2017. 12. 27. 13:57

예제를 따라하면 제 경우에는 한글이 깨집니다. data = "subject=" + subject + "&content=" + content request = urllib.request.Request(url, data=data.en 엄청 삽질하다가 결국 찾았습니다. 위에처럼 하면 안되고 아래처럼 해주면 잘 됩니다. from urllib.parse import urlencode data = urlencode({'subject': subject, 'content': content}).encode() request = urllib.request.Request(url, data=data) 아래는 naver developers에서 제공하는 샘플코드입니다. # 네이버 카페 Open API 예제 - 글쓰기 import..

IT/PYTHON 2017. 9. 5. 19:34

조도센서로 값을 잘 받아온다. https://github.com/pimylifeup/Light_Sensor에서 받아온 코드를 기반으로내가 필요한 기능들을 추가한다.참고로 redis에 대한 설정은 구글링하면 금방 찾아볼 수 있다.서버는 내가 사용하는 노트북이다. 우선 redis key로 사용할 ID가 필요해서 라즈베리파이 cpu의 시리얼 정보를 사용했고,매일 누적하다보니 년, 월에 대한 정보까지 포함시켰다.그리고 redis-collections의 List를 이용해서 redis에 저장되는 정보를 마치 List처럼 사용하였다.써보니 엄청 편하다. 라즈베리파이에서 구동할 파이썬 코드의 설명이다.1초 sleep을 주고 계속 루프를 돌면서 체크한다. 동작방식은 0.1초간 라즈베리파이에 전원이 인가되고이 전원이 LD..

IT/PYTHON 2017. 4. 21. 14:38

redis-cli -h : host ip address -p : port number -a : password redis-cli -h 127.0.0.1 -p 6379 -a mysupersecretpassword 참고로 비밀번호에 $가 있으면 에러가 발생하므로 사용하지 않는다.

IT/PYTHON 2017. 4. 6. 15:42

######################################################## 원본: http://highthroughput.org/wp/ (Hyeshik Chang 장혜식님) # 원본참고: http://pinkwink.kr/1005 ####################################################### 2곳의 원본을 참고하여 대한민국 지도에 인구 분포도를 그려주는 코드를 한줄한줄 따라가면서 numpy, pandas, matplotlib에 대한 사용법을 익혀보았다. 필요한 csv 파일과 소스코드는 핑크윙크에 가면 있다. 각 라인별로 주석을 달아두었다. drawKorea 함수만 이해해도 왠만한건 할 수 있을것 같다. #!/usr/bin/env python..

IT/PYTHON 2017. 4. 6. 13:23