Jerry의 컴퓨터 일기 💻

전에 1탄의 문제는 network에서 기록된 여러 개의 products 중 한 개의 products만 가져오는 것 였다. 이번 포스터에는 어떻게 한 페이지 안에 모든 찜을 가져오는 방법에 대해 소개하겠다. (1탄을 안 본 사람이 있다면 꼭 보고 오세용... 아니면 이해하기 힘듬 !) import requests cookies = { 'NNB': 'BZQEKFFD3ZGWG', 'ASID': '75100b1e000001840cfb852400000053', 'NV_WETR_LOCATION_RGN_M': '"MDUxMTAxMTg="', 'NaverSuggestUse': 'unuse%26use', 'autocomplete': 'use', 'NV_WETR_LAST_ACCESS_RGN_M': '"MDUxMTAxMTg..

전편에 네이버 스토어 정보들을 크롤링하는 법에 대해 포스터를 썼다. (아직 selenium으로 크롤링하는 분 없길...) selenium은 동적으로 해서 뭐든 크롤링하지만, 해당 창에 들어가고 웹 로딩도 기다리고.... 이렇게 하면 시간이 저어엉 마아알 많이 든다. 나는 네이버 데이터들을 모으고 있는데 키워드만 약 5천 개다.... 그러면 5천 개의 웹페이지를 로딩해야 하는데 이건 진짜 아니다 ㅠㅠ ( 그래도 손으로 하는 것보단 나음) 암튼 말이 좀 길어졌는데 웬만한 스토어의 정보는 전에 포스트 방식으로 다 가져올 수 있는데 "찜" 이 자슥만 좀 귀찮게 되어있다. 그래서 오늘은 "찜" 개수를 어떻게 가져오는지 포스팅을 할 예정이다. 전에 했던 기본 베이스들이 필요하기 때문에 모르는 분들은 아래 포스트 먼..

크롤링을 하려고 하는데 개발자 도구가 자꾸 꺼진다 ...ㅂㄷㅂㄷ 구글에 검색해보니 Anlab이 원인이였다. 이게 부팅때마다 자동으로 켜져서 개발자 도구를 막는다 ... 장점은 해킹같은거를 잘 차단하겠지만, 단점은 크롤링 못함 ;; 해결방법은 초 간단하다. 간단하게 "자동 시작 안함(컴퓨터 종료 시까지 실행 유지)"로 선택하고 컴퓨터 재부팅하면 된다. 자 이제 잘 뜬다!! 안랩 들어가고 ^^ 인터넷 뱅킹하느라 대부분 이런 저런 보안 프로그램을 많이 깔았을텐데 이런 보안 프로그램의 취약성은 이미 뉴스에도 많이 나왔다. 불필요한 것들은 한번 삭제하는 것도 좋을 것 같다.

열시미 코딩을 하려고 주피터 노트북을 켰는데 이런 에러가 뜬다 ...    이런 경우 용량이 너무 커서 이런거다. 파일을 바꾸고 셀을 다시 시작하면 간단히 처리 가능하다!   메모리 초과된 파일이 있는 폴더로 들어 온 다음 저기 파일의 경로(노란 형광펜 부분)를 다 지우고 cmd를 검색해주면 바로 cmd가 뜬다.  이제 cmd에 아래처럼 입력해주면 된다.jupyter nbconvert 기존파일명 .ipynb --to notebook --ClearOutputPreprocessor.enable=True --output 변경파일명 .ipynb복붙해서 기존파일명하고 변경파일명을 바꿔서  작성해주자.   나는 4_avg_sale.ipynb 파일이 문제여서 41_avg_sale.ipynb 이렇게  이름만 바꿔서 ..