2023/12/05 2

[Python] 네이버 스토어 찜 크롤링 with requests _1탄

전편에 네이버 스토어 정보들을 크롤링하는 법에 대해 포스터를 썼다. (아직 selenium으로 크롤링하는 분 없길...) selenium은 동적으로 해서 뭐든 크롤링하지만, 해당 창에 들어가고 웹 로딩도 기다리고.... 이렇게 하면 시간이 저어엉 마아알 많이 든다. 나는 네이버 데이터들을 모으고 있는데 키워드만 약 5천 개다.... 그러면 5천 개의 웹페이지를 로딩해야 하는데 이건 진짜 아니다 ㅠㅠ ( 그래도 손으로 하는 것보단 나음) 암튼 말이 좀 길어졌는데 웬만한 스토어의 정보는 전에 포스트 방식으로 다 가져올 수 있는데 "찜" 이 자슥만 좀 귀찮게 되어있다. 그래서 오늘은 "찜" 개수를 어떻게 가져오는지 포스팅을 할 예정이다. 전에 했던 기본 베이스들이 필요하기 때문에 모르는 분들은 아래 포스트 먼..

데이터/크롤링 2023.12.05

개발자 도구 자꾸 꺼지는 현상

크롤링을 하려고 하는데 개발자 도구가 자꾸 꺼진다 ...ㅂㄷㅂㄷ 구글에 검색해보니 Anlab이 원인이였다. 이게 부팅때마다 자동으로 켜져서 개발자 도구를 막는다 ... 장점은 해킹같은거를 잘 차단하겠지만, 단점은 크롤링 못함 ;; 해결방법은 초 간단하다. 간단하게 "자동 시작 안함(컴퓨터 종료 시까지 실행 유지)"로 선택하고 컴퓨터 재부팅하면 된다. 자 이제 잘 뜬다!! 안랩 들어가고 ^^ 인터넷 뱅킹하느라 대부분 이런 저런 보안 프로그램을 많이 깔았을텐데 이런 보안 프로그램의 취약성은 이미 뉴스에도 많이 나왔다. 불필요한 것들은 한번 삭제하는 것도 좋을 것 같다.

컴퓨터 에러 2023.12.05