2023/12/05 2

[Python] 네이버 스토어 찜 크롤링 with requests _1탄

전편에 네이버 스토어 정보들을 크롤링하는 법에 대해 포스터를 썼다. (아직 selenium으로 크롤링하는 분 없길...) selenium은 동적으로 해서 뭐든 크롤링하지만, 해당 창에 들어가고 웹 로딩도 기다리고.... 이렇게 하면 시간이 저어엉 마아알 많이 든다. 나는 네이버 데이터들을 모으고 있는데 키워드만 약 5천 개다.... 그러면 5천 개의 웹페이지를 로딩해야 하는데 이건 진짜 아니다 ㅠㅠ ( 그래도 손으로 하는 것보단 나음) 암튼 말이 좀 길어졌는데 웬만한 스토어의 정보는 전에 포스트 방식으로 다 가져올 수 있는데 "찜" 이 자슥만 좀 귀찮게 되어있다. 그래서 오늘은 "찜" 개수를 어떻게 가져오는지 포스팅을 할 예정이다. 전에 했던 기본 베이스들이 필요하기 때문에 모르는 분들은 아래 포스트 먼..

개발자 도구 자꾸 꺼지는 현상

크롤링을 하려고 하는데 개발자 도구가 자꾸 꺼진다 ...ㅂㄷㅂㄷ 구글에 검색해보니 Anlab이 원인이였다. 이게 부팅때마다 자동으로 켜져서 개발자 도구를 막는다 ... 장점은 해킹같은거를 잘 차단하겠지만, 단점은 크롤링 못함 ;; 해결방법은 초 간단하다. 간단하게 "자동 시작 안함(컴퓨터 종료 시까지 실행 유지)"로 선택하고 컴퓨터 재부팅하면 된다. 자 이제 잘 뜬다!! 안랩 들어가고 ^^ 인터넷 뱅킹하느라 대부분 이런 저런 보안 프로그램을 많이 깔았을텐데 이런 보안 프로그램의 취약성은 이미 뉴스에도 많이 나왔다. 불필요한 것들은 한번 삭제하는 것도 좋을 것 같다.