크롤링3 Retrofit이란? (사용하기 전에 알아야 할 것들) 1. Retrofit 1-1. Retrofit 이란? 1-2. TMI 2. 기본 개념 2-1. Request URL 2-2. JSON과 HTML 2-3. GET과 POST 2-4. parameter 3. 사용 전 세팅 3-1. gradle 3-2. AndroidManifest.xml 3-3. data class 생성 1. Retrofit 1-1. Retrofit 이란? Retrofit는 서버와 클라이언트 간 http 통신을 위한 라이브러리이다. 더 쉽게 말하자면 안드로이드에서 http 통신을 할 수 있도록 도와주는 놈이다. 예를 들어, retrofit 라이브러리를 사용하면 위 사이트의 공지사항들을 불러올 수 있다. 이를 이용하면 최저가 상품을 모아서 보여준다던가, 쇼핑몰 옷 사진들을 모아서 보여준다던가 .. 2021. 4. 2. Retrofit으로 html response 얻기 (webView 사용 아님) 1. 웹 페이지의 종류 2. 크롤링 2-1. 준비해야 할 것 2-2. html 요청 및 처리 3. 시도해본 방법들 3-1. JSON으로 받기 3-2. html 요청 및 처리 3-3. webView 나는 정적 페이지를 크롤링하고 싶다 -> '안드로이드 jsoup 파싱' 검색 나는 동적 페이지를 크롤링 할건데 JSON으로 결과를 받을 거다 -> '안드로이드 retrofit' 검색 나는 동적 페이지를 크롤링 할건데 HTML으로 결과를 받을 거다 -> 계속 읽으세요 나는 뭔소린지 1도 모르겠다 -> [목차 1]까지 읽어보세요 retrofit response html, android javascript parse, call.enqueue not working 등 이런 키워드로 검색해서 들어왔다 -> 저랑 같은 문.. 2021. 3. 16. 자바로 셀레니움(Selenium)을 써보자 :: 크롤링 1. 셀레니움이란? 2. 셀레니움 사용법 2-1. Chrome 버전 확인 2-2. Chrome WebDriver 다운로드 3. 웹페이지 분석 4. 코드 작성 5. 크롤링 5-1. 셀레니움으로 크롤링을 하는 이유 5-2. 정적 페이지? 동적 페이지? 5-3. 동적 페이지 확인하기 5-4. 크롤링 하기 6. 부록 6-1. robot.txt 6-2. 로봇 접근을 비허용 한다면? 6-3. 셀레니움은 크롤링에 적합한 도구인가? 1. 셀레니움이란? 내가 즐겨보는 유튜버 '노마드 코더'님이 위와 같은 영상을 올린 적이 있다. 인스타그램 댓글과 게시물을 자동으로 달아주는 봇을 만드는 내용이었는데 저 영상을 보면서 '우워어어어 개쩐다 자동화 봇을 만든다고?' 이런 생각을 했다. 이때 셀레니움에 대해서 처음 듣게 되었다... 2020. 12. 25. 이전 1 다음
