Nutch 시작하기

페도라 9, OpenJDK, Nutch 0.9, tomca5.5(아파치 사이트에서 따로 다운받았습니다.)
그리고 Eclipse 3.3.

Lucene기반의 검색 엔진. Nutch. 위키피디아에는 Nutch를 Cross-Platform이라고 소개해놓았지만, 윈도우에서 실행시키려면, Cygwin을 설치해야 합니다.

먼저 Nutch 0.9를 다운받아서 Crawler를 한번 돌려봅니다. Nutch의 웹인터페이스를 돌려보려면, 일단 검색할 인덱스가 있어야 겠죠. 저를 포함한 초보자들은 Nutch공식위키에 소개되어 있는 멍청이를위한너치가이드 를 참고해서 Crawler를 돌려봅니다.

일단 /usr/share/nutch-0.9 에 파일을 풀어놓았습니다.

위와 같은 파일을 볼 수 있습니다.
먼저 urls에 seed url이 될 url을 적어놓은, 파일들을 넣게 되고,
conf에 들어있는 파일도 수정해야 합니다.

첫번째, urls 폴더에 텍스트 파일을 하나 만든 다음, 그 파일안에,
http://xxx.xxxxx.com
http://yyy.yyyy.com
의 형식으로 Crawling의 시작점이 될 url들을 한 줄에 하나씩 써놓습니다.
파일을 여러개 만들면 그 파일들에 들어있는 모든 url을 기준으로 crawling을 하게 됩니다.

두번째, conf/nutch-site.xml 을 수정합니다.

비어 있는 value와 description을 채워넣으셔야 합니다. Crawler에 대한 정보가 되겠죠.

세번째, conf/crawl-urlfilter.txt 를 수정합니다.

# accept hosts in MYDOMAIN.NAME 아래줄을 수정해야 하는데, 파일 이름에서도 알 수 있듯이 이 파일 자체가 crawling할 url에 대한 필터이기 때문에, 정규표현식을 이용하여 잘 써주면 됩니다. 원래 파일에 MY.DOMAIN.NAME 대신에 검색할 페이지의 url을 써주시면 되기는 하는데, 정규표현식을 잠깐 보시고, 알맞게 넣으세요.

자, 이제 크롤러를 돌려보면 되겠습니다.

bin/nutch crawl urls -dir crawl -depth 3 -topN 50

crawl폴더에 crawling한 결가가 저장됩니다.

이제 이 크롤링한 결과를 웹에서 확인해봐야겠죠.

nutch 에 포함되어 있는 웹애플리케이션을 띄우면 위와 같은 화면을 볼 수 있습니다. nutch폴더에 war파일이 들어있죠? 그걸 deploy하면 됩니다. 하지만 아쉽게도 한글은 지원되지 않고, 게다가 아래와 같은 에러가 발생합니다.

톰캣이나 JSP버전에 문제가 있는 것 같은데, <%= %>안에 "가 들어갈 때 escape를 해줘야한다는 에러입니다. 역슬래쉬, \를 해주면 됩니다. 꼭 이클립스에서 할 필요는 없을 것 같은데 어쨌거나, 이클립스로 불러오겠습니다.
war를 그냥 import 해줘도 될 것같은데, 그냥 프로젝트를 하나 만들어서 WebContent 에 war에 들어있는 파일들을 그냥 복사했습니다.

그리고 크롤링한 결과가 저장되어 있는 경로를 수정해주어야 하는데, WEB-CONF/classes/nutch-site.xml 을다음과 같이 수정합니다.

value에 크롤링할 때 지정한 폴더를 넣어야 합니다.
그 다음에 돌려보면서 위에 에러가 난 부분을 수정해주면 됩니다. <%= %>내부에 쌍따옴표가 사용되었다면 그 앞에 \를 붙이면 됩니다.
이클립스에서는 에러라고 밑줄을 쫙쫙 그어주시는데, 실행은 됩니다.