관련지식
node.js, request, cheerio

아래의 화면은 구글 이미지 검색 결과입니다. ‘이미지로 검색’ 아닙니다. ‘이미지를 검색’ 입니다.

이미지 검색기능은 구글에서 제공하는 API를 통해서 사용할수도 있지만 여기서는 API를 사용하지 않고 웹 검색결과를 가공하는 기능을 만들어보겠습니다. 아래와 같은 형태로 호출할수 있도록 만들것입니다.

  1. (async () => {
  2.   let items = await search('바다');
  3.   console.log(items.length);
  4.   console.log(items[0]);
  5. })();

search() 함수

브라우저에서 이미지 검색을 해보면 굉장히 많은 파라미터가 붙지만, 실제로는 tbm, tbs, q 세가지 파라미터만 있으면 됩니다. 파라미터 q 에는 검색어를 입력하면 되고 파라미터 tbs에는 검색 조건등을 지정할수 있습니다. 제가 직접 확인한 검색조건 몇가지는 주석으로 남겼고, 더 많은 조건은 https://stenevang.wordpress.com/2013/02/22/google-advanced-power-search-url-request-parameters/ 에서 확인해보실수 있습니다. 다만 오래된 게시물이라 현재와 다를수 있습니다.

  1. let google = 'https://www.google.com';
  3. async function search(keyword) {
  4.   keyword = encodeURIComponent(keyword);
  5.   //지난1일 qdr:d
  6.   //지난1주 qdr:w
  7.   //지난1개월 qdr:m
  8.   //지난1년 qdr:y
  10.   //큰사이즈 이미지 isz:l
  11.   //중간사이즈 이미지 isz:m
  13.   //얼굴 itp:face
  14.   //사진 itp:photo
  15.   // let url = `${google}/search?q=${keyword}&tbm=isch&tbs=qdr:w,isz:l,itp:photo`;
  16.   // let url = `${google}/search?q=${keyword}&tbm=isch&tbs=isz:l,itp:photo`;
  17.   // let url = `${google}/search?q=${keyword}&tbm=isch&tbs=qdr:w,isz:l`;
  19.   // let url = `${google}/search?q=${keyword}&tbm=isch&tbs=qdr:w,itp:photo`;
  20.   // let url = `${google}/search?q=${keyword}&tbm=isch&tbs=qdr:w,itp:face`;
  21.   // let url = `${google}/search?q=${keyword}&tbm=isch&tbs=qdr:w,isz:l,itp:face`;
  22.   // let url = `${google}/search?q=${keyword}&tbm=isch&tbs=qdr:w,itp:photo`;
  23.   // let url = `${google}/search?q=${keyword}&tbm=isch&tbs=qdr:w,itp:photo`;
  24.   let url = `${google}/search?q=${keyword}&tbm=isch&tbs=qdr:y`;
  25.   let bodyHtml = await req(url);
  26.   let data = parse(bodyHtml);
  27.   let itemList = data.items;
  29.   //다른 페이지 검색
  30.   while(data.pages.length) {
  31.     url = google + data.pages.shift();
  32.     let nextHtml = await req(url);
  33.     let nextData = parse(nextHtml);
  34.     itemList = itemList.concat(nextData.items);
  35.   }
  37.   return itemList;
  38. }

req() 함수

req() 함수에서 URL호출시 사용하는 request 객체가 비동기 함수로 제공되기 때문에 Promise를 적용하였고, 이후 함수들이 async/await 키워드를 사용하게 되었습니다.

이 소스에서는 아무런 헤더값을 사용하지 않았지만 user-agent를 사용할때와 안할때 검색 결과가 달라집니다. 파싱 방법도 달라진다는 것을 참고하시면 되겠습니다. 또한 로그인된 쿠키값을 사용했을때도 검색결과가 달라질수 있습니다. 예를들어 19금 이상의 검색 결과가 필터링 될것이냐, 안될것이냐의 차이가 발생하겠죠.

  1. function req(url) {
  2.   return new Promise(function(resolve, reject) {
  3.     request.get({
  4.       url : url,
  5.     }, function(err, reponse, body) {
  6.       if(err) {
  7.         reject(err);
  8.         return;
  9.       }
  11.       let bodyHtml = body;
  12.       bodyHtml = bodyHtml.replace(/[\w\W]*<body/g, '<body');
  14.       console.info(`request success ${url}`);
  16.       resolve(bodyHtml);
  17.     });
  18.   });
  19. }

parse() 함수

parse() 함수에서는 cheerio 패키지를 이용하여 링크, 이미지, 제목 정보와 페이지 정보를 추출합니다. 공식 API와는 다르게 HTML의 태그 정보를 분석하여 추출하므로 만약 구글에서 퍼블리싱을 수정한다면 이 소스도 수정되어야 합니다.

  1. function parse(html) {
  2.   let items = [];
  3.   let pages = [];
  5.   let $ = cheerio.load(html);
  7.   let $tds = $('.images_table tbody td');
  8.   console.info(`parse1 start : ${$tds.length}`);
  10.   for(let i = 0; i < $tds.length; i++) {
  11.     let $td = $tds.eq(i);
  12.     let link = $td.find("a").prop('href').replace(/(\/url\?q=)/g, '');  // delete => /url?q= 
  13.     let imageSrc = $td.find("a img").prop('src');
  14.     let desc = $td.html();
  16.     desc = desc.replace(/(<a[\w\W]*<\/a>|<cite[\w\W]*<\/cite>|<b>[\w\W]*<\/b>)/g, '').split('<br>');
  18.     let obj = {
  19.       link : decodeURIComponent(link),
  20.       imageSrc : decodeURIComponent(imageSrc),
  21.       title : $td.html(desc[2]).text()
  22.     };
  24.     items.push(obj);
  25.   }
  27.   let $anchors = $('#foot table a');
  28.   for(let i = 0; i < $anchors.length && i < 9; i++) {
  29.     let a = $anchors.eq(i);
  30.     pages.push(a.prop('href'));
  31.   }
  33.   return {
  34.     items : items,
  35.     pages : pages
  36.   };
  37. }

장점 & 단점

앞서 적은것처럼 HTML결과를 파싱하는 것이므로 결과값이 달라질 경우 소스를 수정해야 합니다. 그리고 제한된 정보만 알아낼수 있죠. 하지만 이미지 검색만을 하기 위해 API 연동을 하지 않아도 되므로 훨씬 간단하게 사용할수가 있습니다. 위의 코드는 복잡한 로직이 없으므로, 필요하신 경우 파이썬이나 다른 코드로 어렵지 않게 포팅하실수 있을겁니다.

최종소스

  1. const request = require('request');
  2. const cheerio = require('cheerio');
  4. function req(url) {
  5.   return new Promise(function(resolve, reject) {
  6.     request.get({
  7.       url : url,
  8.     }, function(err, reponse, body) {
  9.       if(err) {
  10.         reject(err);
  11.         return;
  12.       }
  14.       let bodyHtml = body;
  15.       bodyHtml = bodyHtml.replace(/[\w\W]*<body/g, '<body');
  17.       console.info(`request success ${url}`);
  19.       resolve(bodyHtml);
  20.     });
  21.   });
  22. }
  24. function parse(html) {
  25.   let items = [];
  26.   let pages = [];
  28.   let $ = cheerio.load(html);
  30.   let $tds = $('.images_table tbody td');
  31.   console.info(`parse1 start : ${$tds.length}`);
  33.   for(let i = 0; i < $tds.length; i++) {
  34.     let $td = $tds.eq(i);
  35.     let link = $td.find("a").prop('href').replace(/(\/url\?q=)/g, '');  // delete => /url?q= 
  36.     let imageSrc = $td.find("a img").prop('src');
  37.     let desc = $td.html();
  39.     desc = desc.replace(/(<a[\w\W]*<\/a>|<cite[\w\W]*<\/cite>|<b>[\w\W]*<\/b>)/g, '').split('<br>');
  41.     let obj = {
  42.       link : decodeURIComponent(link),
  43.       imageSrc : decodeURIComponent(imageSrc),
  44.       title : $td.html(desc[2]).text()
  45.     };
  47.     items.push(obj);
  48.   }
  50.   let $anchors = $('#foot table a');
  51.   for(let i = 0; i < $anchors.length && i < 9; i++) {
  52.     let a = $anchors.eq(i);
  53.     pages.push(a.prop('href'));
  54.   }
  56.   return {
  57.     items : items,
  58.     pages : pages
  59.   };
  60. }
  63. let google = 'https://www.google.com';
  65. async function search(keyword) {
  66.   keyword = encodeURIComponent(keyword);
  67.   //지난1일 qdr:d
  68.   //지난1주 qdr:w
  69.   //지난1개월 qdr:m
  70.   //지난1년 qdr:y
  72.   //큰사이즈 이미지 isz:l
  73.   //중간사이즈 이미지 isz:m
  75.   //얼굴 itp:face
  76.   //사진 itp:photo
  77.   // let url = `${google}/search?q=${keyword}&tbm=isch&tbs=qdr:w,isz:l,itp:photo`;
  78.   // let url = `${google}/search?q=${keyword}&tbm=isch&tbs=isz:l,itp:photo`;
  79.   // let url = `${google}/search?q=${keyword}&tbm=isch&tbs=qdr:w,isz:l`;
  81.   // let url = `${google}/search?q=${keyword}&tbm=isch&tbs=qdr:w,itp:photo`;
  82.   // let url = `${google}/search?q=${keyword}&tbm=isch&tbs=qdr:w,itp:face`;
  83.   // let url = `${google}/search?q=${keyword}&tbm=isch&tbs=qdr:w,isz:l,itp:face`;
  84.   // let url = `${google}/search?q=${keyword}&tbm=isch&tbs=qdr:w,itp:photo`;
  85.   // let url = `${google}/search?q=${keyword}&tbm=isch&tbs=qdr:w,itp:photo`;
  86.   let url = `${google}/search?q=${keyword}&tbm=isch&tbs=qdr:y`;
  87.   let bodyHtml = await req(url);
  88.   let data = parse(bodyHtml);
  89.   let itemList = data.items;
  91.   //다른 페이지 검색
  92.   while(data.pages.length) {
  93.     url = google + data.pages.shift();
  94.     let nextHtml = await req(url);
  95.     let nextData = parse(nextHtml);
  96.     itemList = itemList.concat(nextData.items);
  97.   }
  99.   return itemList;
  100. }
  102. (async () => {
  103.   let items = await search('바다');
  104.   console.log(items.length);
  105.   console.log(items[0]);
  106. })();


저작자표시 비영리 변경금지

'node.js' 카테고리의 다른 글

[node.js] JavaScript heap out of memory  (0) 2020.01.10
[node.js] multer 패키지에서 용량 제한하기  (0) 2020.01.07
[node.js] sqlite3 패키지를 node v10 에서 사용하기  (0) 2019.10.25
[node.js] 인스타그램 사용을 위한 instagram-web-api2 패키지 써보기  (0) 2019.10.21
[node.js] json config 파일을 제어하는 패키지 써보기  (0) 2019.10.18

티스토리툴바