SeimiCrawler V2支持SpringBoot

import cn.wanghaomiao.seimi.annotation.Crawler;
import cn.wanghaomiao.seimi.def.BaseSeimiCrawler;
import cn.wanghaomiao.seimi.struct.Request;
import cn.wanghaomiao.seimi.struct.Response;
import cn.wanghaomiao.xpath.model.JXDocument;
import org.apache.commons.lang3.StringUtils;

import java.util.HashMap;
import java.util.Map;

/**
 * 内分页文章整合抓取
 * @since 2016/6/14.
 */
@Crawler(name = "mutipagenews")
public class MutiPageNewsCrawler extends BaseSeimiCrawler {
    @Override
    public String[] startUrls() {
        return new String[]{"http://bbs.miercn.com/bd/201606/thread_744157_1.html"};
    }

    @Override
    public void start(Response response) {
        try {
            JXDocument document = response.document();
            //获取上游处理函数传过来的数据，如果为空则初始化一个，一会要用来向下游传递数据
            Map<String,String> meta = response.getMeta()!=null?response.getMeta():new HashMap<String, String>();
            String preBody = meta.get("body")!=null?meta.get("body"):"";
            meta.put("body",preBody+StringUtils.join(document.sel("//div[@id='cc2']//text()"),""));

            String urlPrefix = response.getUrl().substring(0,response.getUrl().lastIndexOf("/")+1);
            //拿到下一页的地址后缀
            String nextPage = StringUtils.join(document.sel("//div[@class='page1']/a[text()*='下一页']/@href"),"");
            if (nextPage.matches(".*thread_\\d+.*")){
                //用这一个回调函数就够了
                Request req = Request.build(urlPrefix+nextPage,"start");
                logger.info("nextPage={}",req.getUrl());
                //用来向下游回调函数传送数据
                req.setMeta(meta);
                push(req);
            }else {
                //已经收集完毕
                logger.info("完整新闻体为：{}",meta.get("body"));
            }
        }catch (Exception e){
            logger.debug(e.getMessage(),e);
        }
    }
}

00:44:59 INFO  c.w.crawlers.MutiPageNewsCrawler - 完整新闻体为： 　　一、 微博“少奶奶门”轰动揭开“土豪”汤珈铖 汤珈铖，1983年出生，本名汤子同，还真是年轻有为啊！汤臣集团副主席、执行董事。其父汤君年是汤臣集团创始人兼董事长，其母徐枫是上世纪70年代武打女演员。 点击图片进入下一页 　　二、 首富万达之子-王思聪 王思聪1988年1月3日出生，身高179cm,是2010年中国首富万达集团老总王健林的独子。最近微博爆料他豪言：我们是东方壕莱坞，真是高端大气啊！看他的贴：王思聪来了 豪言：我们是东方壕莱坞 .王思聪之火以就是因为 2011年4月4日凌晨，他在微博上炮轰张兰母子，一夜之间，王思聪成为微博和天涯红人，有人认为这才是真正的“富二代”,绝非“京城四少”可比哦！  　　三、煤场老板之子–中国梦之声杨成瑞 杨成瑞1992年7月28日生于山东泰安，中国内地男演员、歌手， 2012年自费制作单曲《爱在当时》，2013年杨成瑞参加中国梦之声。 在杨成瑞平时的微博中，可见他穿戴都比较讲究，Gucci手提包和爱马仕皮带如影随形，能如此大手笔出唱片，找粉丝，有关他富二代的传闻浮出水面。   点击图片进入下一页 米尔军事论坛 bbs.miercn.com www.miercn.com 军情第一站 　　五、汪雨–上海地产界大亨汪道涵之子 汪雨，上海地产界大亨，前上海市市长汪道涵之子（三公子），是汪道涵第二任太太所生，身高172厘米，体重大约60公斤，曾去过美国留学，毕业后返回上海经营艺术公司。汪雨同张敏、赵薇、黄奕、陈紫函、蒋欣等女明星传有绯闻。   转自米尔军情网 http://www.miercn.com www.miercn.com 爱国交流理性平台　　六、王烁-商业巨富王志才之子 王烁，北京人，商业巨富之子，周迅的前男友。之前媒体曾错误报道其名字为王朔，后经网友曝料，真名为王烁，是“晴妈”王艳的继子，房祖名的好友。王烁的父亲王志才，拥有京城多家房地产公司，“金钱豹”也是他的家业之一，其家产估值约为100亿以上。    　　七、汪小菲– 俏江南集团创始人张兰的独子 汪小菲，1981年06月27日出生于北京，俏江南集团创始人张兰的独子。现任俏江南集团总裁，合润麟（北京）食品有限公司董事长。 2010年底他与台湾艺人徐熙媛（大S）闪电订婚轰动娱乐圈，并于同年11月16日在北京市朝阳区民政局注册登记结婚。他们的婚礼于2011年3月22日在海南三亚举行。 www.miercn.com 军情第一站   　　八、李泽楷–香港富商李嘉诚之子 李嘉诚之子李泽楷 不能被遗忘的富二代啊 !他1966年11月8日生于香港，广东潮州人，祖籍广东潮州。1989年从美国回香港和黄任职，仅十年时间，便在事业上创造了辉煌，成为世人瞩目，有着“小超人”美名的香港第二大富商。