天天看你们制作各种摸鱼网页。我直接贡献一个 node 抓取热点的代码。(低端版爬取网页数据)

2021-04-10 16:18:38 +08:00
 WishMeLz

休息天没事做,小菜鸡一个。请多多指教。

初始化一个请求的方法

const cheerio = require('cheerio');
const request = require('request');
const iconv = require('iconv-lite');
function http(url, decode = 'utf8') {
    return new Promise((resolve, rejext) => {
        request({ url, encoding: null }, function (error, response, body) {
            if (!error && response.statusCode == 200) {
                var buf = iconv.decode(body, decode);//获取内容进行转码
                var $ = cheerio.load(buf); //初始化
                resolve($)
            } else {
                rejext(error)
            }
        });
    })
}
module.exports = http

使用

// 微博热搜
const http = require('./http')
let url = 'https://s.weibo.com/top/summary'
http(url)
    .then(res => {
        var $ = res;
        var table = $('#pl_top_realtimehot > table > tbody').find('tr .td-02 a')
        var resData = []
        table.each((i, e) => {
            resData.push({
                index: i,
                title: $(e).text(),
                url: "https://s.weibo.com" + $(e).attr('href')
            })

        })
        console.log(resData);
    })
    .catch(err => {
        console.log(err);
    })

2624 次点击
所在节点    程序员
15 条回复
zxCoder
2021-04-10 18:49:20 +08:00
啊这。。。
learningman
2021-04-10 19:05:32 +08:00
建议发去 CSDN,他们一定会谢谢你的
j777
2021-04-10 20:14:13 +08:00
这种玩意儿也值得发出来?
winnerczwx
2021-04-10 22:27:07 +08:00
人家发出来又不影响你们什么, 楼上何必冷嘲热讽
yyyb
2021-04-10 23:47:43 +08:00
楼上的楼上发个值得的玩意儿
falcon05
2021-04-10 23:58:52 +08:00
你贡献了代码,那我贡献一个热点,HackerNews 的新闻的中译列表,url 规律是 HN-日期,比如:
https://hicms.eu.org/p/HN-20210410
3dwelcome
2021-04-11 00:50:17 +08:00
挺好的,路过支持一下。
写代码和写文章一样,是为了让别人看懂,不是写一堆复杂代码自己一个人嗨。楼主这个一眼就能懂,这点就很赞。
谁都是新手阶段过来的,唯有才能笑到最后,楼主加油。
Lxxyx
2021-04-11 00:55:45 +08:00
挺好的,支持 +1 。

谁都有菜鸟的时候,能写出比较工整可用的代码已经很了不起了,加油!
labulaka521
2021-04-11 07:52:11 +08:00
学到了
Smurf
2021-04-11 12:26:41 +08:00
gogogo, 请把保护打在公屏上。资瓷
ji39
2021-04-11 15:30:13 +08:00
谁请解析下 return new Promise 这行代码
WishMeLz
2021-04-11 22:19:07 +08:00
@ji39 异步呀
WishMeLz
2021-04-11 22:21:20 +08:00
@learningman 不敢去,献丑了
WishMeLz
2021-04-11 22:21:51 +08:00
@3dwelcome 多谢,嘿嘿
WishMeLz
2021-04-11 22:22:12 +08:00
@Lxxyx 多谢

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/769723

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX