Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

爬取BBCnews中文,美国之音,纽约时报,立场新闻,香港01,德国之声,端新闻判多少年 #4

Open
sexyflaw opened this issue Nov 26, 2019 · 6 comments

Comments

@sexyflaw
Copy link

如题:爬墙外新闻,做网页浏览服务会怎样

@HiddenStrawberry
Copy link
Owner

如果要对国内开放浏览,你最好祈祷没有反动内容出现,不然立刻凉。轻则封禁重则喝茶

@HelloF1sh
Copy link

爬取这些新闻用于学术会有法律问题嘛

@w2816771
Copy link

用于学术,一般没啥事,但是不要扩散,,中国法律有点类似新加披的法律,要抓一个人很容易放个罪名进去。

@lhywell
Copy link

lhywell commented Feb 20, 2022

如果是公开数据的话,应该没事,但是不能把对方服务器爬瘫痪,或者造成干扰

@u2young
Copy link

u2young commented Sep 5, 2022

如果是公开数据的话,应该没事,但是不能把对方服务器爬瘫痪,或者造成干扰

这个就很难量化了 比如本来网站流量就有问题(做推广活动,内部维护导致服务不稳定). 这时候加上稍微抓取(比如单线程的) 那造成的服务器挂...

@lhywell
Copy link

lhywell commented Sep 19, 2022

如果是公开数据的话,应该没事,但是不能把对方服务器爬瘫痪,或者造成干扰

这个就很难量化了 比如本来网站流量就有问题(做推广活动,内部维护导致服务不稳定). 这时候加上稍微抓取(比如单线程的) 那造成的服务器挂...

所以爬取代码要有防风险的控制,最好伪装让人看不出来,当然大多数服务器都是有监控的,对方没察觉就没事。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

6 participants