掘金数据处理平台

基本简介

1.2.1完善了多方面的功能，易用，稳定。

注意：1.2 版本的数据收集器不能兼容以前版本的配置脚本。

具有很强的灵活性，胜任各种不同结构的网站的处理。 有任何使用中的问题请联系: 讨论群: 601169305 QQ: 2146651351 微信: AIChangeLife

使用方法:

1.先分析网站的网页结构，来配置抓取策略（有全面的流程说明，如不懂参考视频教程）。

2.运行脚本，执行数据处理工作。

3. Scrapy开发辅助支持，包括生成Scrapy代码段，将Scrapy Xpath路径直接输入Scrapy脚本。

4.HTTP请求日志 数据输出的方式包括:

1. 通过CSV文件输出 EXCEL等编辑软件 大部分数据库软件支持从CSV文件导入

2. 通过程序内置数据库(SQLITE)输出 SQLITEBrowser支持SQLITE数据库SQL语句查询： http://sqlitebrowser.org/ https://github.com/sqlitebrowser/sqlitebrowser/releases/download/v3.10.0/DB.Browser.for.SQLite-3.10.0-win32.exe 支持广泛，有很多选择

3．通过MYSQL数据库输出(通过官方的MYSQL安装包下载后，直接安装就可以)，数据使用 UTF-8的方式来保存。