ubuntu16.04 配置爬虫环境

MySQL

安装

  sudo apt-get install mysql-server(若安装有误,则update再安装,记得设置root密码)

配置

  远程访问:1 进入/etc/mysql 找到my.cnf指向的俩个路径,进入其中一个更改bind为0.0.0.0或者注释掉;

       2 进入mysql,通过命令grant all privileges on *.* to "user_name"@"user_ip"  identified by "user_password";   即赋予某用户,在所有数据库下的所有权限                                              (可更改)最后记得刷新flush privileges;

  检查mysql是否启动:ps -ef | grep mysqld

  mysql的启动,重启和停止:service mysql start,restart,stop 或者systemctl start,restart,stop mysql(系统不同操作不同)

  mysql编码问题(默认为latin1,以改为uft8为例改为):进入/etc/mysql下,进入my.cnf查看其中俩条路径,进入conf.d 下进入mysql.cnf 添加 default-character-set =utf8,保                                                                                                     存退出后,进入第二路径mysql.conf.d 进入mysql.conf 在[mysqld]中添加 character-set-server = utf8,最后重启mysql

                            数据库,表,字段的编码见sql语句

Redis

安装

  sudo apt-get install redis-server

配置

  远程访问:进入redis.conf文件中,如若要允许所有访问 注释掉bind 127.0.0.1(redis 3.2后,protected-mode no) 或者更改为bind 0.0.0.0  若指定多个ip可在bind后面·        添加

  redis的启动,重启和停止:service redis start,restart,stop 或者systemctl start,restart,stop redis(系统不同操作不同)

pycharm

  去pycharm官网安装linux版本,解压,在 pycharm.sh路径中通过./pycharm.sh启动pycharm(绑定pycharm在启动栏,一劳永逸)

python

  Ubuntu自带python2.7和python3.5,以python3为例

  安装pip  sudo apt-get install python3-pip

  升级pip  sudo pip3 install --upgrade pip

  ubuntu下pip很方便,安装包很少出现依赖问题,最多出现timeout

  豆瓣源  http://pypi.douban.com/simple

  具体使用 pip3 install -i http://pypi.douban.com/simple  this_package

docker

安装 

  sudo apt-get install docker

  sudo apt-get install docker.io

配置共享文件:sudo docker run -tiv 主机path:docker path image_id /bin/bash

防火墙

可安装ufw

sudo apt-get install ufw

ufw stauts 显示防火墙状态
ufw enable 开启防火墙
ufw disable 关闭
ufw allow 80 允许外部80端口访问
ufw delete allow 80 禁止。。。。。。
ufw allow from 127.12.1.1 允许这个ip下所有端口的访问%
ufw deny smtp 禁止 外部smtp访问

                            

原文地址:https://www.cnblogs.com/kilort/p/8434224.html

时间: 2024-08-14 16:39:31

ubuntu16.04 配置爬虫环境的相关文章

Ubuntu16.04下LAMP环境的安装与配置

Ubuntu16.04下LAMP环境的安装与配置 最近做个实验需要用到Ubuntu环境的靶场,所以这里介绍下Ubuntu环境下LAMP的安装与配置,话不多说,我们gkd! 1.Apache2的安装 首先确保机器已经进行了sudo apt-get update && sudo apt-get upgrade,如果速度慢请换源,这里我使用的是清华源. sudo apt-get install apache2,安装信息省略,一般安装结束之后apache会自动开启. systemctl statu

ubuntu16.04配置openproject开发环境步骤

OpenProject开发环境搭建 系统要求:ubuntu-16.04.2-desktop-amd64.iso 系统安装教程参考: https://jingyan.baidu.com/article/359911f5afb04257fe0306c7.html 新系统安装ssh.vim.git 安装ssh sudo apt-get update sudo apt-get install openssh-server   #安装ssh(默认大部分已安装) sudo ps -aux|grep ssh

Ubuntu16.04配置Android5.0编译环境

1.安装jdk7 Ubuntu16.04的安装源已经默认没有openjdk7了,所以要自己手动添加仓库,如下: $ sudo add-apt-repository ppa:openjdk-r/ppa $ sudo apt-get update 安装openjdk-7-jdk $ sudo apt-get install openjdk-7-jdk openjdk-7-jre 如果安装成功之后还是不能用可能有多个版本,执行如下命令选择正确的版本:$ sudo update-alternatives

py-faster-rcnn + opencv3.0.0 + ubuntu16.04配置

最近开始做行人检测,因此开始接触faster-rcnn,这里贴上配置教程(亲测可行),不过是基于cpu的,蓝瘦... 参考博客:http://www.tuicool.com/articles/nYJrYra(opencv配置) http://blog.csdn.net/sinat_17196995/article/details/53410292(faster-rcnn配置) 环境:ubuntu16.04 一.首先要配置好opencv 这里我是在opencv官网上下载了opencv-3.0.0-

caffe在ubuntu16.04配置流程

先说废话:在导师办公室2天+自己在家一天终于完成了caffe的配置,(上一篇随笔说好每天更新blog没有做到但我真的有在忙= =)整个过程掉坑无数,还好lucky enough配置完毕,趁着在跑cifar-10的train_full的时间整理一下整个流程,等导师的titanx到了以后还要再配置一次. env:Alienware17-R3, Ubuntu16.04 64-bit, NVIDIA Geforce GTX 980m (导师科研经费买的titanx没到,我的外星人只好先充公了,哈哈) 配

vm虚拟机下的ubuntu16.04配置静态ip(NAT方式)

最近在vm上写项目的过程中,需要通过windows上的navicat连接虚拟机上的mysql,发现每次重启虚拟机其下的ubuntu16.04系统ip都不一样,导致原先在navicat配置好的连接无法使用.于是就想到需要给vm中的系统配置一个不会变化的ip,经过上网查找相关资料,并根据自己的实践情况,现将整理一下笔记. 给vm虚拟机配置静态ip,可以使用交接的方式,但由于VAT方式配置的话集群会更好一些,所以推荐使用NAT方式. 1. 将主机网卡的网络共享给VMnet8 在桌面上找到[网络]-->

ubuntu16.04搭建opencv3环境

为了搭建opencv3,看了各种教程,装了卸,卸了装,多次失败后,在几篇文档的借鉴下,终于是成功搭建了环境. 首先,更新ubuntu上的一些库: sudo apt-get update sudo apt-get upgrade 其次,需要安装一些搭建opencv3的库(要在opencv3搭建前安装好) 具体需要的库如下: sudo apt-get install cmakesudo apt-get install build-essential libgtk2.0-dev libavcodec-

Ubuntu16.04安装爬虫框架scrapy

scrapy框架需要在Python 2.7,lxml,OpenSSL,pip程序或库的基础之上创建. 因此 ,首先,先检查下是否包含上述四个程序或库 [email protected]:~$ python Python 2.7.12 (default, Jul  1 2016, 15:12:24)  [GCC 5.4.0 20160609] on linux2 Type "help", "copyright", "credits" or &quo

php入门一ubuntu16.04中php环境配置及一个网页

1.PHP(全称:PHP:Hypertext Preprocessor,即"PHP:超文本预处理器")是一种通用开源脚本语言. 2.PHP 文件可包含文本.HTML.JavaScript代码和 PHP 代码,PHP 代码在服务器上执行,结果以纯 HTML 形式返回给浏览器,PHP 文件的默认文件扩展名是 ".php". 3.PHP 可以生成动态页面内容.创建.打开.读取.写入.关闭服务器上的文件.收集表单数据.发送和接收 cookies.添加.删除.修改您的数据库中