中国A股分析系统---核心题材爬虫

先抓取一个页面的内容,以后再慢慢完善。

#东方财富A股核心题材爬虫系统0.1
#python版本:2.7
#
import urllib2
import urllib
import re

#建立爬虫的类HeXin_Spider
class HeXin_Spider:

  def __init__(self):
    pass

  #Scode是股票代码,在考虑是不是用元组传入
  def GetPage(self,Scode):
    MyUrl = "http://f10.eastmoney.com/f10_v2/CoreConception.aspx?code="+Scode
    MyReq = urllib2.Request(MyUrl)
    MyResponse = urllib2.urlopen(MyReq)
    Mypage = MyResponse.read()
    unicodePage = Mypage.decode("utf-8")
    MyItems = re.findall(‘<div class="summary">(.*?)</div>‘,unicodePage)
    #返回抓取到的核心题材的内容。
    return MyItems[0]
时间: 2024-11-08 13:00:50

中国A股分析系统---核心题材爬虫的相关文章

8分钟掌握Linux内核分析的核心科技

Linux的最大的好处之一就是它的源码公开.同时,公开的核心源码也吸引着无数的电脑爱好者和程序员:他们把解读和分析Linux的核心源码作为自己的最大兴趣,把修改Linux源码和改造Linux系统作为自己对计算机技术追求的最大目标. Linux内核源码是很具吸引力的,特别是当你弄懂了一个分析了好久都没搞懂的问题:或者是被你修改过了的内核,顺利通过编译,一切运行正常的时候.那种成就感真是油然而生!而且,对内核的分析,除了出自对技术的狂热追求之外,这种令人生畏的劳动所带来的回报也是非常令人着迷的,这也

ELKR分布式搭建nginx日志分析系统

ELKR分布式搭建nginx日志分析系统 一.名词介绍 1.什么是elk ELK 其实并不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写,Elasticsearch,Logstash 和 Kibana.这三款软件都是开源软件,通常是配合使用. 2.Elasticsearch 2.1.Elasticsearch介绍 Elasticsearch 是一个实时的分布式搜索和分析引擎,它可以用于全文搜索,结构化搜索以及分析.它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引

腾讯分析系统架构解析

TA(Tencent Analytics,腾讯分析)是一款面向第三方站长的免费网站分析系统,在数据稳定性.及时性方面广受站长好评,其秒级的实时数据更新频率也获得业界的认可.本文将从实时数据处理.数据存储等多个方面带你深入探寻TA的系统架构及实现原理. 网站分析(Web Analytics)主要指的是基于网站的用户浏览行为,对网站的点击流数据和运营数据进行分析,以监控网站的运营状况,为网站的优化提供决策依据.网站分析系统已成为站长日常运营必不可少的工具,业界比较流行的网站分析系统主要有Google

国内主流新一代用户行为分析系统选型过程分享

企业在选择用户行为分析工具时,大都不清楚如何选择适合自己业务的用户行为分析工具.笔者自己公司之前网站分析用百度统计APP分析用友盟,公司是做电商行业的,最近公司提出要精细化运营,用数据驱动业务增长,因此在10月份分别考察了国内做得比较出色的几家公司:数极客(阿里系).神策数据(百度系)和GrowingIO(LinkedIn系)三家公司的用户行为分析产品. 我在选型过程中将各家公司的功能和服务对比文档进行整理,从团队背景和产品定位.数据接入方式.定量分析功能.定性分析功能.二次开发与数据应用.服务

千亿级数量下日志分析系统的技术架构选型

?? 随着数据已经逐步成为一个公司宝贵的财富,大数据团队在公司往往会承担更加重要的角色.大数据团队往往要承担数据平台维护.数据产品开发.从数据产品中挖掘业务价值等重要的职责.所以对于很多大数据工程师,如何根据业务需求去选择合适的大数据组件,做合适的大数据架构工作就是日常工作中最常遇到的问题.在这里根据七牛云在日增千亿级的日志分析工作,和大家分享一下大数据技术架构选型的一些经验.? 大数据架构师在关注什么 ?在一个大数据团队中,大数据架构师主要关注的核心问题就是技术架构选型问题.架构选型问题一般会

从零起步 系统入门Python爬虫工程师

课程目录及大纲: 第1章 从零开始 系统入门python爬虫工程师-课程导学 获取课程资料链接:点击这里获取 这是一门专门为爬虫初学者打造的教程,从零起步的系统化教程,课程内容从理论到实践,一层一层深入讲解,尤其是课程实战环节:一步一步带你进行多场景项目实践 ,让你能够举一反三从容面对以后的数据抓取问题,最后关于就业部分,重点,难点,针对性讲解,轻松应对面试,最终达到就业水准.... 1-1 从零开始 系统入门python爬虫工程师-课程导学 试看第2章 彻底解决让人头疼的环境搭建问题 视频教程

基于SSM框架下的JAVA智能疾病致病因素专家分析系统

今天将为大家分析一个智能疾病致病因素专家分析系统(任何疾病的发病都是由主观或客观原因造成的.本命题希望能实现通过较简单的医患对话,将有关信息输入计算机就可大致分析出患者疾病类型,为医生进一步确诊提供科学的信息.),该项目使用框架为SSM(MYECLIPSE),选用开发工具为MYECLIPSE.智能疾病致病因素专家分析系统为一个 后台项目.为了完成该系统,我们首先需要对该系统进行需求分析.一个智能疾病致病因素专家分析系统应包含用户角色有管理员.用户.为了能让用户顺利登陆系统完成相关操作,需要为每种

CentOS7下Elastic Stack 5.0日志分析系统搭建

一.概述 Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. Logstash是一个开源的用于收集,分析和存储日志的工具. Kibana 也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以汇总.分析和搜索重要数据日志. Beats是elasticsearch公司开源的一款采集系统监控数据的代理ag

Linux下安装部署AWStats日志分析系统实例

AWStats是使用Perl语言开发的一款开放性日志分析系统,可分析Apache网站服务器的访问日志,还可以用来分析Samba.Vsftpd.IIS等日志信息.       此文章主要讲解如何在linux系统下安装部署关于对Apache网站服务站日志分析的AWStats. 实验步骤一,安装部署AWStats分析软件. 一,安装AWStats软件包. 直接将其解压到/usr/local/awstats目录下即可完成安装. 使用命令:mkdir -p /usr/local/awstats tar z