Massive Data Mining学习记录

第一周:

学习PageRank,

知识点:每个节点的权值由其他节点的投票决定,所有节点的权值和为1

当节点很多时候必须转换成矩阵运算来计算节点的最终值,由马尔可夫链可以证明,这个值可以迭代得到

问题:可能出现无出度节点,导致总体失衡

解决办法:每个节点的入读权值矩阵M‘ = 0.8*M + 0.2*1/n,以0.2的概率跳出当前节点

模拟代码:

(ns myclojure.core
  (:use [incanter core stats charts io]))

(def M (matrix [[1/2 1/2 0] [1/2 0 0] [0 1/2 1]]))
(def r (matrix [1/3 1/3 1/3]))
(def T (matrix [r r r]))

(defn fir
  []
  (loop [rr r t 20]
    (if (pos? t)
      (do (println (str t rr))
          (recur (mmult (plus (mult 0.8 M) (mult 0.2 T)) rr) (- t 1)))
      rr)))

(defn -main
  "I don‘t do a whole lot."
  [& args]
  (fir))

(fir)
时间: 2024-10-28 06:43:37

Massive Data Mining学习记录的相关文章

Big Data Analytics and Data Mining 第一天.

今天是上课的第一天.真心很感激导师能让我出来学习.今天突然觉得自己要好好学习英语.并不是上课的时候我看不懂裴教授的课件.而是觉得如果英语不好就很像乡巴佬那样,很难接触到高级的东西. 通过今天的听讲,我感觉对数据挖掘的理解更深刻些. 以前总觉得自己研究生的目标是要好好学习算法,好好学习相关的技术. 现在觉得除了要好好学习算法外,我也期待自己能做出一些研究. 记录下今天讲课的内容. 今天我觉得主要讲了三部分: 1,数据挖掘相关的概念及相关的学术期刊. 从广义上来定义数据挖掘:The art of d

搭建Data Mining环境(Spark版本)

前言:工欲善其事,必先利其器.倘若不懂得构建一套大数据挖掘环境,何来谈Data Mining!何来领悟“Data Mining Engineer”中的工程二字!也仅仅是在做数据分析相关的事罢了!此文来自于笔者在实践项目开发中的记录,真心希望日后成为所有进入大数据领域挖掘工程师们的良心参考资料.下面是它的一些说明: 它是部署在Windows环境,在项目的实践开发过程中,你将通过它去完成与集群的交互,测试和发布: 你可以部署成使用MapReduce框架,而本文主要优先采用Spark版本: 于你而言,

libgdx学习记录19——图片动态打包PixmapPacker

libgdx中,opengl 1.x要求图片长宽必须为2的整次幂,一般有如下解决方法 1. 将opengl 1.x改为opengl 2.0.(libgdx 1.0版本后不支持1.x,当然不存在这个问题,这里针对的是0.9.9版本) 2. 使用TexturePacker将图片打包好然后作成一张大图添加进来. 第二种方法是常用方法,但是不太灵活,添加.删除某些图片不太方便,改动较大.这里可以考虑使用PixmapPacker将图片进行动态打包. 主要方法: pack(String name, Pixm

libgdx学习记录23——图片移动选择

模拟移动选择图片,采用相机实现. 1 package com.fxb.newtest; 2 3 import com.badlogic.gdx.ApplicationAdapter; 4 import com.badlogic.gdx.Gdx; 5 import com.badlogic.gdx.graphics.Color; 6 import com.badlogic.gdx.graphics.GL10; 7 import com.badlogic.gdx.graphics.Texture;

Settings app简单学习记录

Settings是android系统设置的入口.主界面由Settings.java以及settings_headers.xml构成. Settings类继承自PreferenceActivity,而PreferenceActivity又继承自ListActivity,ListActivity拥有ListView和ListAdapter类型的成员变量. 1,如何使用PreferenceActivity构建页面 使用addPreferencesFromIntent或者addPreferencesFr

Python学习记录-20160108

今日学习记录: f = open("song2", "w", encoding="UTF-8")#文件句柄,以写的模式打开文件,如果没有,就新建一个文件 f.write("我爱北京天安门,")#写入语句 f.write("\n天安门上太阳升.")#写入加入换行符的语句 f.close()#关闭文件 f = open("song2", "a", encoding=&qu

data mining,machine learning,AI,data science,data science,business analytics

数据挖掘(data mining),机器学习(machine learning),和人工智能(AI)的区别是什么? 数据科学(data science)和商业分析(business analytics)之间有什么关系? 本来我以为不需要解释这个问题的,到底数据挖掘(data mining),机器学习(machine learning),和人工智能(AI)有什么区别,但是前几天因为有个学弟问我,我想了想发现我竟然也回答不出来,我在知乎和博客上查了查这个问题,发现还没有人写过比较详细和有说服力的对比

Introduction to Data Mining

(此文为学习笔记,课程来自Bigdata University:http://bigdatauniversity.com.cn/courses/BigDataUniversity/PA0101/2016_06/courseware/c4323451afcd4b05946917efc8fc86f5/be5f0606db034b559b014e87ab62e418/) Why we do data mining? Market Context. Analytics Drive Decision-Ma

ELK stack 学习记录

ELK日志分析平台学习记录 首先ELK主要指elasticsearch .logstash 和kibana,三个开源软件组合而成的一套日志平台解决方案.可以将平时收集到的日志,通过前台展示出来,并且可以加以分析,理论上可以解放劳动力(再也不用干上生产取日志这种活了--很搓). 最近在研究ELKstack日志分析平台,网上相关的中文资料不多.所以呢也就写了这篇文章将自己的一些学习认识总结记录下来,基本偏实战,概念理论较少,概念这块,我想以后可以再开一篇文章来做一个阐述总结. 这篇文章中会先讲一下搭