2015-2-19 log

I checked the combine2vec code and found a bug. In negative sample mode, I did not update the input word vector when the sample is positive. I fixed the bug, but the two objective functions still did not converge together.

I adapted word2vec training startegy in sentence branch. There may be bugs. Because too many biword count values are zero. I need to check the cooccurrence file, bigram code and sentence branch combine2vec code.

I collected gradient statistics yesterday. Interesting phenomenan:

1. If exchange "word" and "last_word" in skip-gram model in the word2vec code, the traing loss become much smaller and the training speed is almost twice higher. This is wired.

2. The gradient variation trend is different between the above two approach.

3. Ployseme may not converge well, so their gradient is large. In reality, words apperaed rearly also produc large gradient.

Read Sequence to sequence learning.

Configured PyCharm.

Checked GroundHog code. It contains enconder-decoder machine translation code. But it is more than 3000 lines. So I will implement sequence to sequence learning code first.

Today I sitll wasted a lot of time.

5:00-6:00 Browsed websites.

7:30-8:30 Gone out and ate litta pizza. Honostly, I did not need the supper.

8:30-10:00 Wasted a  lot of time wandering. Checked the GroundHog code, Configured PyCharm, but never face the real problem. Just implement the sequence to sequence learning first.

时间: 2024-10-11 07:16:29

2015-2-19 log的相关文章

【谜客帝国】第十一届阳光原创联想题会(2015.1.19)

谜客帝国第十一届阳光原创联想题会(2015.1.19)主持:阳光      计分:瓷1.取胜全靠兴奋剂 赤膊上阵遭败绩 屡败屡战是为何 拒绝吃药打点滴 3 不服输2.良月圆十分 坐山观虎斗 伤愈再请战 南非一地名 3 好望角3.感情深,一口闷  天初暖,日初长  苹叶软,杏花明  丛树深,万花芳 3 春光好[注:二面出自 唐  欧阳炯<春光好·天初暖>,三面出自 唐  和凝<春光好·苹叶软>,四面出自马彦<春光好.鼋头渚>]4.三言两语 乘法口诀 计座谈 言行一致  4

2015.5.19——vector型的输入输出

vector型的输入输出 在上节2015.5.18——leetcode:Majority Element中纠结vector的动态输入输出问题,但是发现vector传参型的不可以动态输入输出,但是vector可以,附上运行代码. 代码: 1 #include "stdafx.h" 2 #include "vector" 3 #include "iostream" 4 using namespace std; 5 6 int main() 7 { 8

2015第19周五《象与骑象人》《瞬变》读书笔记

维吉尼亚大学心理学家乔纳森·海特在他那本名为<象与骑象人>的书中类比:我们身上情绪化的一面,就是一只“大象”.而我们身上理性化的一面,则是这只大象的“骑象人”.这位骑象人坐在大象的背上,享有支配权,看上去是大象的主宰者.但是事实上,这位骑象人的控制权却是不稳固的.因为跟这只大象比较起来的话,他是如此的微不足道.每当这只6吨重的大象不愿意按照他所指出的方向前进的时候,这位骑象人就会失掉主动权,并被彻底打败.对于我们中的绝大部分人来说,大象打败骑象人,是我们生活中已经习以为常的事情. 乔纳森将自我

2015.10.19 福州大学第九届程序设计竞赛

FZU 2086 餐厅点餐 枚举 练的时候以为是dp---(事实上这场只做了10来分钟---就愉快地滚去吃饭了---) 1 #include<cstdio> 2 #include<cstring> 3 #include<iostream> 4 #include<algorithm> 5 using namespace std; 6 int A,B,C,D,E; 7 int a[15];//汤 8 int b[15];//饭 9 int c[15];//面 1

一周技术动态2015.7.19

容器技术 1. docker 7月刊 http://dockone.io/article/503 要点: dockone 总结的7月份 docker 技术动态 2. 新浪SCE Docker最佳实践 http://dockone.io/article/416 要点: 本文分享了 docker 在新浪 SCE 中遇到的问题和解决方案, 从这些解决方案中可以看到, 没有最好的解决方案, 只有最适合的解决方案. 服务化和资源管理技术 1. Kubernetes 1.0发布,KubeCon也来了 htt

学习小记(2015/10/19)——工作中遇见的一个关于jQuery选择器的小要点。

jQuery是现在非常流行的js库,其中封装了很多很酷炫的功能,其中强大的选择器功能是必不可少的.由于jQuery的选择器,我们能够快速的从许多元素中选中我们需要的目标,从而进行后续的工作.今天,我就讲一下jQuery的我使用jQuery遇见的一个小要点. 当时,我使用jQuery是准备将所有页面上的多选框选中,再对其中某一个进行操作.我是这样做的:HTML: <!DOCTYPE html> <html> <head lang="en"> <m

2015第19周四jquery版本

今天用到一个jquery插件,发现最新版需要jquery2.0以上版本才行,而目前项目在用的版本是1.8.3,自然无法使用,刚看了jquery的主要版本和差异,直接百度搜索无满意结果,最后在百科中给出了较详细的说明. jQuery 1.0 (2006年8月):该库的第一个稳定版本,已经具有了对CSS选择符.事件处理和AJAX交互的稳健支持.jQuery 1.1 (2007年1月):这一版大幅简化了API.许多较少使用的方法被合并,减少了需要掌握和解释的方法数量.jQuery 1.1.3 (200

2015/10/19总结:ajax传参、jquery.validate自定义日期校验

以下内容仅来自于日常实践零碎回顾.总结,不保证正确性,欢迎路过的大神指点指点! 1.这几天一直在写jsp前端页面,了解到前端与后端数据交互数据有两种.一种是form 的submit方式提交,这种方法可以在表单里通过声明属性:method = 'post'声明表单提交的方式(要与后台的controller的RequestMethod属性对应),  action = ‘ url’声明表单提交后跳转的页面(好像采用这种方式一般都要跳转页面).另一种方式就是通过ajax提交,ajax提交和响应的数据方式

2015第19周三小众app

今天搜集下个人知道好玩的小众app: 1.开眼每日推荐5个小视频,世界那么大,一起来看看吧. 2.懒人周末周末去哪了?简洁美观 3.LOFTER 网易良心出品. 4.玩儿去 发现很多很多好玩的去处 5.厨房故事 有了它,你会爱上厨房 6.最美应用 7.格志

记忆碎片 - 2015.2.19新年到!

工作顺利,技术更强,身体健康,幸福平安,我爱的人平安幸福~