自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

yichudu

技术博客

  • 博客(853)
  • 资源 (5)
  • 论坛 (4)
  • 收藏
  • 关注

原创 常用损失函数及tf实现

hinge_lossL(y,y^)=max(0,1−yy^)L(y,\hat y) = max(0,1-y\hat y)L(y,y^​)=max(0,1−yy^​)where y∈{−1,1},y^∈Ry \in \{-1,1\}, \hat y \in Ry∈{−1,1},y^​∈R.cross_entropysquare loss

2019-05-07 14:32:28 566

原创 TensorFlow 常用类与方法

简述Google开源, 支持包括CNN、RNN、LSTM等多种神经网络模型. API 快速参考点 这里. 国内环境可以访问 google 的cn站点, 点 这里。graph 与 sessiongraph 与 session, 前者是静态的神经网络计算图; 后者是有数据流动的动态计算. 就像是程序与进程的关系. Graph=(Node,Edge), 前者叫 operation ...

2017-08-16 09:59:03 1501 2

原创 最优化算法 总述

Newton method牛顿法.Quasi-Newton拟牛顿法.BFGSBFGS, Broyden–Fletcher–Goldfarb–Shanno algorithm.L-BFGSL-BFGS,Limited-Memory BFGSOWL-QNOWL-QN,Orthant-Wise Limited-Memory Quasi-Newton.

2017-06-26 09:30:25 1503

原创 py qt5/PySide2 GUI 编程

Qt 是跨平台的GUI程序开发框架, 由c++编写, 同时提供了 python wrapper. PySide2 就是 基于 py3 对 Qt5 的包装.安装pip install PySide2 .使用 pycharm 直接启动会报错This application failed to start because no Qt platform plugin could be initialized添加环境变量即可, 见参考1.教程见参考[2]参考s.o.f,PySide2 appli

2020-10-07 11:15:46 109

原创 GNN,deep walk 与 LINE

deep walk简述word2vec 工作,skip-gram 模式下的优化目标是 P({vi−2,vi−1,vi+1,vi+2}∣vi)P(\{v_{i-2},v_{i-1},v_{i+1},v_{i+2}\}|v_i)P({vi−2​,vi−1​,vi+1​,vi+2​}∣vi​),即在自然语言序列中,使用当前词预测周围的邻居,最终学习到每个word的向量表示,可以反映它们各自在语义空间中的位置。类比于word2vec, deepwalk希望从graph中学习节点的空间表示。deepwalk

2020-08-14 10:13:09 178

原创 sqlite,轻量级可嵌入的数据库

简介互联网软件中,通常client的数据请求会发送给server, 由server端的数据库完成计算。如淘宝的订单,购物车等功能。那么在单机软件中,想完成数据的增删改查怎么办? SQLite就是这种场景的解决方案。安装去官网 sqlite.org 下载.环境变量将以上下载文件解压,得到截图内容将 D:\Program Files\sqlite 设为环境变量,console 中输入 sqlite 即可。...

2020-08-11 14:36:34 131

原创 SDM,长短期兴趣融合召回

目录SDM简述贡献网络结构user profile preferenceshort-term preferencelong-term preferencelong-short term fusion gatecandidate matchingpaper对比实验我的讨论参考SDM简述贡献在已有的 sequence-based 工作基础上,解决两个问题:session 中存在 multiple interest tendencieslong-term behaviors are various a

2020-08-07 15:44:55 197

原创 因果推断 在 电商权益发放 场景中的应用

本文未完成。应用场景为了促进转化,电商平台(如淘宝,拼多多)通常会给用户发放一些营销权益(红包,满减券等)。那么,如何精细化、个性化地决策,在同样的营销费用支出下,得到更多的转化呢?比如给定用户下,平台要不要发红包,发多大面额的红包,整体ROI才会更高,就需要因果推断建模了。因果推断在上文的电商营销场景下,X代表用户特征,T∈{t∣不同的红包面额}T\in \{t|不同的红包面额\}T∈{t∣不同的红包面额},Y∈{0,1}Y\in \{0,1\}Y∈{0,1}代表用户是否使用红包购物(即对红

2020-08-04 20:22:55 206

原创 推荐系统中的GNN,图神经网络

简述session-based 方法(如 GRU4REC)表现活跃,比 i2i 好用,但被认为其不能建模 item 之间的复杂转移关系,所以GNN类的Rec论文活跃, 通过引入GNN思想可以取得性能提升。参考own blog, SR-GNN,图网络召回MGNN-SPred...

2020-07-26 21:23:11 467

原创 GNN,图神经网络 (LINE,Graph Sage)

简述图指 G=(V,E)G=(V,E)G=(V,E)。参考paper, graphSagewebsite, graphsage

2020-07-24 17:39:11 131

原创 ESMM CTCVR 多任务学习

介绍术语定义CTR,post-view Click-Through Rate,4% 量级。CVR, post-click ConVersion Rate, 5‰ 量级。CTCVR, post-view Click-Through&ConVersion Rate, 二者相乘,万分之二 量级。可以看到有 impression -> click ->conversion 的依赖路径。传统的CVR模型,训练样本就是 post-click items 。但预测时是在 post-v

2020-07-22 12:58:34 389

原创 py word cloud 词云图制作

介绍将一些关键词,以不同的 {大小,颜色,方向} 作可视化展示。wordcloud可以用该py库作词云生成。完整例子from wordcloud import WordCloudimport jiebafont_path = r'C:\Windows\Fonts\simsun.ttc' # 字体, 否则中文易乱码mytext = "不仅产品定位区别于传统导购, 在CTR预估任务上,洋淘更是面临来访用户历史点击少,必须借助商品兴趣的迁移规律作辅助意图理解的挑战.回顾集团内外的典型工作,如

2020-07-20 15:27:02 87

原创 RNN for recommendation,GRU4REC

简述第一次将 RNN 用于 session-based rec。先空着。 反正 bert4rec 都把这些超了。参考GRU4REC,paper,SESSION-BASED RECOMMENDATIONS WITH RECURRENT NEURAL NETWORKS

2020-07-15 20:11:44 131

原创 地理空间计算, geographical computation

GPS坐标国际惯用 (维度,经度).degree 格式、两点间的距离计算三方库from geopy import distanceclass gps: def __init__(self, latitude, longitude): self.latitude = latitude self.longitude = longitude def to_tuple(self): return self.latitude, self.

2020-05-22 14:19:48 152

原创 分类任务简述及超大规模任务设计

鸢尾花分类多类别Multiclass classification: classification task with more than two classes. Each sample can only be labelled as one class.多标签Multilabel classification: classification task labelling each sa...

2020-04-28 16:41:28 191

原创 residual connection, 残差链接

背景更深的网络理论上会有更强的表达能力, 但实际训练中遇到的问题是层数加深后, 训练集误差不降反升.图: layer-20 与 layer-56 的比较, 后者训练集误差更大residual-connection标准实现图: 维度一样, 可以直接相加, 可以是 a+b, 或 tf.add(a,b), 是 element-wise 的op.维度变化论文给出了3中选择.A: ze...

2020-03-27 16:01:03 1838

原创 List-wise Ranking

背景ranking is a prediction task on list of objects. 所以 point-wise, pair-wise 等方法的训练任务与工作场景有差异, list-wise 理应更好.list-wise ranking with S-IE该改论文见参考[1].Session Infomation Embedding (S-IE)算是一个预训练, task...

2020-03-08 15:21:09 575

原创 基于Bert的Vison-Language多模态网络

多模态任务VQA用自然语言对给定图片作相关提问.Image-text retrieval图像-文本 跨模态检索,任务是根据语言描述,从候选中选定相关的图片, 反之亦然, 即也可以给定图片选文本.数据集如MSCOCO ,Flickr30K.模型套路模态表示文本. 同Bert一致, 分词后作 emb_lookup.图片. 用 Faster-RCNN 选定若干个 ROI(Regio...

2020-03-03 16:09:34 549

原创 SR-GNN, 图网络召回

简述将用户的session序列构建成有向图,通过考虑item之间的转移关系, 更好的学习item emb及用户的向量表达.related work一些流行的GNN演变.word2vec, DeepWalk, LINE, node2vec.结构及解读网络结构nodes connectionAsA_sAs​ is defined as the concatenation of two...

2020-02-25 23:04:54 561

原创 MMoE 多任务学习

背景论文见[1].MMoE, Multi-gate Mixture-of-Experts.底层共享,上层拆塔,是多任务学习的常规实现. 论文提出了使用多个expert(其实就是DNN), 并使用多个gate(expert_num 的 softmax) 的架构设计, 直观明了.网络结构图: 多任务学习的网络架构演化, c 为MMoE网络架构gate图: 截自论文的 gate 说明...

2020-02-15 12:13:33 1764

原创 多模态,常用数据集

VQAVisual Question Answeing. 看图并回答用自然语言表述的相关问题. 问题包括The goal of visual question answering (VQA) (Antol et al., 2015) is to answer a natural language question related to an image. We take VQA v2.0 da...

2020-02-06 13:57:04 2456

原创 多模态机器学习,MMML

总述多模态通常指 语音/文本/图像 等不同形态的特征. 同时,模态也可以有非常广泛的定义,比如我们可以把两种不同的语言当做是两种模态.很多人工智能的应用, 会同时涉及到多种模态的信息,所以它成了一个研究分支. 该分支下有以下几个领域.多模态表示学习multimodal representations.是指通过利用多模态之间的互补性,剔除模态间的冗余性,从而学习到更好的特征表示。主要包括两...

2020-01-27 23:43:31 783

原创 tf predict 模型的预测模式

训练模型就是为了让其作预测. 笔记如下.model_fn预测的原理是, tf 进程构建了预测 mode下的计算图, 然后从 model_dir 中恢复变量, 就绪后作预测.# _model_fn 定义def _model_fn(features, # This is batch_features from input_fn labels, # This is...

2020-01-08 15:28:36 1683

原创 数学基础

多项式由数或字母的积组成的代数式叫做单项式,单独的一个数或一个字母也叫做单项式。单项式中的数字因数叫做这个单项式的系数(Coefficient),一个单项式中,所有字母的指数的和叫做这个单项式的次数(Degree of a monomial)。单项式是几次,就叫做几次单项式。在数学中,由若干个单项式相加组成的代数式叫做多项式.整式为单项式和多项式的统称,是有理式的一部分.因式分解, 是指...

2020-01-05 10:40:09 91

原创 tensorflow, 从指定ckpt中恢复variable

用途使用 tf.train.init_from_checkpoint(ckpt_dir_or_file, assignment_map) ,可以从ckpt中导入变量值, 不必自己 initialize.assignment_map描述了 ckpt_var -> current_var 的映射关系.普通 variable当变量不分片时, graph中的name形如shared_emb_...

2019-11-28 19:37:29 719 1

原创 py 继承

语法py 支持多继承.class A: # 定义父类 def __init__(self, a=None): pass def myMethod(self): print('调用父类方法')class B: # 定义父类 def __init__(self, b=None): passclass C(A, B)...

2019-11-11 15:37:24 114

原创 tensorflow 分布式训练

ps负责存储参数.workerworker_0 是固定的 chief 角色.worker_1 是固定的 eval 角色, 不参与训练. 每隔指定的时间检查有无最新的ckpt文件, 对其加载后从 eval_input_fn 读指定step的数据.需要注意每次eval时读到的数据都是完全相同的.ps/worker 通信注意事项分布式环境中, tf.gradient() 不被支持....

2019-09-13 21:09:24 130

原创 bert 及 GPT

简述bert, Bidirectional Encoder Representations from Transformers.pre-train: 在超大语料上做无监督学习,可以得到token的通用表达. .fine-tune: 在预训练模型最后加一层task-specific的layer, 然后 fine-tune 所有的parameter, 即可得到令人满意的结果.released ...

2019-08-25 21:22:06 176

原创 py random

引入import random常用函数random.Random#__init__(self,x)构造函数, x为随机数种子.random.Random#shuffle(self,x)Shuffle list x in place, and return None.random.Random#random(self,)产生[0,1)的浮点数.random.randint(sel...

2019-08-23 22:53:29 135

原创 推荐系统常用评估指标

AUC同普通二分类问题的评价.Recall描述预测的topN, 与 用户实际点击的交集大小, 除以 实际点击的集合大小.公式(1)recall@N=∑useri∣{predictTopN}∩{click}∣∑useri∣{click}∣recall@N = \frac {\sum_{user_i} |\{predictTopN\}\cap \{click\} |} {\sum_{us...

2019-05-05 16:58:54 2883

原创 transformer 翻译模型

transformergoogle 出品, 基于 encoder-decoder 架构的 seq2seq 自然语言翻译模型. paper 见参考[1].创新之处是弃用 RNN,CNN 这样的结构, 采用 self-attention 与 positional-encoding 来简化结构, 加速训练, 并提升效果, 取得了 SOTA 成绩.BLEU 评测指标BLEU, BiLingual...

2019-04-21 23:33:36 1881

原创 gdb 使用

分析 core 核心转储文件程序崩溃时, 会有核心转储文件生成, 方便定位有异常的栈.下面这个例子中, #6位置有空指针, 所以异常.$gdb binary/home/admin/d2_runtime/bin/sap_server_d suez_worker/core-500-sap_server_d-3504-1553079090 (gdb) bt#0 0x00007f71ae6fc...

2019-03-21 10:52:43 226

原创 Docker for windows 常用操作

安装win 10 系统可用.以下操作均可在console中完成.容器管理初次安装并启动--name 容器中的用户账户名--net=host 使用本机网络-v a:b 本地磁盘与容器文件系统的映射. windows盘符的d:需要转换为/d/.-it 分配一个伪中断, 使用标准输入流.reg.docker.alibaba-inc.com/dii/dii_alios7u2_dev ...

2019-03-15 15:29:13 753

原创 WSL, Windows 中运行 linux 子系统

WSL, Windows Subsystem for Linux.安装网上很多教程. 见参考[1] .Microsoft Store | 搜索 linux | ubuntu设置 | 安全 | 启用开发人员模式运行 | optionalfeatures.exe | 启用或关闭windows功能 | 适用于linux的Windows 子系统 | 打勾完成以上步骤, 重启. 设置用户名,...

2019-03-14 15:02:02 684

原创 使用latex写算法伪代码

伪代码具有通用(编程语言无关), 简洁(数组越界,判空什么的都可省去)的特点, 是用来描述算法过程的好工具.基于latex使用algorithm2e 这个包可以清晰地得到pdf格式的伪代码.参考pdf官方文档,algorithm2e...

2019-02-11 14:08:28 16112 3

原创 Latex in KeTex 模板

参考supported functions-katex例子通用E=mc2E=mc^2E=mc2分段函数x={aif bcif dx = \begin{cases} a &\text{if } b \\ c &\text{if } d\end{cases}x={ac​if bif d​方程展开a=1+1+...

2019-01-22 14:59:48 283

原创 机器学习相关会议

NeurIPSNeural Information Processing Systems.https://nips.cc/ICMLInternational Conference on Machine Learning.https://icml.cc/IJCAIInternational Joint Conferences on Artificial Intelligence.ht...

2019-01-16 14:48:07 388

原创 线性模型中的特征工程

LR 模型靠特征的共现, 来记住它们对ctr的贡献.除去常规的特征交叉, 还要有一些ctr类的统计数据, 罗列见下.item 侧不同维度下, 多个内容的整体消费差异一个类目下,所有内容的ctr一个商铺下,所有内容的ctr不同维度下, 一个内容的消费差异一个内容, 在不同性别/年龄人群下的ctr一个内容, 在不同购买力人群下的ctruser 侧不同维度下, 一个人的消费偏好差异...

2018-12-26 15:22:44 585

原创 推荐系统数据集

RecSys 2015见参考[1].RecSys Challenge 2015.一家电商网站的点击和购买日志.train setSession ID, Timestamp ,Item ID ,Category ,Price , Quantity (how many of this item were bought)test setSession ID,Timestamp,Item ...

2018-12-11 11:14:25 3402 2

原创 点击率 ctr 与停留时长 dwell time

参考JUMP: A Joint Predictor for User Click and Dwell Time

2018-12-05 14:27:21 1304

win7防音量过大自干预程序_ vs2010完整解决方案.zip

  Windows是一个多任务操作环境,在同一时刻允许多个应用程序共同输出自己的声音。在这多个程序中,一旦任一进程的音量失常就会严重影响用户的听觉体验。该项目通过Direct X编程在对声卡缓冲区进行音频数据捕获后进行语音信号短时域分析,然后通过Core Audio API进行音量上的实时干预,防止音量大幅突变从而破坏用户本已舒适的听觉体验。 2 项目实现 2.1录音部分 2.1.1枚举录音设备 2.1.2创建设备对象 2.1.3创建录音buffer 2.2波形分析 2.3声音干预

2013-09-21

DirectSound开发手册

DirectX,(Direct eXtension,简称DX)是由微软公司创建的多媒体编程接口。由C++编程语言实现,遵循COM。被广泛使用于Microsoft Windows。这里是directx 开发实用技巧。

2013-02-01

JEB(android apk 逆向)

JEB,apk逆向神器。整合jython与swt library,可直接运行于win64环境。

2016-02-02

JEB.android_apk_decompiler.zip

JEB,apk逆向工具神器。整合swt-library与jython。直接可以运行。

2016-02-02

apktool_2.0.0rc4.suit.zip

用于将apk逆向为目录,内含字节码文件。 version:2.0.0rc4 使用方法:内含readMe。

2016-02-02

yichudu的留言板

发表于 2020-01-02 最后回复 2020-01-02

markdown 下, 强烈需要 直接粘贴截图的功能

发表于 2018-04-02 最后回复 2018-04-03

关于set在两个编译器中不同表现的疑问

发表于 2014-10-25 最后回复 2014-10-25

code代码片名称bug

发表于 2014-04-23 最后回复 2014-07-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除