-
关联规则挖掘——Apriori算法
所属栏目：[大数据] 日期：2021-01-18 热度：177
前言 大二的时候，一个老师为了勾起我们对数据挖掘的兴趣，老是问我们这个问题：你们知道超市为什么要把啤酒跟尿布放在一起吗？但是从来没告诉我们答案。现在，很多人都听过这个问题，觉得很平常，但是那时的我真觉得挺神奇的。直到后来，了解了关联规则挖[详细]
-
在「不稀缺」的商业世界，如何挖掘稀缺的资源？
所属栏目：[大数据] 日期：2021-01-18 热度：144
副标题#e# 要生存壮大，就要找到新的稀缺资源， 并且想尽办法掌握在自己手中。 文 | 曲凯 编者按：本文来源42章经（ID：MyFortyTwo），一家生产原创优质内容的科技媒体，誓同有趣、有料、有企图心的灵魂共成长。 “Technology increases access to what is[详细]
-
新闻中文本地域信息标签的抽取
所属栏目：[大数据] 日期：2021-01-18 热度：129
这里主要是基于规则的新闻地域提取方法，这里简要记录一下思路。 首先我们拥有了地域信息数据库，并且标注了省市的layer层信息。主要思路是利用nlp库，分词得到标有地名属性词，在于地域数据库匹配。 第一步，提取正文分词得到标注为地名的词语。 第二步，[详细]
-
[POJ 1811 Prime Test] Miller_Rabin + Pollard_rho 大数质数判
所属栏目：[大数据] 日期：2021-01-18 热度：160
[POJ 1811 Prime Test] Miller_Rabin + Pollard_rho 大数质数判断/质因子分解模板 题目链接：[POJ 1811 Prime Test] 题意描述：判断N是否为质数，如果是，求最小的质因子( 2≤N254 )。 解题思路：Miller_Rabin + Pollard_rho 模板走起。 #include ctime#in[详细]
-
【报名】工业大数据深度挖掘应用与技术实现——清华大数据“技术
所属栏目：[大数据] 日期：2021-01-17 热度：71
大数据与工业数据的结合，使制造过程能进行分析、推理、判断、构思和决策等。通过人与机器的合作共事，去扩大、延伸和部分地取代人类专家在制造过程中的脑力劳动。它把制造自动化的概念更新，扩展到柔性化、智能化和高度集成化。然而，这一切又都必须服从[详细]
-
阶乘的精确值（大数）
所属栏目：[大数据] 日期：2021-01-17 热度：71
首先确定阶乘的位数。 我们知道整数n的位数的计算方法为：log10(n)+1 故n!的位数为log10(n!)+1 ? 如果要求出n!的具体值，对很大的n（例如n=1000000）来说，计算会很慢，如果仅仅是求阶乘的位数，可以用斯特林(Stirling)公式求解 ? 斯特林（Stirling）公式[详细]
-
LSHForest进行文本相似性计算
所属栏目：[大数据] 日期：2021-01-17 热度：84
LSH Forest: Locality Sensitive Hashing forest,局部敏感哈希森林， 是最近邻搜索方法的代替，排序实现二进制搜索和32位定长数组和散列，使用hash家族的随机投影方法近似余弦距离。 随机投影树，对所有的数据进行划分，将每次搜索与计算的点的数目减小到[详细]
-
【R语言数据处理】一步一步来分析数据之不知哪位收集的淘宝推荐
所属栏目：[大数据] 日期：2021-01-17 热度：50
文件名：淘宝最全年货大促特价整理 数据我先传百度云了，分享一下，你们看了就知道是什么样子的了，我改了一下名字，文件名：tbtj.xls 360云盘：https://yunpan.cn/cMTiN2Lyk5MpK 访问密码 d2cc 百度云：http://pan.baidu.com/s/1hsBHuGO 我们先来看下里面[详细]
-
DB、ETL、DW、OLAP、DM、BI关系结构图
所属栏目：[大数据] 日期：2021-01-17 热度：55
（1）DB/Database/数据库——这里一般指的就是OLTP数据库，在线事物数据库，用来支持生产的，比如超市的买卖系统。DB保留的是数据信息的最新状态，只有一个状态！比如，每天早上起床洗脸照镜子，看到的就是当时的状态，至于之前的每天的状态，不会出现的你[详细]
-
R语言-数据处理
所属栏目：[大数据] 日期：2021-01-17 热度：120
Reading Data 读取表格数据的函数read.table()以及read.csv() readLines()用于逐行读取文本文件 source()读取R代码的重要函数 dget()用来读取R代码文件 load()和unserialize()用于把二进制对象读入R Writing Data write.table() writeLines() dump() dput([详细]
-
简单粗暴的“大数据“解决方案
所属栏目：[大数据] 日期：2021-01-17 热度：180
这里说“大数据”确实有点哗众取宠，但确确实实是解决一些大数据量的情况。比如常用的布隆过滤器(BloomFilter)、常用的文本相似比较算法SimHash等，这里介绍的都是看上去是简单粗暴的方法，但当你深入了解后你就会发现什么叫简约而不简单，掌握这些常用的[详细]
-
连续属性离散化
所属栏目：[大数据] 日期：2021-01-17 热度：191
1. 离散化技术分类 连续属性的离散化方法也可以被称为分箱法，即将一组连续的值根据一定的规则分别放到其术语的集合中。 离散化技术可以根据如何对数据进行离散化加以分类，可以根据是否使用类信息或根据进行方向(即自顶向下或自底向上)分类。 如果离散化[详细]
-
51Nod－1116－K进制下的大数
所属栏目：[大数据] 日期：2021-01-17 热度：98
ACM模版 描述 题解 这里我们通过样例可以发现 A1A 的数位和是21，刚好是 K-1 的倍数，所以我们不妨多举几组数据测试一下，发现竟然都符合这个规律(￣┰￣*)，那么AC就不远了。 可是这里需要强调的是，K的最小值，如果K清一色的都是从2开始枚举，那么不用想[详细]
-
开源ETL工具kettle系列之常见问题
所属栏目：[大数据] 日期：2021-01-17 热度：176
副标题#e# 摘要 本文主要介绍使用kettle设计一些ETL任务时一些常见问题，这些问题大部分都不在官方FAQ上，你可以在kettle的论坛上找到一些问题的答案 问题 Join 我得到A 数据流（不管是基于文件或数据库），A包含field1,field2,field3 字段，然后我还有一个[详细]
-
开源ETL工具kettle系列之在应用程序中集成
所属栏目：[大数据] 日期：2021-01-17 热度：126
副标题#e# 摘要 本文主要讨论如何在你自己的Java应用程序中集成Kettle 集成 如果你需要在自己的Java应用程序中集成Kettle,一般来说有两种应用需求，一种是通过纯设计器来设计ETL转换任务，然后保存成某种格式，比如xml或者在数据库中都可以，然后自己调用程[详细]
-
开源ETL工具kettle系列之增量更新设计
所属栏目：[大数据] 日期：2021-01-17 热度：124
副标题#e# 前言 ETL中增量更新是一个比较依赖与工具和设计方法的过程，Kettle中主要提供Insert / Update 步骤，Delete 步骤和Database Lookup 步骤来支持增量更新，增量更新的设计方法也是根据应用场景来选取的，虽然本文讨论的是Kettle的实现方式，但也许[详细]
-
开源ETL工具kettle系列之动态转换
所属栏目：[大数据] 日期：2021-01-17 热度：52
副标题#e# 摘要 本文主要讨论使用Kettle来设计一些较为复杂和动态的转换可能使用到的一些技巧，这些技巧可能会让你在使用Kettle的时候更加容易的设计更强大的ETL任务。 动态参数的传递 Kettle 在处理运行时输入参数可以使用JavaScript 来实现，大部分工作只[详细]
-
开源ETL工具kettle系列之建立缓慢增长维
所属栏目：[大数据] 日期：2021-01-17 热度：181
摘要 本文主要介绍使用kettle 来建立一个Type 2的Slowly Changing Dimension 以及其中一些细节问题 Kettle 简介 Kettle 是一个强大的，元数据驱动的ETL工具被设计用来填补商业和IT之前的差距，将你公司的数据变成可增长的利润. 我们先来看看Kettle能做什么[详细]
-
hdu1042 N!(大数)
所属栏目：[大数据] 日期：2021-01-17 热度：51
N! Time Limit: 10000/5000 MS (Java/Others)????Memory Limit: 262144/262144 K (Java/Others) Total Submission(s): 75069????Accepted Submission(s): 21870 Problem Description Given an integer N(0 ≤ N ≤ 10000),your task is to calculate N! ?[详细]
-
桑文锋:深入浅出大数据分析(PPT)
所属栏目：[大数据] 日期：2021-01-17 热度：104
导读 在DTCC 2016中国数据库技术大会“大数据创业”专场，Sensors Data CEO 桑文锋分享了主题为《深入浅出大数据分析》的演讲，作为一名资深大数据牛人，从大数据思维讲起，深入浅出剖析数据驱动的理念，常用的数据分析方法，推荐的思路，多维数据分析技术[详细]
-
文本相识度算法（余弦相似性、简单共有词、编辑距离、SimHash、
所属栏目：[大数据] 日期：2021-01-17 热度：105
文本相似度计算在信息检索、数据挖掘、机器翻译、文档复制检测等领域有着广泛的应用。 比如舆论控制，我们假设你开发了一个微博网站，并且已经把世界上骂人的句子都已经收录进了数据库，那么当一个用户发微博时会先跟骂人句子的数据库进行比较，如果符合里[详细]
-
余弦计算相似度度量
所属栏目：[大数据] 日期：2021-01-17 热度：178
余弦计算相似度度量 相似度度量（Similarity），即计算个体间的相似程度，相似度度量的值越小，说明个体间相似度越小，相似度的值越大说明个体差异越大。 对于多个不同的文本或者短文本对话消息要来计算他们之间的相似度如何，一个好的做法就是将这些文本[详细]
-
大数运算和大数类
所属栏目：[大数据] 日期：2021-01-17 热度：165
1、首先看一个小问题： 整型数组、字符型数组、vector在未初始化的情况下： int main(){int data[5];char c[5];vectorint v(5);vectorchar v1(5);vectorint v2;cout "int[]:";for (int i = 0; i 5; i++){cout data[i] " ";}cout endl endl;cout "char[]:";[详细]
-
数据处理之——plyr
所属栏目：[大数据] 日期：2021-01-17 热度：147
本文主要介绍如何利用R中的plyr包对数据进行处理。plyr是R中做数据处理和加工的包，它可以用来做类似EXCEL数据透视表的操作。 split-apply-combine split-apply-combine是plyr包的基本思想,首先把大的数据集按照一定的规则对数据进行拆分(split)，然后对每[详细]
-
金融行业的BI应用分析
所属栏目：[大数据] 日期：2021-01-17 热度：62
商业智能是一种提高企业智能化的手段，它可以满足企业发展的需要、提高企业的竞争力。同时，对于提高金融行业的风险管理、提升对外服务的质量都能够起到关键性的作用。 在市场竞争和银行业务转型期间，商业智能对于业务以及内部管理水平的提升起到了重要的[详细]
