erlang之ets总结

/1.

ets是什么？

ets是Erlang Term Storage的缩写，它是一个基于内存的KV Table，支持大数据量存储以及高效查询.

ets有4种类型的table：

set	table中的每一个Value（Tuple）都是唯一，并且一个Key只能对应一个Value
ordered_set	同set，唯一不同的是table中的Key是有序的
bag	table中的每一个Value都是唯一，但是一个key可以对应多个Value
duplicate_bag	table中每一个key可以对应多个Value，并且允许Value重复

那么table中的Key如何定义，Value又是什么呢？
table中的Value是一个tuple，而它的Key就是tuple中的第一个元素(默认)，譬如，我往ets table插入一个{name, diaocow}，那么Key就是name，Value就是{name, diaocow}，于是就在ets table中建立了这么一条映射关系：name -> {name, diaocow}

这4种类型table有什么区别，查找效率又如何？
set, bag, duplicate_bag内部是采用哈希结构实现，因此查找效率很高，O(1)；
ordered_set 内部是采用平衡树结构实现（Key之间是有序的），查找效率相比其他类型略低，是logN级别的；

至于选用何种类型的table，需要根据实际需求来确定，如果你需要元素之间有序，那么你只能选用ordered_sets(需要牺牲一点效率)

bag，duplicate_bag 虽然在查找效率上差不多，但是在插入元素时却有可能千差万别，为什么呢？
因为bag虽然允许table中每一个Key对应多个Value，但是它不允许这些Value重复，所以在插入具有相同Key的Value时，它必须与每一个现有元素作对比，而duplicate bag 允许table中的Value重复，所以它在插入时就完全不需要考虑这些，只管插，所以效率很高.

现在我们就来看看书上的一个例子，加上理解：

运行结果：

注意对于set和ordered_set 当插入具有相同Key的Value时，后插入的Value会替代上一个Value（譬如这里的{a,1}被{a,3}替代），另外在erlang的每一个node中，可以创建的ets table数量是有限的(默认为1440，不过我的测试结果确是2037???)，这个值可以通过修改环境变量ERL_MAX_ETS_TABLES来修改(官方文档建议实际中采用的值比这个高些)

-------------------------------------------------------------------------------华丽分割线-------------------------------------------------------------------------------
现在我们重新回到刚才那个例子，来学习几个api：

1.ets:new(Name, Options) -> tid() | atom()
这个函数用来创建一个名为Name的table(若创建成功,返回一个TableId或者TableName供process引用)；Options是一个选项list，用来指定创建table的各种属性，它的值有：

set,ordered_set,bag,duplicate_bag	指定创建的table类型
public,private,protected	指定table的访问权限，若是public表示所有process都可以对该table进行读写(只要你知道TableId或者TableName)，private表示只有创建表的process才能对table进行读写，而protected则表示所有的process都可以对表进行读取，但是只有创建表的process能够对表进行写操作（ps: ets table仅可以被同一个erlang node中的processes共享）
named_table	若指定了named_table这个属性，就可以使用表名(也就是new函数的第一个参数Name)对表进行操作，而无需使用TableId
{keypos,Pos}	上面说到，我们默认使用tuple中第一个元素作为Key，那么是否可以修改这个规则呢？自然可以，使用{keypos,Pos}即可，其中Pos就是表示使用tuple中第几个元素作为Key
{heir, Pid, HeirData},{heir,none}	这个heir属性指明当创建table的process终止时，是否有其他process来继承这个table，默认值是{heir,none},表示没有继承者，所以当创建表的process终止时，表也随之被delete；若我们指定了{heir,Pid,HeirData}，那么当创建表的process终止时，process identifer为Pid的process将会收到一个消息：{'ETS-TRANSFER',tid(),FromPid,HeirData},这样表的拥有权就转交了，我们可以看下面这段测试代码

运行结果:

如果你不指定任何Options（即参数值为[]），那么ets将会使用[set, protected, {keypos,1}, {heir,none}, {write_concurrency,false}, {read_concurrency,false}]作为默认值（关于write_concurrency和read_concurrency这个两个参数的具体含义自己不是特别的清楚,目前只是了解到该参数用于设置是否允许并发读或者写，和性能调优相关，所以暂时hold)

2. ets:insert(Tab, ObjectOrObjects) -> true
很显然这个函数是用来往table里插入数据，其中第一个参数Tab表示需要操作哪一张表，它可以是TableId或者TableName(若创建表时指定了named_table选项)，第二个参数ObjectOrObjects表示需要插入的数据，它可以是一个tuple或者是一个tuple list；注意这个insert方法是一个原子操作，并且对于set或者ordered_set类型table,在插入具有相同Key的Value时，会用新值去替换老值；

那么ets是如何判断两个Key是否相同呢？它分为match和compare equal 两种情况：
1.如果两个Key（erlang term）match，那么这两个Key不仅值相同，类型也相同；
2.如果两个Key （erlang term）compare equal，那么只需要这两个Key的值相同，而无需类型相同（譬如 1.0 compare equal 1，但是1 not match 1.0）

所以若两个Key match，则它们一定compare equal，反过来则不行，那在ets中到底是采用match还是compare equal进行判断与table的类型有关，其中ordered_set采用compare equal方式匹配，其余类型都采用match方式匹配，我们来看下面一个例子：

这是一个set类型table，所以在比较Key时采用match方式进行匹配（既比较类型也比较值），所以它认为1.0和1是两个不同的Key,因此插入了两个Tuole,现在我们再看另外一个例子，对比一下：

对于ordered_set类型table，它采用compare equal方式进行匹配（仅比较值），所以它认为1.0和1是两个相同的Key，因此用新值{1.0，3} 替换了老值{1, 2}（注意看tab2list方法）,相关官方文档：

引用

Also worth noting is the subtle difference between matching and comparing equal, which is demonstrated by the different table types set and ordered_set. Two Erlang terms match if they are of the same type and have the same value, so that 1 matches 1, but not 1.0 (as 1.0 is a float() and not an integer()). Two Erlang terms compare equal if they either are of the same type and value, or if both are numeric types and extend to the same value, so that 1 compares equal to both 1 and 1.0. The ordered_set works on the Erlang term order and there is no defined order between an integer() and a float() that extends to the same value, hence the key 1 and the key 1.0 are regarded as equal in an ordered_set table.

3. ets:lookup(Tab, Key) -> [Object]
第一个参数Tab，不再解释，与insert函数中的一样，第二个参数就是需要查找的Key，它以list的形式返回符合条件的tuple（可以参看我们上一个例子代码），相关官方文档：

引用

In the case of set, bag and duplicate_bag, an object is returned only if the given key matches the key of the object in the table. If the table is an ordered_set however, an object is returned if the key givencompares equal to the key of an object in the table. The difference being the same as between =:= and ==. As an example, one might insert an object with the integer() 1 as a key in an ordered_set and get the object returned as a result of doing a lookup/2 with the float() 1.0 as the key to search for.

If the table is of type set or ordered_set, the function returns either the empty list or a list with one element, as there cannot be more than one object with the same key. If the table is of type bag or duplicate_bag, the function returns a list of arbitrary length.

除了使用lookup来查找，ets还提供了一些更为强大的查找方法：

4.match(Tab, Pattern) -> [Match]
该方法用来查找table中所有匹配Pattern的tuple并返回tuple中某些或全部元素（这个由pattern指定），譬如：

运行结果：

其中Pattern可以包含以下字符
1.一个绑定变量或者任意Erlang Term；
2.一个占位符'_'，可以匹配任何Erlang Term；
3.一个变量符'$N' (N可以为0,1,2,3....)，该变量指定了match方法需要返回tuple中哪些元素；

若Pattern中包含Key值，那么查找起来非常快速（相当于索引查询），否则需要全表遍历

我们除了可以一次性查找出所有满足匹配的tuples，也可以采用"分页查询"的方式查询，即每次只查询出部分结果，然后通过迭代查找出所有结果：

其中：
5.match(Tab, Pattern, Limit) -> {[Match],Continuation} | '$end_of_table'
用来返回table中满足匹配的tuples并且数量限制为Limit，返回值Continuation用来传递给match(Continuation)方法进行下一次迭代，直到遍历完table（返回结尾标示：'$end_of_table'）; Api文档中提到：用这种方式遍历表的效率高于first和next方法（这两个方法后面会提到）

最后我们来看下ets table的遍历
first(Tab) -> Key | '$end_of_table'
next(Tab, Key1) -> Key2 | '$end_of_table'
first方法用来返回table中第一个Key，而next方法返回table中在Key1后面的Key2，如果这是一张空表或者Key1已经是表的最后一个Key，那么first方法以及next方法将返回'$end_of_table'作为结尾标记，我们可以使用这组方法对一个table的Key进行遍历:

另外对于ordered_set类型table，它的Key本身就是有序的（因为它内部采用平衡树结构，按照Erlang Term Order排列），所以在遍历ordered_set类型table时，它的Key会按Erlang Term Order输出，而对于其他类型的table，遍历table时Key的顺序是不确定的；

last(Tab) -> Key | '$end_of_table'
prev(Tab, Key1) -> Key2 | '$end_of_table'
这组遍历方式和first/last基本相同，唯一不同的是，它是从后往前遍历

至此我想大家已经基本了解了：
1.ets table的类型分类
2.ets table的创建
3.ets table的插入和查找
4.ets table的遍历

-------------------------------------------------------------------------------华丽分割线-------------------------------------------------------------------------------

ets其他一些细节：
1.官方文档中提到： In the current implementation, every object insert and look-up operation results in a copy of the object，这是什么意思呢？
意思是，在当前erlang的实现版本中，插入一个tuple：会从当前process中的stack和heap拷贝tuple的一副副本到ets table中去，同样查询操作也会导致从表中拷贝一份tuple（或多个tuples）到执行查询的process的stack和heap中去，这种行为适用于erlang所有的数据类型，除了binaries；

2.ets table是不会被垃圾回收的，只有当下面两种情况它会被销毁：
a.调用delete方法；
b.创建ets table的process结束；

3.关于ordered_set类型table，它的内部元素根据Key值按照Erlang Term Order排序，那么Erlang Term Order是什么呢？
a.如果比较的两个值不是同一种数据类型，则按照这种规则比较：number < atom < reference < fun < port < pid < tuple < list < bit string；
b.如果比较的两个值都是List，那么它会逐个比较其中元素；
3.如果比较的两个值都是Tuple，那么它首先会比较Tuple Size是否相同（即元素个数），若Size相同则逐个比较其中的元素；

/2.

ETS表的基本：

ETS 表可以用来高效存储海量的erlang数据，ETS提供大型的键-值查询表，
ETS是相当高效的：可以用它存储海量的数据（只要有足够的内存）.最常用的表操作是插入和查找。
ETS表的数据保存在内存里，他们是易失的。当ETS表被丢弃或控制它的进程终止时，数据就会被删除.
ETS表是底层运行时系统里实现的，ETS表没有垃圾回收机制，即使ETS表及其巨大也不会有垃圾回收的负担，不过，创建和访问ETS对象任然会带来少许开销.

ETS表的实例操作：
1. 创建一个ETS表: new/2->atom
new(name,option) 参数介绍:
name:ETS表名
option:一列选项
1) set | ordered_set | bag | duplicate_bag 创建一个指定类型的表
2) private 创建一个私有表，只有主管进程才能读取和写入它
3）public 创建一个公共表 , 任何进程在知道此表的标示符时都可以读取和写入
4) protected 创建一个受保护的表，任何进程在知道此表的标示符时都可以读取，但只有主管进程和已有写入权限
5)named_table 如果设置了此选项，Name就可以被用于后续的表操作
6){keypos,K} 用K作为键的位置，唯一需要使用这个选项是保存erlang记录，并且记录的第一个元素包含记录名的时候
-name是用于启动一个节点
2. 插入一个数据: insert/2 ->true
这里写图片描述
3.查询插入数据：tab2list/1 ->[Object]

4.返回节点所有的表以及删除一个表

B进程读取A进程ETS表的实例操作：

ETS表的各种方法：
ets:all/0

获取所有的 ets 表

ets:delete/1

删除整张表

ets:delete/2

删除表里指定键的所有数据

ets:delete_all_objects/1

删除表里的所有数据

ets:delete_object/2

删除表里的指定数据

ets:file2tab/1

从一个文件读取一个 ETS 表

ets:first/1

获取 ETS 表里的第一个对象数据的键

ets:foldl/3

对 ETS 数据遍历循环操作

ets:fun2ms/1

把语法函数转为匹配规范的伪函数

ets:give_away/3

改变一个表的拥有者

ets:i/0

在输出端上打印显示所有 ETS 表的信息

ets:info/1

返回一个 ETS 表的信息

ets:info/2

返回给出的跟表相关的项的信息

ets:insert/2

向 ETS 表插入数据

ets:insert_new/2

向 ETS 表插入新数据

ets:is_compiled_ms/1

检测一个 Erlang 数据是否是一个有效已编译的匹配规范

ets:last/1

返回表里的最后一个键

ets:lookup/2

在 ETS 表里查出相应键的值

ets:lookup_element/3

返回 ETS 表里指定键的对象数据的第几个元素数据

ets:match/1 | ets:match/2 | ets:match/3

根据匹配模式匹配表里的对象数据

ets:match_delete/2 | ets:match_object/1 | ets:match_object/2 | ets:match_object/3

根据匹配模式删除表里的对象数据

ets:match_spec_compile/1

把一个匹配规范编译为它的内部表示形式

ets:match_spec_run/2

使用一个匹配规范来执行匹配操作

ets:member/2

判断表里面是否存在指定键的数据

ets:new/2

创建一个 ets 表

ets:next/2

返回表的下一个键

ets:prev/2

返回表的上一个键

ets:rename/2

重新给 ETS 表命名一个名字

ets:safe_fixtable/2

锁定一定 ETS 表使其可以安全遍历

ets:select/1

对 ETS 表里的数据进行匹配比对

ets:select_delete/2

根据匹配模式删除表里的对象数据

ets:tab2file/2 | ets:tab2file/2

把一个 ETS 表转储到一个文件里

ets:tab2list/1

返回一个 ETS 表的所有对象数据的列表

ets:to_dets/2

把内存里的 ETS 数据插入到磁盘上保存

ets:update_element/3

更新 ETS 表里指定键的对象数据的第几个元素数据

关于ets更详细内容，请参看文档：http://www.erlang.org/doc/man/ets.html

原文出处：http://diaocow.iteye.com/blog/1768647

感谢作者的分享。

查看全文
如若内容造成侵权/违法违规/事实不符，请联系编程学习网邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！

KCG-VISION：简介(一款快速开发机器视觉的软件)
前言KCG-VISION是本人开发的一个快速开发传统机器视觉的集成软件，集成了一些常用图像处理的算法，让这些算法可以可视化操作，可以利用GUI进行图像的分析，快速验证你的想法，提高开发测试的效率。主界面简介主界面如下图所示，主要由菜单栏和图片显示框和算子编辑框和输出窗口…...
2024/4/20 17:52:38
Erlang虚拟机(VM)简介
Erlang代码是运行在Erlang的虚拟机(VM)上的，所谓虚拟，说它是虚拟一台真实的机器，还不如说它是虚拟了一个运行Erlang指令的CPU来得更确切。 Erlang运行在虚拟机上，就好比C语言运行在真实的机器上。 Erlang语言的代码在编译时，也有中间的汇编代码，了解它的汇编指令，可以进…...
2024/4/25 17:22:46
机器视觉入门——VisionPro软件简介
@机器视觉 VisionPro 软件简介 VisionPro是美国Cognex公司推出的一款图像处理算法。拖拽式操作，易于上手，方便进行简单项目快速应用。除此之外，提供.net脚本编程接口，十分灵活，功能强大，是当下机器视觉应用技术的主流软件之一。软件下载链接： VisionPro_8.2SR1_64bit 链…...
2024/4/21 10:07:25
erlang 脏调度器支持
# dirty shceduler##简介在 Erlang 虚拟机的层面，NIF 调用是不会被抢占的,因此运行时间过长的 NIF 会影响其所在的调度器上的所有其他进程的调度。erlang R17引入脏调度器一定程度上解决了这个问题。脏调度器本质上和普通调度器是一样的，也是运行在虚拟机中的调度器线程，但是…...
2024/4/21 10:07:24
画图软件Microsoft visio下载安装及使用
画图软件Microsoft visio软件的下载以及安装使用 1.Microsoft visio 的下载在自己的网盘里，visio有两个文件，一个是虚拟机，一个是镜相，需两个都下载下来。 2.安装首先将虚拟机解压，里面有 .exe文件，点击执行，一步一步安装，然后进入登录页面，点击登录，用户名：王涛…...
2024/4/20 13:40:26
线性降维算法简介及PCA主成分分析
降维方法分为线性降维方法和非线性降维方法：在说降维之前首先要知道维度，维度的目的是用来进行特征选择和进行特征提取，特征选择是选择重要的特征子集，删除其余特征；而特征提取是由原始特征提取形成较少的新特征。在特征提取中，我们要找的是n个新的维度的集合，这些维度是…...
2024/4/21 10:07:22
Erlang基础之原子
在Erlang语言的文档中，原子的英文为atom，其英文意义为“原子”、“微粒”，但也有资料译为基元，本文称之为“原子”。 Erlang中，原子是由字符序列来标识的字符串常量（注意不是字符串），通常以小写字母开头，其后可包括大写字母、数字、下划线和@符号。但其中也可以插入其…...
2024/4/21 10:07:21
[Erlang]解决R17中文编码的问题
erlang更新到R17已有一段时间了，公司项目打算从旧版的erlang迁移到R17，却不料有不少的困扰，其中一个问题是中文问题。这个问题很容易重现：新建一个文件t.erl，保存为utf-8无bom格式[plain] view plaincopy-module(t). -export([test/0]). test() -> ["我&qu…...
2024/4/21 10:07:20
【机器学习详解】矩阵奇异值分解(SVD)及其应用
本文转载自： LeftNotEasy发布于http://leftnoteasy.cnblogs.com 前言：上一次写了关于PCA与LDA的文章，PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解释。特征值和奇异值在大部分人的印…...
2024/4/21 10:07:19
开源库
记录已见过的开源库标签：开源库2013-07-23 10:00 2027人阅读评论(1) 收藏举报分类：开源库版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[]这篇文章主要用来记录我见过的开源库，只记录最突出特点，方便以后用时查询。1. 3D图形引擎 openGL，事实上…...
2024/5/4 20:45:56
Erlang 日期和时间处理、时间戳转换
获取当前时间erlang:now()得到的是从1970年1月1日零时起，到现在经过的时间，结果为{MegaSecs, Secs, MicroSecs}。有个问题要注意，还有另外一个函数可以实现同样的功能：os:timestamp()那么erlang:now()和os:timestamp()的区别是什么？erlang的解释如下：erlang:now()If you …...
2024/4/21 10:07:19
Erlang ODBC 处理中文
原创文章，转载请注明出处。erlang处理utf8字符集相对比较简单，因为它是用integer的list来保存所有的string的，所以处理什么字符集都没关系。话虽这么说，但我在使用erlang的ODBC处理中文时，着实费了不少劲。说实话，erlang的ODBC不好用，现在也有一些直接使用数据库驱动的e…...
2024/4/21 10:07:17
《离散数学及其应用》学习(下)
四．计数鸽巢原理：如果k+1个或更多的物体放入k个盒子,那么至少有一个盒子包含了2个或更多的物体。广义鸽巢原理：如果n个物体放入k个盒子，那么至少有一个盒子包含了至少n/k（取上线）个物体。例：为保证一个州2500万个电话有不同的电话号码，所需地区代码的最小数是多少（…...
2024/4/21 10:07:15
windows系统安装erlang
1.什么是erlang erlang是一种通用的面向并发的编程语言，它由瑞典电信设备制造商爱立信所辖的CS-Lab开发，目的是创造一种可以应对大规模并发活动的编程语言和运行环境。Erlang是一个结构化，动态类型编程语言，内建并行计算支持。最初是由爱立信专门为通信应用设计的，比如控制…...
2024/4/21 10:07:14
矩阵论（七）：投影矩阵
矩阵论专栏：专栏（文章按照顺序排序）参考资料：线性代数基础知识系列：1、2、3、4、5 广义逆矩阵（上）广义逆矩阵（下）投影矩阵投影的定义投影矩阵求法性质正交投影的性质投影定理投影定理的逆定理投影矩阵的应用从投影角度看最小二乘从投影角度看广义逆（待补充）…...
2024/4/20 17:52:48
Erlang调用C程序
本文是《Erlang程序设计》中的示例，因为C语言基础薄弱，理解这节花了一些时间，示例中的C程序分为三个文件，为了便于调试，我合并成了一个文”c.c”，而Erlang代码则叫”e.erl”，在代码中加入了一些便于理解的注释。主要用到的Erlang函数为：open_port(PortName,[Opt])参数其…...
2024/4/20 17:52:47
erlang 导入库脚本
erlang 导入库时要copy 还要写配置文件，现在写了一个脚本来实现这个功能。调用 filetest( "/home/yangzm/erl/ej/","/opt/erlang/lib/erlang/lib" ). 会把ebin 及依赖的ebin都 copy到目标，并在~/.erlang 中添加路径。代码如下： %/////////////////////…...
2024/4/20 17:52:46
Golang和Erlang消息传递机制对比
上一篇文章介绍了 Go 和 Erlang 在调度器的实现，本文将简要介绍这两种并发语言的消息传递机制简要对比Erlang和Go虽然在实现及功能上差异较大，但是都支持高并发的轻量级用户任务（Erlang的轻量进程，Go的Goroutine），并且都采用了消息传递的方式作为任务间交互的方式。在Er…...
2024/4/20 17:52:46
还担心学习AI没有数学基础吗？读完它们，你就有了！！！
高等数学或微积分 Adrian Banner 的《普林斯顿微积分读本》只有单变量微积分部分，可以作为参考《托马斯微积分》书非常厚, 介绍非常详细~James Stewart 的《Calculus Early Transcendentals 5th Ed》，作者靠这一本教材成为千万富翁的故事Dale Varberg 的《微积分》，看版本号…...
2024/4/20 17:36:41
[Erlang]如何在Erlang中使用SSL
原创文章，转载请注明出处：服务器非业余研究http://blog.csdn.net/erlib 作者Sunface 最近准备写一个SSL服务器，结果发现网上相关的资料很少，因为特地在此给大家分享一下SSL的基本使用方法.SSL在使用上跟Tcp很像，但是也由区别。首先需要一个SSL证书，可以在参考这篇文章创…...
2024/4/20 17:52:43

erlang之ets总结

相关文章

最新文章