总论

五个领域的研究工作：认知心理学，逻辑和语言学，认知神经科学，人机接口和人工智能

认知科学和神经科学的结合
研究任务在于研究人类大脑如何调用各层次上的组件：分子，细胞，脑组织区域和全脑去实现认知。

1. 认知神经心理学
   神经心理学：用神经检查和神经心理测验，研究脑损伤病人心理障碍与脑损伤定位与性质之间关系，揭露心理活动的闹解刨和生理学基础。
   大脑两半球功能一侧化，多重功能系统理论和多重编码的信息加工理论，双重任务法
   区别：不强调案例数目，对一例脑损伤病人的精细实验分析

2. 认知心理生理学
   心理生理学：以心理参数为自变量，观察生理参数。
   施加不同的心理负荷来观察心率，血压，呼吸，脑电等
   脑事件相关电位分析技术为认知心理生理学提供方法学基础。

3. 认知生理心理学
   与心理生理学相反
   热点：前额叶皮层功能，颞叶认知功能和复杂视觉及运动功能
   以灵长类动物为对象

4. 认知神经生物学
   对认知过程进行分子，细胞或细胞网络的研究

5. 计算神经科学

认知神经科学的基本理论和存在问题

基本重大理论问题：智能的本质和意识的起源
基本认知过程：感知觉，注意，记忆，语言，思维，意识 是从外部个别物体属性的检测开始还是人与环境作用的反应。
四大理论体系：物理符号论(检测器与功能柱论)，联结论（群编码），模块论（多功能系统），生态现实论（基于环境的脑认知功能理论）

1. 物理符号论（人工智能的认知科学），信息加工学说（认知心理学）和特征检测理论（神经生理学说）
   物理符号：把人类智能用物理符号表达再转为机器语言。
   人类认知活动-》信息加工过程。：认知主义
   《认知心理学》 1967：视认知，听认知 记忆，思维高层次心理过程
   认知心理学是认知科学的重要部分 认知科学研究智能系统。
   方法学：原始记录，内容分析，元分析
   信息：对于电脑是数据和文本，离散的物理信号
   人类：内外刺激中决策与选择的内部表征，属于主体
   仅根据行为与操作数据对认知微结构进行推测
   视觉生理心理学发现：存在对线段方位敏感的细胞（特征检测），颜色检测细胞，在大脑皮层形成垂直于表面的功能柱。
   空间频率柱理论：
   视皮层的神经元类似傅里叶分析器，每个神经元的敏感频率（单位视角中重复出现的次数）不同
2. 联结论，并行分布处理（认知心理学）和群编码（神经生理学）理论
   始于40s 人工神经网络研究。
   认知活动本质在于神经元间连接强度发生的动态变化，对信息并行分布处理，连续变化的模拟计算
   用于内隐认知过程的分析。
3. 模块论和多功能系统论
   结构和功能上都是高度专门化，相对独立的模块组成。
   记忆研究中取得较多支持。
4. 生态现实理论
   认知发生在个体与环境的交互中。

认知神经科学的方法学和存在问题

无创性脑功能成像；清醒动物认知生理心理学方法。
太trivial了好像，大略翻过。

1. 脑电波：
   平均诱发电位有早中晚三种
   时间分辨率很高，空间分辨率较差
2. 心灵窥镜
   CT,PET,NMR,fMRI

本书内容简介

1. 分子和细胞水平的可塑性，突出神经生物机制的可塑性。
2. 神经发育和心理过程的发展
3. 感知觉
   三个问题：单一感觉神经元信息是否引起主管感知觉变化；群编码是感知觉多样性的基础；信息加工的组合与其对环境的制约。
4. 运动系统策略与规划
5. 注意：感觉刺激在心理定向中的作用。
6. 记忆：阐明海马，边缘系统，颞叶，额叶皮层等的作用
7. 语言：从神经心理，语言学，语言发展禅师语言获得，产出与理解
8. 思维与表象
9. 情感
10. 进化论
11. 意识

感知觉

对认知过程的理解决定于驱动它的感觉过程的理解。
任务：对外界世界的生物相关事件提供忠实表征。
原始信号非常简单，抛弃事物复杂结构；感觉系统创造出有效的信息表证。

第一章：人类单个传入神经元和躯体感觉：

部分笔记未保存。
基本感觉的详细特征往往与记录模式中研究的特定传入轴突的生理特征相符。
然而，记录的传入单位的感受野 和被试在阈限强度时报告的感觉间无空间匹配。
存在充分空间对应时，感觉性质与传入单位的特征一致。
meissner和Pacini单位：对应振动感觉；merkel：触摸，压感
单一机械感受器可能不能引起感觉。
单个传入单位的脉冲串，引起与传入单位相对应的生理特征一致的感觉，为标记论提供证据。

感觉阈问题

系统内存在大量噪声，真实感觉信号与噪声相比振幅增大时，才会提取出感觉。

刺激方法：
先用单根传入的微电极记录检查传入恒定不变的假设。（很难获得一个不变的传入信号）

皮肤区域间不同的心理物理学阈值：
大部分无毛区的阈值低，掌中央和关节褶皱处阈值高。问题：是感受层属性不同还是中枢机制对于传入信息加工不同。
快适应单位阈值低，而慢适应单位阈值高。故阈值问题是有关meissner和pacini的问题。

单个动作电位的感知检测：
表明了特定的Meissner单位活动为感知觉提供了重要的信号。
研究激活不止一条传入纤维的情况。
尽管手部任意点的感受野重叠率高，但在无毛区内仍可刺激单根传入纤维。
刺激单根meissner可以引起主观觉察。
论断：手部低阈值去的单位感觉信号中枢加工单位本质上无噪声（可忽略）

触觉阈值的本质：
以神经冲动来定义传入时，感觉阈值是一个阶跃函数。

与触觉强度有关的神经编码

刺激强度与感觉强度幅值符合幂函数。

触觉刺激的时间分辨：与传入神经相关的触觉刺激检测

对有毛皮肤和无毛皮肤各自进行了分析，过于Biological。

触觉刺激的空间分辨能力

空间辨别：空间敏度依赖于I型（小感受野）。
定位：定位觉
一根轴突可以携带充分信息，以用于触觉刺激的最佳定位。

结论

大部分是通过把被试的感觉报告与单根传入相结合的方法来收集的。
以传入动作为信号，大大提高了对感觉中枢机制功能属性的认知。
分离的单个中枢神经的处理单位，可以处理感受器的单个传入信息。
触觉可分为不同的亚系统，可以同时激活。

第二章：触觉结构识别的神经机制

SAI系统是对触觉结构起到识别作用的神经系统。
SAI系统：初级慢适应型传入神经元群与所有将其信号传递给记忆与感知的中枢机制。
讨论了线性和非线性网络模型对于分析皮层神经元对扫视空间刺激中的作用。

空间结构由二维感受层传导产生空间结构的同型神经表征。
结构识别：有之前的神经表象储存，与现时结构相匹配。
随着刺激特征的复杂度上升，外周的感觉刺激的同型神经表征变为不同的表征形式。
存在一种机制，可以储存恒定的特征，与最终产生感觉的表征直接匹配。

结构的初级神经表征

只有SAI和RA(皮肤快适应)有充足的密度支配皮肤为结构识别提供基础。
传入成分在其各自类别中同质。

SAI结构识别的证据：
SAI提供中枢神经一个高分辨力的，与刺激结构同型的神经表象。
不采用RA的原因：1.SAI与人类心理物理学方面的行为匹配 2.RA传入不能解释结构辨别行为 3. SAI不参与时，空间分辨力较低（RA传入发出反应的阈值高出SAI很多）

产生初级SAI表征的传导机制：
SAI的反应显示周边抑制性，将原刺激中的离散性和梯度进行增强表征。

触觉结构识别的psy-phy

以字母识别来作为研究结构加工的psyphy任务。
阈值高度约5.0mm，与字母移动与否，被试的经验均无关。
数据表明：被试的反应之于神经表象的结构相联系。
实验中，被试将触觉映像与视觉表象加以比较。
两种可能解释：1.视触觉最终的感觉表征相同，直接可以模式匹配2.视触觉之间存在某种内在变换
两种系统中支配结构识别的中枢神经机制类似。
人猴一致性也得到了证实。

神经表征的维量

定义：神经活动信号集所需的最少变量的数目
维量为观察皮层神经元的发放异质性提供了新概念；是一种定义良好的全面测量手段

初级神经表征的维量：
SAI表征维量：描述初级传入神经元发放率变化所需的最小变量数。
维量小于等于某群神经元个数。
传入纤维群反应能够对二维空间频率组成的空间结构进行编码

末级感觉表征的维量：
（变换可能线性，可能非线性）
在变换中丧失的每一维量会在传入空间内引入一个传出中无法测得的维量。

结构的中枢表征：

不同神经反应函数的数目应该至少与该阶段的神经表征维量一样多。
后续分析部分比较biological。

注意力的影响：
注意力的集中导致神经元发放率升高。

###　初级表征与中枢表征之间的变换
SI与SII对字母移动的反应：由同型表征至分散神经元表征之间有逐级变换的过程。

如果能够训练一神经网络魔方皮层神经元对多种移动的空间结构发生的反应，则该网络可以本质上代表神经元的反应函数。
研究发现符合非线性空间相互作用的规则。提取反应函数极困难。

网络研究方法：
使用前馈网络结构。
第一层是节点的一个二位矩阵，输入移动图形经过皮肤时SAI记录的实际发放模式。
可调节连接权重的网络：末层仅包含一个模式神经元，脉冲率图与实际脉冲率图对应。

研究结果：
具有多于一个节点权重水平的网络能更好匹配皮层发放模式，模拟非线性机制。
函数结构的一阶近似值：一个移动的点刺激产生的外周发放输出到网络输入层。

网络研究的价值：
证明前馈网络对模仿复杂神经元反应函数的价值。

结论

心理物理学表明：结构识别中的行为基本只受初级感觉单位间距所决定的极限的影响。
SAI产生一个同型神经表象，对离散性和弯曲性更为敏感。
外周同型表征在中枢通路中未得以保持，可能变换为一种产生结构的非同型表征。
非线性网络有模拟皮层神经元对复杂空间刺激的反应能力。

第三章：听觉表象形成的神经机制

利用仓枭的声源定位，阐述系统神经心理学和知觉的联系
单位记录法：每时刻关注一个神经元反应，依赖于与其他神经元的解剖学联系以及刺激的选择性，可以推断神经处理和编码。
自上而下的方法：先研究对特定反应的刺激有选择性的特定算法，再研究低层次神经元，阐明信息处理过程与选择性算法。
结果：听觉系统以并行性和层次性的组织网络对刺激进行加工。

知觉知识与感觉系统研究不可分。
假设：神经元对刺激的种种选择性等于神经元携带的信息。
推断单个神经元携带的信息往往不可能。
基本信条：动物脑室用以处理对其生存与繁衍重要的刺激而设计的。
蝙蝠：为了处理声纳信息而设计。故找对回声延时敏感的神经元。
仓枭：空间特异性神经元，对特定方向声音产生反应

声音表象的知觉

双耳融合，大脑利用两个源信号产生单一的表象。
ITD决定了方位角；ITD+IID对仓枭构成声源表象。

声音表象的神经表达

感受野：空间规定的神经元所反映的空间。
对频率宽调谐，只对双耳刺激有反应，对ITD与IID的组合有选择性。

并行频道

复杂声分解为若干分量频带。不同频道在脑干上始终保持分离。ITD和IId在每一频带中加以处理和编码。
听神经纤维进行锁相。用锁相脉冲推出ITD。

同时计算ITD和IID

ITD敏感的各站和IID敏感的各站形成两条并行通路，同时计算以形成听觉表象。

ITD的检测和编码

双耳神经元通过不同长度的轴突接受两侧的传入，只有时间差才产生符合的脉冲。可以检测不同的ITD。
用神经元在阵列中的地址来区分不同的ITD。
biological的内容证明了：对ITD的检测和编码是在每个频段内实现的，传导延时恒定，与频率无关。

ITD编码的不确定性

特征时延会优化反应与其他随频率变化的ITD。当ITD该变量为刺激频率周期的整数倍时，层核神经元最大程度发放。

IID的初始检测和编码

太biological

并行通路的聚合

在外侧核前或内时间和强度通路结合，因为外侧核内的神经元对两者组合有选择性。
空间特异神经元的另一性质：宽频率调谐。不同频道汇聚在不同单位中，消除了相位不确定性。
同一CD,不同频率的投射到一个神经元，赋予相同的CD,不同频道对非cd的ITD不表达，形成了ITD和IID组合的选择性。

加工过程和算法

对频率，强度，时间编码-》分开时间和强度-》ITD检测和编码-》IID编码第一段-》不同频道聚合，时间与强度聚合，对IID的调谐出现-》神经算法，形成空间映射，消除phase uncertainty

听觉空间图：

空间特异神经元按照感受野位置排列。利用ITD和IID对空间特异神经元进行分组。
听觉空间向运动神经映射坐标转换不需要整个映射神经的分布，只需要特异神经元的局部分布。

结论

为了达到对听知觉的理解，应当在系统层次上思考与工作。
选择神经元往往由串并行网络所产生。
系统方法可以让我们对不同感觉器官系统和不同动物的算法进行比较。

第四章 听觉空间的神经码

利用耳和头的声学特性产生的空间线索，由中枢计算，对听空间实现神经表征。
利用这些线索的神经元功能结构因不同动物的脑层次而异。
上丘中实现了听觉空间映射，由外耳提供的声级与耳间差导出。
随着生命发展逐渐出现空间映射，并发生精细化过程。

声源定位

听觉提取的是频率成分，声源位置通过计算得出。
ITD由偏离中线的声源引起；IID由头产生的声障引起。（耳间相位差仅在低频应用）
利用频谱上的简单刺激子啊自由声场下进行分听研究因为混淆锥的存在而值得怀疑。
听觉定位中涉及多重双耳以及单耳线索。
不同线索的重要性随声源的性质，空间位置，收听者属性变化。

听觉皮层在声源定位中作用：
食肉动物和灵长动物听觉皮层在调节声源定位中起核心作用。
在脑层次上：对侧声源未知在规定频道中被编码。

听觉皮层中听空间的表示

非常biological地得出：听觉空间的神经码包含在皮层神经元组间的功能互联之中。

上丘中听觉空间的表征

本章剩余内容非常biological，基本不能理解。

第五章： 对种属特异性复杂声音的听觉信息处理

暂时不大能看懂本章内容。

第六章：并行神经通路和视觉功能

灵长类视觉系统中，从视网膜经外侧倒视皮层的两条通路：P和M通路
分离出现在视网膜上的光感受细胞与双极细胞之间的凸出中。
P通路对颜色调制比对黑白调制有更大敏感性；M则相反。还有其他的功能性差异
视锥感受细胞不同，PM通路连接模式也不同。
PM的神经晕有不同模式的视锥传入，只有感受野中心被激活时，M在等亮度状态下静息；P则对等亮度颜色调制有极强反应。
PM通路信号与不同的运动知觉通路有联系。

视网膜和LGN中的P和M通路

P神经元几乎都具有颜色对抗性（从不同类型的视锥感受器接受相反符号信号）
M细胞对光给予同符号的反应。一半有宽频特性，其余有颜色对抗性。

p和m的功能作用

有明显的解剖分离和功能特异性。
本文主要目的：解决PM分离的目的问题，研究特定视觉任务下颜色和亮度所起作用的相对大小

MP通路的对比增益

对比增益用于区分大小细胞神经元
周期光栅中峰值时p，最小光强是r c=(p-r)/(p+r)
对比增益：每单位对比度引起的神经元反应变化。
大细胞神经元反应比小细胞神经元增长更迅速。

灵长类光感细胞与PM细胞的频率感受性：

灵长类存在三种视锥细胞，其活动谱是三个平滑的函数。
颜色交替（静息替代）
累加M和L视锥反应的频率机制，可以在G/R比零点之间存在一个零点。
颜色对抗神经元的反应：L和M视锥信号相减。

MP神经元对等亮度刺激的反应：

白天光适应条件下，对可见光的感受性叫做光适应亮度函数。使用变色闪烁光度仪测量。
测量PM神经元对等亮度颜色交替的反应： M：颜色交替轴零点未知靠经亮度函数的预测值。等亮度点的g/r比值差异很小。
当刺激不限于感受野中心区时：M细胞和大细胞神经元在等亮度下无交替零点。
非等亮度颜色调制：一些消息报神经元静息，等亮度调制中：整体反应没有特殊下降。

视锥向PM传入的空间模式：

LGN的颜色对抗细胞从感受野中心区接受一类视锥的兴奋传入，从周边区域接受互补性视锥传入。
感受野中心区和周边区的机制是视锥所特有的。
使用m-序列方法研究小细胞和大细胞神经元的二维时空权重函数。
非常biological，不记录。

小细胞和大细胞信号对运动知觉的作用。

推测： 使用等亮度刺激时，运动知觉改变了。
小细胞彩色信号不作为运动通路的传入；颜色机制不参与运动知觉；大细胞层的损毁不影响一些运动功能。
另一种理论：存在并行加工的多重运动通路，PM对不同通路提供不同传入。（对运动而言，彩色和亮度信号是等效的）
简单特征检验和运动辨别的比较研究指出：颜色和亮度对运动直觉作用的方式不同。（运动方向颜色对比度是颜色检验对比度的高倍数）
最近的工作指出：两个负责空间模式运动方向的通路：轮廓通路和明暗边界通路。任何轮廓运动可看做明暗边界运动的某种加权计算；明暗变动与轮廓变动正交。
运动知觉的规律有可能适用于其他视觉功能。
一种猜想：存在几个并行机制，从皮层立体知觉信息提取深度信息，这个机制从小，大细胞提粗不同加权的传入。

第八章 形状与结构的视觉分析

给予两种视觉任务：物体识别与空间认知
识别：参照记忆中的形状表征进行比较加工
对视野中物体的形状与空间关系进行分析：应用视觉程序（视觉硬线路及在其中进行基本加工的序列，可组装，抽取多种形状与空间关系）
视觉分析主要依赖对形状和结构的分析。
集中讨论识别和普遍的分析能力（视觉认知）两个问题。

基于形状的视觉识别

一般物体的识别额依靠形状特性
形状编码问题：由基本特征与基本要素构成。
形状加工问题：形状描述的内部加工操作问题。

形状的等价性：
一种极端观念认为：直接与记忆中储存的形状对比。
问题：汉明距离大的情况下仍可识别。
形状变异性：1. 观察位置效应 2. 光度效应（对形状作用不大）3.集群效应 4. 形状改变效果
形状不变性：
在同一物体的不同观察中有形状不变性，由视觉系统提取。
定义为一函数：不需参照记忆中的模型，通过观察不同角度的物体所得结果一致。是为1，否为0。
另一些研究：认为不变性是一个被限定的变化域。定义不同参量使区分物体变为可能。
特征空间：Rn(n个参数测量)。给定形状的一组观察定义为Rn的一个子空间。
应用于简单部件任务的人工视觉系统中。
但普遍适用的不变性难以找到。

形状组成和结构描述：
物体识别依赖于物体形状的分解，分解为小的一般化形状，该种分解在不同观察中保持稳定。
特征层次性的研究：基础成分为特征，在加以层次构成更高级的结构。
结构描述：利用组成成分与其之间的空间关系描述形状不变形。
Biederman：最基础组成部分是几何子，包含简单的三维特征。
结构描述试图产生的形状描述是物体中心的
局限性：物体特征的明显损失，在识别的中间与基础分类步骤有意义；有一些无法描述。

形状校准：现实物体与存储模型之间差异进行补偿的校准加工（形状变换）
外显的3d校准：先确认形状与储存形状一致的几种特征，导出补偿变换，从而将长时记忆的模式带入到观察形状中进行补偿。
二位图像的组合：二维图像可以很好的表征三维形状。
一个方法：图形内插法。

结论：各种方法互为补充。

视觉认知：形状特性与空间关系的视觉分析

不局限于识别任务
8.3a：识别x是否在封闭图形内部
8.3b：对椭圆的延展性判断很准确
8.3c：确定两点是否处于同一轮廓上
4：是否能成功移动到x处

对视觉认知机制知之甚少
Ullman：视觉系统对形状特性与空间关系的感知通过视觉程序在早期视觉表征中获得。
一系列基本操作的结合，向视觉系统传递信息。每种特性与关系有独特的程序。（基本操作次数有限，基本不变）
基本操作包括：检索（指向某一特性稳定的部位），调色（填充封闭区域），边界追踪
（沿某边界加工，对其不同信息进行整合）
一斑视觉认知的表征加工可能与给予形状的物体识别加工完全不同

形状分析的生物因素：

非常biological，看不懂。

第九章 三维形状知觉的多重线索

人类视觉对各种视觉信息提供大量压缩。
利用产生于几何信息变换，表面信息与几何特性的联结的线索。
利用计算机图形技术将合成的自然图像可控呈现

形状，几何与线索

不同来源的信息并不相同。可用不同的方式理解不同来源的信息。
Wheatstone: 第一个信息源是双眼视差。
形状与几何特性之间的关系
基本问题：何种几何特性为人类视觉用来支持特定行为。
视觉监控与动作匹配；有关物质性质的知识以及抓握动作与熟悉形状之间的联想。
其余机制：eg 形状指数， 各组成成分之间关系的理解。
首先：确认哪类三维特性可被三维线索确定；其次：研究各种线索互相作用的机制。目标：发展一类可靠的研究多重线索的使用的方式。

图像中视觉线索的操作

自然图像与合成图像
包含线索：实体线索，运动线索，线性透视线索，质地线索，明暗线索。
合成图像缺少某些自然图像利用的线索与某些线索组合的特殊方式。但其实两者间有密切的关系，可以通过合成图像来进行实验。

图像中不同线索间关系的变化：
早期运用光学机械来对线索见关系进行操作，研究线索间的交互

计算机图形学：
自然景物中图像形成：提取景物中物体与其表面光照交互作用的无力规则。
计算机内：模拟，通过改变物理参数来产生不同线索的图像。
具有明显的局限性。

线索间交互作用模型：

CV研究的基本原则：确认高层次形状特性必须先提取低层次图像特性。中间描述层次用于连接低层次与高层次。
用中间描述层次可以从几何信息的提取中取得表面特征，但很少能产生深度信息。
一种方法：把深度的稀少样点进行内插。
另一种思路：在原始图像中有其他的深度线索与表面特性。
三种可能的交互形式：

1. vetoing eg 实体镜中立体深度发生了反转，则抛弃单种深度线索。
2. 把多种深度信号线性估算汇集起来。
3. 强融合：各深度线索在对深度进行估测前就有交互作用。

线索间交互作用的研究方法

辨别判断：检验对图像背景的判别：如果能提供多个独立信息，则准确性应当提高。
问题1.可能会不利用三维形状的信息 2. 结果分析会产生较大偏差。

匹配任务：对两图形深度匹配或者用靶图形来匹配其他图形的深度。
问题：1.靶图形深度信号会干扰测验图形的感知 2. 智能产生相对深度 3. 需要控制实验

阈限间交互作用：
Bradshaw & Rogers研究运动视差与双眼视差之间的阈值，与单独的阈值比较，证明三维形状的实体线索与运动线索之间有早期交互作用

三维形状判断：

1. 调整一个三维形状直到与某简单规范二维图形一致。测量指标：产生三维感的深度
   优点：有绝对判断，合乎普遍的心理物理判断形式。
   缺点：要求被试有清晰的规范图形概念。
2. 更定性测试感知。

实验结果

立体质地描绘：深度可变的平滑曲面上，质地信息可以指明该平面式正平行的。
具体的描绘方法不做笔记。图形可以用进行独立的质地与立体线索的操作

立体与质地：采用的是定量形状判断。
当质地线索强度增强时，对圆切面的深度线索会减小。

立体与运动：
运动线索可以提供关于三维物体真实形状的判断（提供了至少三个角度）
也可以由现行权重加以描述。（线性信息源模型）

形状定性判断的多重线索

高度还原模型：
仅用点来表达运动线索，较好理解视觉刺激的真正价值。
当图形中有更多线索时，感知分析会更平稳地趋向于几何正确性和刚性。

第十章：视皮层的结构分析