主要是对于毕业设计的初期调研和探索
回声定位
视频示例
运用大脑中类似于视觉处理模块的区域, 听觉大脑似乎也不是一个虚假的幻想.
视频中的许多事例都表明了, 人类的确能通过声学方式感受到空间感, 但是这种训练是否存在一种类似于手语之类的高效的训练教学方式还有待确定.
但无论怎么说, 是的确可行的. 回声定位专家甚至可以从 echo 的细微差别中获取物体的形状, 质地等信息.
文献-1
摘要
早期的失明改变了观测世界的方式, 脑区组织有了明显的变化. 多个研究已证明失明会造成额枕皮质的功能转变. 转变后对一系列刺激都有反应, 但其具体功能尚未明确. 已观测到视网膜区域有准备活动. “基线偏移”，即与预测即将发生的事件的线索相关的活动变化，为注意力调节提供了标记。 在早期盲目受试者中，内侧枕部区域对发出听觉辨别试验信号的提示产生了显着的血氧水平依赖性（BOLD）反应，但对指示无试验期的提示没有产生反应。 此外，早期盲人前钙蕊沟中BOLD反应的幅度与其在听觉后向掩蔽任务中的辨别表现相关。 预备性BOLD反应也存在于听觉皮质中，尽管它们在盲人中比视力正常的对照组更强烈。 视觉区域的反应模式类似于在视力正常的受试者的视觉选择性注意期间观察到的准备效应，并且与以下假设一致，即与视觉注意有关的机制继续调节早期盲人的枕叶皮层。这种自上而下的调节的可能来源可能是额顶回路，它保持与重组的枕叶皮层的连接，从而影响盲人非视觉刺激的处理。
vocabulary
- occipital: adj. 枕部,枕骨的
- retinotopy: n. 视网膜
文献-2
Neural Correlates of Natural Human Echolocation in Early and Late Blind Echolocation Experts
摘要
少数盲人擅长通过产生嘴巴咔嗒声并聆听返回的回声来回声定位沉默的物体。然而，这种无辅助人类回声定位背后的神经结构尚未得到研究。为了解决这个问题，我们招募了回声定位专家，一名早盲和一名晚盲，并在他们听自己的回声定位声音时测量了他们每个人的功能性大脑活动。
Early Blind（早期失明）：这指的是在生命的早期阶段，通常是在出生时或婴儿期之前，一个人就失去了视觉能力。早期失明的人可能从未有过视觉经验，因此他们对视觉世界几乎没有认识。他们的大脑可能在没有视觉输入的情况下发展出其他感官的增强能力，以帮助他们适应世界。
Late Blind（晚期失明）：这指的是在生命的后期阶段，通常是在儿童、青少年或成年时期，一个人失去了视觉能力。晚期失明的人可能已经有了视觉经验，并且可能已经学会了依赖视觉来感知和理解世界。因此，他们可能需要重新学习如何在没有视觉的情况下生活，并依赖其他感官来弥补失去的视觉功能。
When we compared brain activity for sounds that contained both clicks and the returning echoes with brain activity for control sounds that did not contain the echoes, but were otherwise acoustically matched, we found activity in calcarine cortex in both individuals. Importantly, for the same comparison, we did not observe a differencein activity in auditory cortex. In the early-blind, but not the late-blind participant, we also found that the calcarine activity was greater for echoes reflected from surfaces located in contralateral space. Finally, in both individuals, we found activation in middle temporal and nearby cortical regions when they listened to echoes reflected from moving targets.
Calcarine cortex（又称视皮层）是大脑中位于枕叶（occipital lobe）的一部分，具有极其重要的视觉功能。它位于大脑皮层的后部，正好位于大脑中线的中央，沿着中线分为两侧，分别对应左眼和右眼的视觉信息处理。
这些发现表明，在早期和晚期盲回声定位专家中，点击-回声的处理招募了通常致力于视觉而不是试听的大脑区域。
重要结论和过程
- 只有两位专家: (early blind & late blind)
- 视觉相关的脑区处理了回声信息
- Activity in calcarine cortex was entirely absent in C1 and C2(普通人) when they listened to the echolocation recordings of EB and LB, although both control subjects showed robust activity in auditory cortex.
- It implies that the presence of the low-amplitude echoes activates ‘visual’ cortex in the blind participants, without ant detectable in auditory cortex.
- Passive Listening Paradigm is to listen the recordings mixed with echolocation clicks and their echos in the listener’s ears.
TODO: 还需要进一步的阅读和分析, 将各种声音和反应列出一个表格为好
vocabulary
- exclusive 独有的
- pitch 音高
- cerebellum 小脑
- cerebral cortex 大脑皮层
文献-3
摘要
回声定位是使用声音回波来推断有关环境的空间信息的能力。一些盲人已经发展出使用嘴巴点击进行回声定位的非凡熟练程度。人类生物声纳的第一步是通过耳朵传输（嘴巴点击）并随后接收产生的声音。现有的头部相关传递函数（HRTF）数据库提供了接收结果声音的描述。对于本报告，我们收集了一个大型点击发射数据库，其中三名盲人接受了回声定位方面的专业培训，这使我们能够进行前所未有的分析。具体而言，本报告首次描述了人类专家回声定位传输的空间分布（即光束模式），以及以前无法获得的详细程度的光谱时间描述。
我们的数据显示，从口腔发出的 60° 锥体内的传输水平相当恒定，但在更远的角度处，传输水平逐渐下降，比言语的情况更严重。就频谱时间特征而言，我们的数据显示发射始终非常短暂（持续时间约为 3 毫秒），峰值频率为 2-4kHz，但能量也在 10kHz。这与之前报告的持续时间 3-15ms 和峰值频率 2-8kHz 不同，后者基于不太详细的测量。根据我们的测量，我们建议将传输建模为通过衰减指数调制的单调之和，并通过修改的心形线进行角度衰减。我们为每个回声定位器提供模型参数。这些结果是开发人类生物声纳计算模型的一步。例如，在蝙蝠中，排放的空间和光谱时间特征已被用来推导和测试基于模型的行为假设。我们在这里提供的数据表明在人类回声定位的背景下有类似的研究机会。
迄今为止，人类回声定位工作的理论基础还很缺乏。当前的报告描述了人们用于回声定位的传输（即嘴部点击），并通过这种方式提供了可用于以理论指导方式推进该领域的数据。我们收集了三个接受过回声定位专业训练的盲人的嘴部咔嗒声的大型数据库。这使我们能够进行前所未有的分析。具体来说，当前的报告首次提供了人类专家回声定位传输波束方向图的描述，以及前所未有的详细程度的频谱时间描述。根据我们的测量，我们还提出了一个综合传输的数学模型。因此，这些数据是开发人类回声定位综合模型的基础，这对于理解点击回声的特征和人类回声定位行为在定位或识别物体、围绕物体导航等任务中至关重要。
重要结论和过程
- 和前一篇文献主要人员类似
- 主要收集三位 Echolocation Expert 的声音信息:
- EE1: male, 49, enucleated in infancy because of the retinolblastoma, use echolocation as long as he can remember;
- EE2: male, 33, lost sight aged 14 years due to optic nerve atrophy, 15 years starting to use echolocation;
- EE3: male, 31, due to Glaucoma, 12 years starting to use echolocation;
- the classic clicks of each one differ
- the main component at a special Hz remains relatively unchanged
- the peaks of three EEs are closed.
- Acoustics of transmissions were consistent across echolocators in particular with respect to duration(~3ms) and directionality.
- ? what is time-domain envelope?
vocabulary
- SD: Standard Deviation
- emanate: 散发
- attenuation: 减轻
- cardioid: 心脏
- reverberation: 回声
- distal: 末端的
- retinolblastoma: 眼癌
- tactile: 有触觉的
- superimposed: 叠加
- time domain envelope: 时域包络
文献-4
摘要
人们使用感官信息，特别是视觉信息来指导动作，例如绕过障碍物，抓住或伸手。然而，目前尚不清楚感觉运动系统的可塑性如何。本研究通过测量如何使用基于点击的回声定位来避开行走时的障碍物来研究这一点。我们测试了 7 名盲回声定位专家、14 名视力正常者和 10 名盲回声定位初学者。为了进行比较，我们还测试了10名使用视力的视力参与者。为了最大限度地提高我们的研究与视力障碍者的相关性，我们还纳入了一个使用长手杖的条件，并考虑了不同海拔的障碍物。
同时获取动作捕捉和声音数据。我们发现:
- 回声定位专家使用视觉行走的速度与视力正常的参与者一样快，并且比视力正常或失明的回声定位初学者走得更快;
- 回声定位专家的行走路径表明了早期和平滑的调整，类似于视力正常的人使用视觉所显示的调整，与初学者的后期和更突然的调整不同;
- 此外，对于所有参与者来说，回声定位的使用显着降低了与头部障碍物的碰撞频率，但没有降低与地面障碍物的碰撞频率。
- 进一步的分析表明，点击较高频谱频率内容的参与者走得更快，而对于专家来说，更高的点击率与更快的行走有关。
- 结果强调，人们可以使用新颖的感官信息（此处为回声定位）来指导行动，证明行动系统适应感官输入变化的能力。他们还强调，经常使用回声定位可以增强盲人行走时的感觉运动协调能力。
重要结论和过程
- 和前一篇文献主要人员类似
- 视力正常者无碰撞, Expert 优于 beginner
- 分组来看, 使用 long cane 的组对于地面障碍物几乎无任何碰撞, 而且也对其余避障行为有显著影响. 而只使用 Echo 的组别更容易撞上地面障碍物.
- 速度上看, 正常视力和 EE 显著优于初学者.
- 避障路径上看, 正常视力和 EE 有较为接近的路径规划, EE 甚至优于正常视力者, 这可能是正常视力者能更清楚地知道障碍物的形态而导致的自信.
- 坏消息是, 实验过程中, 对于没有受训过的盲人, 普通人和盲人的学习过程曲线并无明显区别.
文献-5
摘要
视力障碍人士利用其他感官的信息来获取有关周围世界的知识。越来越多有视障人士参与的研究表明，通过听觉感知获得的数据极其重要。在这种情况下，盲人利用回声定位独立移动的能力就很有趣。本文的目的是将回声定位作为一种支持视力障碍人士空间定向的方法。本文介绍了回声定位的实证研究结果。它还介绍了在日常生活中使用这种能力的好处，并标志着与波兰回声定位教学方法相关的研究项目。视障人士利用其他感官的信息来了解周围的世界。许多有视障人士参与的研究表明，通过听力获得的数据极其重要。在这种情况下，盲人利用回声定位独立移动的能力就很有趣。本文的目的是将回声定位作为一种支持视力障碍者空间定向的方法。
本文介绍了回声定位的实证研究结果。它还介绍了在日常生活中使用这种技能的好处，并标志着波兰回声定位教学方法的研究项目。
重要结论和过程
- blind people create a fairly accurate picture of the environment in their brains, even if they do not use eyesight but reflected sounds
- …
助盲用具
翠鸟
主要是辅助视力
助盲帽
- 语音播报
- 语音导航, 亲友选取地点
- 远程视频导航, 针对复杂路况, 让亲友通过摄像头观察路况实现导航
- 文娱功能, 收音机, 相声新闻等
- 超声波防撞避障功能：内置超声波传感器，可有效探测用户头部前方障碍物的距离，提示用户停止或调整行进路线绕过障碍物，避免撞头风险，保持安全距离。（ 如：根据用户个人习惯，调整探测响应距离。当障碍物进入探测范围内会发出声音提醒，通过提醒声音的变化判断障碍物距离，即障碍物越近，声音提醒频率越高）；
esight
类似于翠鸟
智能盲杖
有自动驾驶功能的手杖
我的看法
对于回声定位
- 首先文献4中指出: 盲人在学习过程中并没有相对于普通人的优势, 也就是训练方式的会起到一个更突出的作用? 而助盲用具只是一个适应功能? 还是说能够以一种更自然的方式激活视觉皮层, 这会是一个比较重要的角度. 毕竟实际上还是需要大脑学习以一种新的方式构建视觉代替.
- 文献4中提到的长杆也是一个很好的辅助道具, 能够很好地减少地面障碍物的碰撞, 这倒是对较复杂地面的光学重建提供了一个良好的代替方案;
- 文献12主要是针对回声定位的机制做出说明, 目前没找到很多启发的点.
- 文献3中提到的锥形声场, 倒是实践中可能采取的方式, 是以头为方向的声/光场探测, 还是360°或者类似视觉的180°的直接探测呢?
- 头向探测是有例可依, 更大范围的探测不知道视觉皮层能否处理这种另类的’视觉’
- 180°则和视觉方式比较接近, 但是分辨率可能会差一些.
- 360°就是真正的第六感感觉, 完全扩充了人类的视?觉体验, 机械飞升!! (可能会给普通人一个尝试的欲望.)
- 目前一个声学的尝试可能会更合理一点, 结合手杖的控制, 使用按钮或类似物品(手表晃动? Apple那个演示挺新奇的)指示扬声器发声, 滤过得到 echo 后, 经过可能的转换处理送往耳机(骨传导会不会好一点?).
- 这种不连续的探测和 mouth-click 比较接近, 有没有可能 mouth-click 这个动作已经和视觉皮层活跃建立的一定的关系, 比如发出一个 click 之后, 会更灵敏地捕捉 echo (? 文献2中貌似有相关的结果? ).
- 那么探测就是一个主动的事情, 和现有的回声定位也比较接近, 在不同场景可能会有主动探测和被动倾听两类避障方法(比如车辆或者行人等声源)
其次对现有的助盲用具的考虑:
- 翠鸟: OCR是一个很不错的补充手段, 盲人可以摆脱盲人阅读.
- 助盲帽: 就是不知道声音提醒是否有方位感, 没有对地面障碍的防护吗?
- 智能盲杖: 主要取决于体验