前言:
对于这么一个棘手的问题，我也不确定是不是完全能解释的清楚，但我试试。我解答的思路是这样的。1.先讲基本的进程与线程的概念 2.分析并发与并行 3.全文穿插CPU和操作系统的发展史（因为这是操作都是cpu实现的，与它的发展息息相关） 4.从线程级，指令级，数据级依次，尽量把每个概念分析的细致。
说的不对的地方，欢迎指正。有待讨论的地方， 可以跟我提出不同的见解讨论。在评论区或私信都可以，我最近使用知乎的频率很低，但是看见的时候我会回复的。 废话到此结束，开始正文。
-------------------正文分割线-------------------
进程(processes)与线程(thread)
我们先说个例子：小明的一天（小明躺枪:D）
小明一天的包括这些事，上午：洗脸刷牙，吃早饭，听音乐，下午： 坐公交到公园玩， 晚上：看电视，睡觉。

那么对于小明来说，他可以把一天的可以分为上午，下午和晚上这三个部分。同理对一个程序来说，它分为若干个进程，Processs A,Process B,Process C. 比如用于用户输入，数据处理，数据输出，打个比方这三个进程。如果我们分的再细致一点，小明的可以把一天分为每个细致的小事，洗脸刷牙，吃早饭，看电视，等。那么对一个程序来说，它的线程就像发生在小明这些实实在在的小事。

在这个层面上，一个程序包含着若干进程，一个进程包含着若干个线程，每个线程对cpu来说是一个程序的细小部分，就是cpu当前要处理的一件事。

进程是操作系统处理一个程序时的抽象。
好比小明的一天，抽象成了三个部分。再看看我用于编辑文档的某道云程序，打开任务管理器看到了5个进程。实际上这些进程又是由许许多多的线程组成。

Figure 1
线程是基于进程的抽象，一个进程在系统层面上，进程是由大量的可执行的单元组成，叫做线程(threads) .

Figure 2 图片摘自Wikipedia
因此我们也可以进程是线程的在一定时间内有序集合。这些线程对于普通的用户是不可见的，但是是确实存在的。

-----------------------------------小分割线-------------------------------------------------------------

并发(Concurreny)与并行(Parallelism)
这个问题还是交给小明回答吧（小明继续躺枪）。
小明可以一边玩手机一边看电视，但是事实上，他的眼睛在看电视的时候不能看手机，他在看手机没法盯着屏幕，他的眼睛飞快在两个屏幕上切换。这不是真正意义上的同时进行，但又是客观存在同时进行两件事，这叫并发。
但是小明可以一天坐公交一边听音乐，这两件事同时进行互不干扰，做到真正意义的同步同时进行，这叫并行。理解并发和并行后面的就好懂了
----------------知乎排版真的很心累------------小分割线-------------------------------------------------

线程级并发(Thread-Lever Concurrency)与线程级并行( Thread-Lever Parallelism)

线程级并发(Thread-Lever Concurrency)
在计算机发展的早期，计算机每次只能运行一个进程，在OS中能拥有资源和独立运行基本单位。因此用户想运行下一个进程必须等上一个进程运行完。比如你想浏览这个网页就必须关闭上个网页，你想运行这个线程就必须关闭别的。
在1967年迎来的变化，首次在蓝色巨人IBM公司开发的OS /360系统 (Multiprogamming with a Variable Number of Tasks) 实现了多线程，那时候还没有建立线程(thread)的概念，他们称之为任务(Tasks)。并发与不并发这有什么不同之处呢？这是第一次实现了并发(Concurrency), 这次并发实现了用户可以运行不同的任务，比如网络服务商可以同时给大量用户提供网页，用户也可以使多个任务并发,比如可以一边上网一边听歌。
IBM只是开发了一个系统就改变这么多吗？注意我前面用的词是并发，因为对真正的计算机而言这些任务并不是真正意义上的同步，而是像小明的那个例子。那么这是怎么做到同时进行的的呢？操作系统通过高速的切换不同的线程，仿佛你在同时好多任务一样。借用一个例子"As a juggler keeps multple balls flying through the air(就像一个耍杂技的同时把小球扔在空中)" ，实际上， 玩杂耍的每次手只碰到了一个球，只是看起来就像能同时处理好多球一样的样子。这样的操作系统我们称之为 单处理系统,(A uniprocessor system is defined as a computer system that has a single central processing unit that is used to execute computer tasks)

------------------------------小小分割线-----------------------------------------------------------------
线程级并行(Thread-Lever Parallelism)
虽然IBM实现了多线程的并发，但这对cpu而言并不是真正意义上的同时进行，只是让它的效率更高而已，因此人们期望能同时处理多个线程，实现线程的并行。自从1980s开始，系统开发人员也就已经发出了多处理系统Multiprpcessor system，由单一的操作系统核心控制的多进程的系统。cpu的晶体管也遵循摩尔定律高速发展。
但问题是——依旧不能同时处理多个线程，仅仅提高单核芯片的速度会产生过多热量且无法带来相应的性能改善，也永远不能实现真正意义上的同时处理多任务。
比如2000年，奔腾四，使用了英特尔发布最新的NetBurst架构，按预测，奔腾四在该架构下，最终可以把主频提高到10GHz，但是更高的主频却带来了功耗增加，使其性能上反而还不如早些时推出的产品(摘自百度百科)
英特尔和AMD也意识到，当主频接近4GHz时，速度也会遇到自己的极限：那就是单靠的主频提升，已经无法明显提升系统整体性能。
因此迫切需要一个能支持同时处理2个线程以上的处理器，来提升CPU的瓶颈。
需求推动了技术，线程级并行应运而生。

线程级并发和超线程技术（Hyper-Threading，简称HT）
2004年，奔腾4实现了hyperthreading.（单核心双线程）
2005年，并宣布他的第一个双核心 EM64T 处理器，和 Pentium D840(次年发布，双核心双线程，蹩脚双核)
2006年，Core 2（双核心双线程，但不支持HT）大概才算真正意义上单芯片多核心处理器的诞生。

而后迎来了 Multi-Core Processor 多内核处理器时代，而且伴随着多线程技术。也就常说的几核几线程。核一般指的是物理核心的数目，线程是计算机能同时进行的线程。

简单的画了下Multprocessors的示意图。

Figure 3
超线程技术实现了单个物理核心同时两个线程，也就是别人常说的虚拟内核数，这个图是单物理核心实现的双线程，它同时可以处理两个线程，它的物理核心数其实是是1个，通过Hyperthreading实现的线程级并行( Thread Lever Parallelism)
其次是多核心技术，因为多个物理核心的存在，所以也能同时处理多个线程。
实现了线程并行就这上面两种方式了，都是在2005附近诞生的技术。
比如拥有Core i7的每个核心有带着HP技术，可以同时处理2个线程，i7有4个物理核心，因此能8线程并行。
附上core i7的架构示意图

Figure 4 图片来自网络

再扯回来，小明可以一边吃饭一边听音乐，做到了一心两用。这叫并行。

线程级并行的好处：
1.当运行多任务时，它减少了之前的模拟出来的并发，那么用户进行多任务处理时可以运行更多的程序进行并发了。
2.它可以使单个程序运行更快。（仅当该程序有大量线程可以并行处理时）

从1960s到2000s年，花了50多年的时间，直到多核和超线程系统的出现，才从线程级并发实现线程级并行。

-----------------------------------小分割线-----------------------------------------------------------------

指令集并行 Instruction-Level Parallelism
指令集的是更低层次的概念。
计算机处理问题是通过指令实现的。早期的电脑一次只能执行一条指令，就好像小明吃饭的同时不允许吃菜，等吃了一口饭才允许夹菜吃。在1978年的 Intel 8086 处理器都只能一次只能单指令。
科技发展太快了，继i486处理器发布之后，1993年，奔腾处理器诞生，首次使用了ILP技术，实现了指令集并行

打比方饭菜可以一口吞就是指令集并行。当指令之间不存在相关时，它们在流水线中是可以重叠起来并行执行叫指令级并行。

数据级并行 Multiple-Data parallelism
这是最低的层次。
现代的处理器可以允许单一指令运行多个操作数并行计算。
我们考虑下面这个程序：
1. e = a +b
2. f = c +d
3. m = e * f
早期的计算机一次只能处理一条指令，它要先算1，再算2，最后算3。需要三步得到答案。
我们观察：3的结果依赖于1和2，而1和2都单纯的加法操作，所以开始想办法让它们同时计算，cpu只要两步得到答案，1和2一次算出来，进行乘法运算。它运用了SIMD(Single -Instruction ,Multple -Data)单指令多数据流技术。一个指令处理了4个操作数。SIMD指令集可以提供更快的图像，声音，视频数据等运行速度。

打了不少字了，就此结束吧，如同有人关注的话，下次再更，转载随意。

参考资料：
Wikipedia
Computer Systems : A Programmers's Perspective.